Nothing Special   »   [go: up one dir, main page]

CN115104057A - 双波长眼睛成像 - Google Patents

双波长眼睛成像 Download PDF

Info

Publication number
CN115104057A
CN115104057A CN202180009476.XA CN202180009476A CN115104057A CN 115104057 A CN115104057 A CN 115104057A CN 202180009476 A CN202180009476 A CN 202180009476A CN 115104057 A CN115104057 A CN 115104057A
Authority
CN
China
Prior art keywords
eye
light
invisible
wavelength
illuminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180009476.XA
Other languages
English (en)
Inventor
K·C·哈齐利亚斯
张绮
C·Y-T·廖
R·沙马
A·J·欧德基克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115104057A publication Critical patent/CN115104057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

利用第一不可见光波长和第二不可见光波长照射眼睛。从具有第一不可见光波长的第一反射光捕获第一眼部图像，并且从具有第二不可见光波长的第二反射光捕获第二眼部图像。

Description

双波长眼睛成像
技术领域
本公开涉及具有两种不同波长的一只或多只眼睛的立体成像。
背景技术
捕获眼睛的图像在各种环境中都是有用的。可以分析眼睛的图像以确定眼睛的位置、瞳孔的大小和/或眼睛所注视的位置。眼睛成像系统在对眼睛进行成像的速度和准确性方面有所不同。一些眼睛成像系统需要大量校准才能准确进行操作。减少或消除眼睛成像的校准时间或复杂性是所期望的。眼睛成像系统的速度和准确性也可以提高。
发明内容
根据本发明的一个方面，提供了一种近眼成像系统，包括：第一照明器，其被配置为朝向眼睛区域发射第一近红外光；第二照明器，其被配置为朝向眼睛区域发射第二近红外光，第二近红外光的波长不同于第一近红外光的波长；相机模块；以及近眼光学元件，其包括：第一组合器层，其被配置为使可见场景光通过以到达眼睛区域并将从眼睛区域反射的第一近红外光引导到相机模块；和第二组合器层，其被配置为使可见场景光通过以到达眼睛区域并将从眼睛区域反射的第二近红外光引导到相机模块。
在一些实施例中，相机模块可以被配置为捕获第一近红外光的第一眼部图像并且被配置为捕获第二近红外光的第二眼部图像，相机模块被配置为滤除除了第一近红外光和第二近红外光之外的光。
在一些实施例中，相机模块可以包括：覆盖相机模块的第一像素的第一滤波器，其中第一滤波器使第一近红外光通过并且拒绝其他光，第一眼部图像由第一像素生成；以及覆盖相机模块的第二像素的第二滤波器，其中第二滤波器使第二近红外光通过并且拒绝其他光，第二眼部图像由第二像素生成。
在一些实施例中，近眼成像系统还可以包括：处理逻辑，其被配置为在第一时间段内选择性地激活第一照明器并且被配置为在不同于第一时间段的第二时间段内选择性地激活第二照明器，其中相机模块被配置为在第一时间段期间捕获第一眼部图像并且被配置为在第二时间段期间捕获第二眼部图像。
在一些实施例中，第一组合器层和第二组合器层中的至少一项可以包括全息光学元件(HOE)。
在一些实施例中，第一组合器层可以选择性地将以第一角度入射的第一近红外光引导到相机模块，并且其中第二组合器层选择性地将以第二角度入射的第二近红外光引导到相机模块。
在一些实施例中，第一角度可以比第二角度大至少10度。
在一些实施例中，第一照明器和第二照明器可以是被定位在近眼光学元件的照明层上的场内照明器，该近眼光学元件位于近眼光学元件的用户的眼睛的视场(FOV)内。
在一些实施例中，第一照明器和第二照明器可以包括微型发光二极管(micro-LED)、边缘发射LED、垂直腔面发射激光器(VCSEL)二极管或超发光二极管(SLED)中的至少一项。
在一些实施例中，第一近红外光可以以850nm为中心，而第二近红外光以940nm为中心。
根据本发明的另一方面，提供了一种近眼光学元件，包括：第一照明器，其被配置为朝向眼睛区域发射具有第一不可见波长的第一光；第二照明器，其被配置为朝向眼睛区域发射具有第二不可见波长的第二光，第一不可见波长不同于第二不可见波长；第一组合器层，其被配置为使可见场景光通过到眼睛区域并将从眼睛区域反射的第一光引导到相机模块；以及第二组合器层，其被配置为使可见场景光通过到眼睛区域并将从眼睛区域反射的第二光引导到相机模块。
在一些实施例中，第一组合器层可以选择性地将以第一角度入射的第一光引导到相机模块，并且其中第二组合器层选择性地将以第二角度入射的第二光引导到相机模块。
在一些实施例中，第一组合器层和第二组合器层中的至少一项可以包括全息光学元件(HOE)。
在一些实施例中，第一照明器和第二照明器可以是被定位在近眼光学元件的照明层上的场内照明器，该近眼光学元件位于近眼光学元件的用户的眼睛的视场(FOV)内。
在一些实施例中，第一照明器和第二照明器可以包括微型发光二极管(micro-LED)、边缘发射LED、垂直腔面发射激光器(VCSEL)二极管或超发光二极管(SLED)中的至少一项。
根据本发明的另一方面，提供了一种近眼立体成像的方法，该方法包括：利用第一不可见光波长照射眼睛；利用不同于第一不可见光波长的第二不可见光波长照射眼睛；从具有第一不可见光波长的第一反射光捕获第一眼部图像；以及从具有第二不可见光波长的第二反射光捕获第二眼部图像，其中第一眼部图像和第二眼部图像是利用相机而被捕获的，该相机被配置为滤除除了第一不可见光波长和第二不可见光波长之外的光。
在一些实施例中，该方法还可以包括：基于第一眼部图像和第二眼部图像来确定眼睛跟踪位置。
在一些实施例中，第一场内照明器可以发射第一不可见光波长并且第二场内照明器发射第二不可见光波长，第一场内照明器和第二场内照明器被包括在位于用户的视场(FOV)中的近眼光学元件中。
在一些实施例中，当第一不可见光波长照射眼睛区域而第二不可见光波长不照射眼睛区域时，第一眼部图像可以由相机捕获，并且其中当第二不可见光波长照射眼睛区域而第一不可见光波长不照射眼睛区域时，第二眼部图像由相机捕获。
在一些实施例中，捕获第一眼部图像和捕获第二眼部图像的相机可以包括：第一滤波器，覆盖相机的第一像素，其中第一滤波器使第一不可见光波长通过并且拒绝其他光，第一眼部图像由第一像素生成；第二滤波器，覆盖相机的第二像素，其中第二滤波器使第二不可见光波长通过并且拒绝其他光，第二眼部图像由第二像素生成。
应当理解，在本文中被描述为适合于并入到本发明的一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有方面和实施例中是可通用的。本领域技术人员可以根据本公开的说明书、权利要求和附图来理解本公开的其他方面。前述一般描述和以下详细描述仅是示例性和解释性的，而不是对权利要求的限制。
附图说明
参考以下附图描述了本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
图1图示了根据本公开的各方面的示例头戴式显示器(HMD)。
图2是根据本公开的实施例的包括照明层的示例近眼光学元件的俯视图。
图3图示了根据本公开的各方面的通过示例照明层的眼睛的前视图。
图4图示了根据本公开的各方面的第一不可见照明光和第二不可见照明光的示例光路。
图5示出了根据本公开的各方面的包括图像像素阵列的示例图像传感器。
图6图示了根据本公开的各方面的可以在相机模块中使用的图像传感器。
图7图示了根据本公开的各方面可以在相机模块中使用的与第二滤波器穿插的第一滤波器。
图8图示了根据本公开的各方面的立体眼睛成像系统，其中相机模块捕获组合图像，该组合图像包括第一不可见波长的第一眼部图像和第二不可见波长的第二眼部图像。
图9A图示了根据本公开的各方面的立体眼睛成像系统，其中相机模块在不同的图像捕获中捕获第一眼部图像和第二眼部图像。
图9B图示了根据本公开的各方面的图示了系统的示例操作技术的示例混合示意性时序图。
图10了图示了根据本公开的各方面的图示了用于近眼立体成像的示例过程的流程图。
具体实施方式
本文描述了双波长眼睛成像的实施例。在以下描述中，阐述了许多具体细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，本文描述的各技术可以在没有一个或多个具体细节的情况下或者利用其他方法、组件、材料等来实践。在其他实例中，众所周知的结构、材料、或操作未被详细示出或描述以避免模糊某些方面。
在整个说明书中对“一个实施例”或“实施例”的引用意指结合该实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式来组合。
本公开涉及具有两种不同波长的一只或多只眼睛的立体成像。例如，本公开的实施例可以在包括在用于眼睛跟踪目的的头戴式设备中的各种环境中使用。在本公开的一些方面，第一照明器阵列朝向眼睛发射第一近红外光(例如，850nm)并且第二照明器阵列朝向眼睛发射第二近红外光(例如，940nm)。近眼光学元件中的光学组合器可以被配置为将(从眼睛反射/散射的)第一近红外光和(也从眼睛反射/散射的)第二近红外光引导到相机模块，该相机模块生成(根据第一近红外光)第一眼部图像和(根据第二近红外光)第二眼部图像。分析第一近红外波长的第一眼部图像和第二近红外波长的第二眼部图像可以允许更大的眼睛成像准确度，特别是在z维度(深度)中。这种增加的准确度改进了眼睛的跟踪位置，并且可以减少或消除与眼睛位置跟踪相关的校准过程。此外，确定眼睛的注视区间(眼睛所注视的位置)可以减少三倍或更多，以更精确地定义眼睛所注视的位置。这些和其他实施例将结合图1-图10更详细地描述。
图1图示了根据本公开的各方面的示例头戴式显示器(HMD)100。尽管HMD在图1中被示出，但是本公开的实施例可以被使用在各种环境中，包括不包括显示器的头戴式设备。HMD 100的图示示例被示为包括框架102、镜腿104A和104B以及近眼光学元件110A和110B。相机模块108A和108B被示为分别耦合到镜腿104A和104B。图1还图示了近眼光学元件110A的示例的分解图。近眼光学元件110A被示为包括可选的透光层120A、照明层130A、光学组合器层140A和显示层150A。显示层150A可以包括被配置为将虚拟图像引导到HMD 100的用户的眼睛的波导158。
照明层130A被示为包括多个照明器126和127。照明器126和127可以被描述为“场内”(in-field)，因为它们在HMD 100的用户的视场(FOV)中。在一个实施例中，场内照明器126和127可以在用户观看HMD的显示器的相同FOV中。场内照明器126和127可以在用户经由传播通过近眼光学元件110的场景光191观看HMD 100的外部环境的相同FOV中。尽管场内照明器126和127可以将较小的遮挡引入到近眼光学元件110A中，但是场内照明器126和127以及它们对应的电气布线可能小到对HMD 100的佩戴者来说不明显或不重要。此外，来自场内照明器126和127的任何遮挡都将被放置在离眼睛非常近的位置，以至于人眼无法聚焦，并且因此在场内照明器126和127中有助于不明显或不显著。在一些实施例中，每个场内照明器126或127具有小于大约200×200微米的占地面积(或尺寸)。当由用户佩戴HMD 100时，场内照明器126和127可以被安置在距眼睛10mm和30mm之间。在一些实施例中，场内照明器126和127可以被放置在距用户眼睛15mm和25mm之间。场内照明器126和127可以向眼睛区域发射不可见光。在一些实施例中，不可见光可以是近红外光(例如750nm-1.5μm)。照明器126发射第一不可见波长并且照明器127发射具有与第一不可见波长不同的波长的第二不可见波长。每个场内照明器126和127可以是微型发光二极管(micro-LED)、边缘发射LED、垂直腔面发射激光器(VCSEL)二极管或超发光二极管(SLED)。
如图1中所示，框架102耦合到镜腿104A和104B，以用于将HMD 100固定到用户的头部。示例HMD 100还可以包括被合并到框架102和/或镜腿104A和104B中的支撑硬件。HMD100的硬件可以包括任何处理逻辑、用于发送和接收数据的有线和/或无线数据接口、图形处理器以及用于存储数据和计算机可执行指令的一个或多个存储器。在一个示例中，HMD100可以被配置为接收有线电源和/或可以被配置为由一个或多个电池供电。此外，HMD 100可以被配置为接收包括视频数据的有线和/或无线数据。
图1图示了被配置为被安装到框架102的近眼光学元件110A和110B。在一些示例中，近眼光学元件110A和110B对用户可能显得是透明的以促进增强现实或混合现实，以使得用户可以查看来自环境的可见场景光191，同时还接收通过显示层150A而被引导到他们眼睛的显示光。在另外的示例中，近眼光学元件110A和110B中的一些或全部可以被合并到虚拟现实耳机中，其中近眼光学元件110A和110B的透明性质允许用户观看被合并到虚拟现实耳机中的电子显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)显示器、微型LED显示器等)。
如上面所提及，照明层130A的场内照明器126和127可以被配置为朝向近眼光学元件110A的眼睛侧109发射不可见照明光以照射用户的眼睛。近眼光学元件110A被示为包括光学组合器层140A，其中光学组合器层140A被安置在照明层130A和近眼光学元件110A的背面111之间。在一些方面中，光学组合器140A被配置为接收由用户的眼睛反射/散射的第一反射光(具有由第一照明器126发射的波长)并将第一反射光引导到相机模块108A。光学组合器140A还可以被配置为接收由用户的眼睛反射/散射的第二反射光(具有由第二照明器127发射的波长)并将第二反射光引导到相机模块108A。光学组合器140A可以具有被配置为引导第一反射光的第一层和反射第二反射光的第二层。相机模块108A可以位于与所图示位置不同的位置中。在一些方面，光学组合器140A可透射可见光(例如，大约400nm-700nm)，诸如入射在近眼光学元件110A的背面111上的场景光191。在一些示例中，光学组合器140A可以被配置作为全息光学元件(HOE)或体积全息图，其可以包括一个或多个布拉格光栅，用于将第一反射光和第二反射光朝向相机模块108A引导。在一些示例中，光学组合器140A包括偏振选择体积全息图(又名偏振体积全息图)，其使具有特定波长的入射光的特定偏振取向朝向相机模块108A衍射(反射)，同时使其他偏振取向通过。
取决于HMD 100的设计，显示层150A可以包括一个或多个其他光学元件。例如，显示层150A可以包括波导158，以将由电子显示器生成的显示光引导到用户的眼睛。在一些实现中，电子显示器的至少一部分被包括在HMD 100的框架102中。电子显示器可以包括LCD、有机发光二极管(OLED)显示器、微型LED显示器、微型投影仪、或用于生成显示光的硅上液晶(LCOS)显示器。
透光层120A被示为被安置在照明层130A和近眼光学元件110A的朝眼侧109(eyeward side)之间。透光层120A可以接收由照明层130A发射的红外照明光，并使红外照明光通过以照射用户的眼睛。如前所述，透光层120A也可以对可见光透明，诸如从环境接收的场景光191和/或从显示层150A接收的显示光。在一些示例中，透光层120A具有用于将光(例如，显示光和/或场景光)聚焦到用户眼睛的曲率。因此，在一些示例中，透光层120A可以被称为透镜。在一些方面，透光层120A具有对应于用户规格的厚度和/或曲率。换言之，透光层120A可以是处方透镜。然而，在其他示例中，透光层120A可以是非处方透镜。
图2是示例近眼光学元件210的俯视图，其包括照明层230、组合器层240和显示层250。在一些实施例中，透明层(未图示)可以可选地被包括在照明层230和眼睛202之间。第一照明器236将第一不可见照明光238发射到眼睛区域以照射眼睛202。在图2中，图示了照明器236A、236B、236C、236D和236E，但是照明层230中可以有更多或更少的照明器。第二照明器237将第二不可见照明光239发射到眼睛区域以照射眼睛202。在图2中，图示了照明器237A、237B、237C、237D和237E，但是照明层230中可以有更多或更少的照明器。第一不可见照明光238的波长不同于第二不可见照明光239的波长。在一些方面，第一不可见照明光238和第二不可见照明光239可以是近红外光。
如上所述，照明器236和237可以是VCSEL或SLED，并且因此照明光238/239可以是窄带红外照明光(例如，1-10nm的线宽)。如以下将更详细描述的，由眼睛202反射的反射照明光可以被组合器层240接收并重定向到相机模块108A。
相机模块108A生成第一和第二眼部图像，其中第一眼部图像是第一不可见照明光238的并且第二眼部图像是第二不可见照明光239的。例如，这些第一眼部图像和第二眼部图像可以被用于确定眼睛202的位置和/或眼睛202的注视方向。相机模块108A可以被配置为滤除除了第一不可见照明光和第二不可见照明光之外的光，以使得相机模块108A仅对第一不可见照明光238的波长和第二不可见照明光239的波长进行成像。
图2示出了来自外部环境的场景光191(可见光)可以传播通过显示层250、组合器层240和照明层230以成为入射到眼睛202上的光，使得用户可以观看外部环境的场景。图2还示出了显示层250可以生成或重定向显示光293以向眼睛202呈现虚拟图像。显示光293是可见光并且传播通过组合器层240和照明层230以到达眼睛202。
照明层230可以包括透明基板，场内照明器237被安置在该透明基板上。场内照明器237也可以被封装在透明材料232中。透明材料232被配置为透射可见光(例如400nm-750nm)和近红外光(例如750nm-1.5μm)。
图3图示了根据本公开的各方面的通过示例照明层330的眼睛202的前视图。在所图示的实施例中，照明层330包括二十一个第一场内照明器(336A-336U)和二十一个第二场内照明器(337A-337U)。在图3中所图示的示例中，每个第一场内照明器336被布置得非常靠近对应的第二场内照明器337。然而，第一场内照明器336和第二场内照明器337的其他布置是设想的。虽然没有具体图示，但是透明或半透明的电迹线可以向第一场内照明器336和第二场内照明器337提供电力。在一些实施例中，使用诸如氧化铟锡(ITO)之类的透明半导体材料作为电迹线。用于选择性地激活第一场内照明器336和第二场内照明器337的对应电子电路(例如晶体管和电源)可以被包括在头戴式设备的框架102或镜腿104中。第一场内照明器336和第二场内照明器337可以共享公共地线或公共电源轨道以减少需要穿过照明层330的电迹线。
图4图示了根据本公开的各方面的第一不可见照明光438和第二不可见照明光439的示例光路。在图4中，第一照明器436的阵列被配置为发射第一不可见照明光438以照射眼睛202。在图4中仅示出了来自照明器436A的照明光用于图示和描述照明光的光路，但是所有第一照明器436都发射第一不可见照明光438。第一不可见照明光438的至少一部分作为第一反射光448从角膜201反射并且传播通过照明层430并遇到组合光学元件440。
类似于图4的第一不可见照明光438的图示，第二照明器437的阵列被配置为发射第二不可见照明光439以照射眼睛202。仅示出了来自照明器437B的照明光以用于图示和描述照明光的光路，但是所有第二照明器437都发射第二不可见照明光439。第二不可见照明光439的至少一部分作为第二反射光449从角膜201反射并且传播通过照明层430并遇到组合器光学元件440。第二反射光449在遇到第二组合器层442之前传播通过第一组合器层441。
组合器光学元件440接收第一反射光448和第二反射光449并将光448和449重定向到相机模块(例如相机模块108)。在图4中，组合器光学元件440包括第一组合器层441和第二组合器层442。第一组合器层441被配置为使可见场景光(例如场景光191)通过以到达眼睛202并将第一反射光448(具有与光438相同的波长)引导到相机模块(图4中未图示)。第一组合器层441可以包括波长选择性衍射结构，该结构被专门配置为重定向光438/448的波长。第二组合器层442被配置为使可见场景光(例如场景光191)通过以到达眼睛202并将第二反射光449(具有与光439相同的波长)引导到相机模块。第二组合器层442可以包括波长选择性衍射结构，该结构被专门配置为重定向光439/449的波长。
第一组合器层441可以是全息光学元件(HOE)。第一组合器层441可以包括偏振选择体积全息图，其反射第一反射光448的第一偏振取向(例如右旋圆偏振光)并且使除了第一偏振取向之外的偏振取向通过。第一组合器层441还可以包括折叠镜或线性衍射光栅以重定向第一反射光448。第一组合器层441可以是HOE。第二组合器层442可以包括偏振选择体积全息图，其反射第二反射光449的第一偏振取向(例如，右旋圆偏振光)并且使除了第一偏振取向之外的偏振取向通过。第二组合器层442也可以包括折叠镜或线性衍射光栅以重定向第二反射光449。在图4所示出的示例中，第一组合器层441被安置在照明层430和第二组合器层442之间。
第一组合器层441可以选择性地将第一反射光448以第一角度471重定向到相机模块，并且第二组合器层442可以选择性地将第二反射光449以不同于第一角度471的第二角度472重定向到相机模块。在一些方面，第一角度471可以比第二角度472大10度以上。在一些方面，第一角度471可以比第二角度472大30度以上。在一些方面，第一角度471可以比第二角度472大大约40度。
图5图示了包括图像像素阵列502的示例图像传感器500。图像传感器500可以包括未具体图示的其他电子器件(例如读出电路)。图像传感器500可以是互补金属氧化物半导体(CMOS)图像传感器。图像像素阵列502包括数字n个图像像素P1,P2,P3…Pn的阵列。图像像素阵列502以数字x列和数字y行来布置。
图6图示了根据本公开的各方面的可以在相机模块中使用的图像传感器600。图像传感器600包括可以与图像像素阵列502类似地配置的图像像素阵列602。第一滤波器656覆盖包括在诸如相机模块108之类的相机模块中的图像像素阵列602的第一像素。第一滤波器656使第一不可见照明光(例如438)的波长通过(透射)并拒绝其他波长的光。因此，由第一照明器436发射的最终入射到相机模块上的波长作为第一反射光448被第一滤波器656通过以到达图像像素阵列602的第一像素。例如，第一滤波器656可以是具有小于10nm的透射陷波的带通滤波器。第二滤波器657覆盖包括在诸如相机模块108之类的相机模块中的图像像素阵列602的第二像素。第二滤波器657使第二不可见照明光(例如439)的波长通过(透射)并拒绝其他波长的光。例如，第二滤波器657可以是具有小于10nm的透射陷波的带通滤波器。因此，由第二照明器437发射的最终入射到相机模块上的波长作为第二反射光449被第二滤波器657通过以到达图像像素阵列602的第二像素。
图7图示了根据本公开的各方面的可以在相机模块中使用的与第二滤波器757穿插的第一滤波器756。图7的图像传感器700包括可以与图像像素阵列502类似地配置的图像像素阵列702。在图7中，第一滤波器756覆盖图像像素阵列702的第一像素并且第二滤波器757覆盖图像像素阵列702的第二像素。因此，图像像素阵列702的第一像素与图像像素阵列702的第二像素穿插。在图7中，第一像素和第一滤波器756以与第二像素和第二滤波器757每隔一(every-other)或最近邻的关系来进行布置。第一滤波器756使第一不可见照明光(例如438)的波长通过(透射)并拒绝(阻挡)其他波长的光。因此，由第一照明器436发射的最终入射到相机模块上的波长作为第一反射光448被第一滤波器756通过以到达图像像素阵列702的第一像素。例如，第一滤波器756可以是具有小于10nm的透射陷波的带通滤波器。第二滤波器757覆盖包括在诸如相机模块108之类的相机模块中的图像像素阵列702的第二像素。第二滤波器757使第二不可见照明光(例如439)的波长通过(透射)并拒绝(阻挡)其他波长的光。例如，第二滤波器757可以是具有小于10nm的透射陷波的带通滤波器。因此，在一些示例中，由第二照明器437发射的最终入射到相机模块上的波长作为第二反射光449由第二滤波器757通过到图像像素阵列702的第二像素。
在图6和图7中所示的实施例中，图像像素阵列602或图像像素阵列702可以在单个图像捕获中(也就是说，在单个全局快门积分周期或单个滚动快门积分周期中)捕获组合图像，其中组合图像包括由第一像素生成的第一眼部图像和由第二像素生成的第二眼部图像。虽然图6和图7图示了关于覆盖第一像素的第一滤波器和覆盖第二像素的第二滤波器的示例布置，但是根据本公开的各方面也可以使用其他布置。
图8图示了根据本公开的各方面的其中相机模块850捕获组合图像880的立体眼睛成像系统800，该组合图像880包括第一不可见波长的第一眼部图像和第二不可见波长的第二眼部图像。系统800包括相机模块850、处理逻辑870、显示层890、照明层430和光学组合器层440。照明层430包括第一照明器436和第二照明器437。相机模块850可以包括图像传感器600或700。
在操作中，第一照明器436朝向眼睛202发射第一不可见光438并且第二照明器437朝向眼睛202发射第二不可见光439。逻辑870可以驱动第一照明器436和第二照明器437以用第一不可见光438和第二不可见光439同时照射眼睛202。第一不可见光438可以是红外光。第一不可见光438可以是近红外光。在一些方面，第一不可见光438可以是在700nm和1000nm之间的近红外光。第一不可见光438可以是具有小于10nm的线宽的窄带光。第二不可见光439可以是红外光。第二不可见光439可以是近红外光。在一些方面，第二不可见光439可以是在700nm和1000nm之间的近红外光。第二不可见光439可以是具有小于10nm的线宽的窄带光。第一不可见光438的一部分从眼睛202的角膜反射，作为遇到第一组合器层441的第一反射光448。第一组合器层441将第一反射光448重定向到相机模块850。通过衍射，第一组合器层441可以将第一反射光448重定向到相机模块850。第二不可见光439的一部分从眼睛202的角膜反射，作为遇到第二组合器层442的第二反射光449。第二组合器层442将第二反射光449重定向到相机模块850。通过衍射，第二组合器层442可以将第二反射光449重定向到相机模块850。
相机模块850接收第一反射光448和第二反射光449并且相机模块850捕获包括第一反射光448和第二反射光449两者的组合图像880。在一些方面，第一照明器436和第二照明器437同时发射第一不可见光光438和第二不可见光439，以使得第一反射光448和第二反射光449同时入射在相机模块850的图像传感器上。相机模块850的图像传感器的第一像素捕获第一反射光448并且图像传感器的第二像素捕获同一组合图像880中的第二反射光449。由于第一像素覆盖有第一滤波器(例如656或756)，所以只有波长为438/448的光被第一像素成像。类似地，由于第二像素覆盖有第二滤波器(例如657或757)，所以只有波长为439/449的光被第二像素成像。组合图像880包括由第一像素生成的第一眼部图像和由第二像素生成的第二眼部图像。
图8示出了多个组合图像880可以作为组合图像880A、880B、880C和880D顺序地被捕获。眼睛202的眼睛跟踪位置可以基于从组合图像880中提取的第一眼部图像和第二眼部图像来计算。例如，眼睛202的第一眼睛跟踪位置可以根据组合图像880A的第一眼部图像和第二眼部图像来确定。眼睛202的第二眼睛跟踪位置可以根据组合图像880B的第一眼部图像和第二眼部图像来确定，眼睛202的第三眼睛跟踪位置可以根据组合图像880C的第一眼部图像和第二眼部图像来确定，以及眼睛202的第四眼睛跟踪位置可以根据组合图像880D的第一眼部图像和第二眼部图像来确定。以这种方式，可以连续跟踪眼睛202的位置。在图8的图示中，处理逻辑870被配置为接收组合图像880。处理逻辑870可以从组合图像中提取第一眼部图像和第二眼部图像并确定眼睛跟踪位置。在一些实施例中，眼睛202的注视方向可以根据从组合图像880确定的眼睛跟踪位置来确定。基于注视方向，可以改变由显示层890呈现给用户的虚拟图像。在图8中，处理逻辑870可以基于从组合图像880的第一和第二眼部图像获得的凝视方向而将虚拟图像893驱动到显示层890上。虚拟图像893被包括在呈现给眼睛202的显示光899中。在示例系统800中，显示光899传播通过光学组合器层440和照明层430。
图9A图示了根据本公开的各方面的立体眼睛成像系统900，其中相机模块950在不同的图像捕获中捕获第一眼部图像和第二眼部图像。系统900包括相机模块950、处理逻辑970、显示层890、照明层430和光学组合器层440。照明层430包括第一照明器436和第二照明器437。所图示的相机模块950包括滤波器951，其被配置为滤除具有除了光438/448的波长之外的波长的光，并且滤除具有除了光439/449的波长之外的波长的光。滤波器951可以包括多个介电层。在第一照明器436发射以850nm为中心的窄带光并且第二照明器437发射以940nm为中心的窄带光的示例实施例中，滤波器951可以使具有从849nm到851nm的波长的光通过并且使具有从939nm到941nm的波长的光通过并且阻止所有其他波长入射到相机模块950的图像传感器上。在此示例中，诸如图像传感器500之类的图像传感器可以被使用在相机模块950中。在一个示例中，滤波器951被安置在相机模块950的透镜配件上方。在其他示例中，具有滤波器951特性的滤波器可以被覆盖在图像像素阵列502的图像像素之上，以使得滤波器被安置在图像像素阵列和透镜配件之间，该透镜配件被配置为将图像聚焦到图像像素阵列的成像平面。
图9B图示了根据本公开的各方面的图示了系统900的示例操作技术的示例混合示意性时序图995。在时间段t1，处理逻辑970选择性地驱动输出X1，以使得第一照明器朝向眼睛202发射第一不可见光438。图9B示出了示例第一照明器936，其被图示为可以被用作第一照明器436的二极管。在图9B的示例示意图中，当输出X1为高时，晶体管963导通，其允许电流流过第一照明器936，从而导致第一不可见光438的发射。在所图示的示例中，第一照明器936被并联布置在电压源VDD 961与地VSS 969之间。然而，在其他布置中，第一照明器936可以被布置在串联布置的一个或多个二极管串中。例如，图9B中的二极管可以表示LED、SLED和激光二极管(包括VCSEL)。
由第一照明器436/936发射的第一不可见光438的一部分作为遇到第一组合器层441的第一反射光448而反射离开眼睛202的角膜。第一组合器层441将第一反射光448重定向到相机模块950。当第一照明器436/936利用第一不可见光438照射眼睛202时，相机模块950启动图像捕获以捕获第一眼部图像981。因此，第一眼部图像981由相机模块950捕获，同时第一不可见光438照射眼睛202的眼睛区域，而第二不可见光439不照射眼睛区域。处理逻辑970在时间段t1之后将输出X1驱动为低。
在时间段t2，处理逻辑970选择性地驱动输出X2，以使得第二照明器朝向眼睛202发射第二不可见光439。图9B示出了示例第二照明器937，其被图示为可以被用作第二照明器437的二极管。在图9B的示例示意图中，当输出X2为高时，晶体管964导通，其允许电流流过第二照明器937，从而导致第二不可见光439的发射。在所图示的示例中，第二照明器937被并联布置在电压源VDD 961与地VSS 969之间。然而，在其他布置中，第二照明器937可以被布置在串联布置的一个或多个二极管串中。
由第二照明器437/937发射的第二不可见光439的一部分作为遇到第二组合器层442的第二反射光449而反射离开眼睛202的角膜。第二组合器层442将第二反射光449重定向到相机模块950。当第二照明器437/937利用第二不可见光439照射眼睛202时，相机模块950启动图像捕获以捕获第二眼部图像982。因此，第二眼部图像982由相机模块950捕获，同时第二不可见光439照射眼睛202的眼睛区域，而第一不可见光438不照射眼睛区域。处理逻辑970在时间段t2之后将输出X2驱动为低。
在时间段t3，处理逻辑970选择性地驱动输出X1，以使得第一照明器朝向眼睛202发射第一不可见光438，并且以与第一眼部图像981类似的方式捕获第一眼部图像983。在时间段t4，处理逻辑970选择性地驱动输出X2，以使得第二照明器朝向眼睛202发射第二不可见光439，并且以与第二眼部图像982类似的方式捕获第二眼部图像984。以这种方式，系统900采用时间复用技术捕获第一不可见光波长的第一眼部图像438并且捕获第二不可见光波长的第二眼部图像439。
图10图示了图示根据本公开的各方面的用于近眼立体成像的示例过程1000的流程图。一些或所有过程块出现在过程1000中的顺序不应被认为是限制性的。相反，受益于本公开的本领域普通技术人员将理解，一些处理块可以以未图示的各种顺序来执行，或者甚至并行执行。
在过程框1005中，利用第一不可见光波长照射眼睛。例如，第一不可见光波长可以是近红外波长。
在过程框1010中，利用不同于第一不可见光波长的第二不可见光波长照射眼睛。第二不可见光波长也可以是近红外波长。在一些示例中，第一不可见光波长可以与第一不可见光波长分开30nm或更多。
在过程框1015中，从具有第一不可见光波长的第一反射光(例如光448)捕获第一眼部图像。
在过程框1020中，从具有第二不可见光波长的第二反射光(例如光449)捕获第二眼部图像。利用被配置为滤除除了第一不可见光波长和第二不可见光波长之外的光的相机(例如，相机模块850或950)捕获第一眼部图像和第二眼部图像。
过程1000还可以包括基于第一眼部图像和第二眼部图像来确定眼睛跟踪位置。
在过程1000的实现中，第一场内照明器发射第一不可见光波长并且第二场内照明器发射第二不可见光波长并且第一场内照明器和第二场内照明器被包括在被定位在用户的视场(FOV)中的近眼光学元件(例如近眼光学元件110或210)中。
在过程1000的实现中，当第一不可见光波长照射眼睛区域而第二不可见光波长不照射眼睛区域时，第一眼部图像由相机捕获，并且当第二不可见光波长照射眼睛区域而第一不可见光波长不照射眼睛区域时，第二眼部图像由相机捕获。例如，系统900可以在这个实现方式中使用。
在过程1000的实现中，捕获第一眼部图像和第二眼部图像的相机包括覆盖相机的第一像素的第一滤波器和覆盖相机的第二像素的第二滤波器。第一滤波器使第一不可见光波长通过并且拒绝其他光，并且第一眼部图像由第一像素生成。第二滤波器使第二不可见光波长通过并且拒绝其他光，并且第二眼部图像由第二像素生成。例如，系统800可以在这个实现方式中使用。
本发明的实施例可以包括人工现实系统或结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与所捕获(例如，真实世界的)的内容相结合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且其中的任何一个都可以在单个通道或多个通道中呈现(诸如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与例如被用来在人工现实中创建内容和/或以其他方式在人工现实(例如，在其中执行活动)中被使用。提供人工现实内容的人工现实系统可以在各种平台上被实现，包括连接到主机计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统或者任何能够向一个或多个观看者提供人工现实内容的其他硬件平台。
本公开中的术语“处理逻辑”(例如870或970)可以包括一个或多个处理器、微处理器、多核处理器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)，以执行本文所公开的操作。在一些实施例中，存储器(未图示)被集成到处理逻辑中以存储指令来执行操作和/或存储数据。处理逻辑还可以包括模拟或数字电路以执行根据本公开的实施例的操作。
本公开中所描述的一个或多个“存储器”可以包括一个或多个易失性或非易失性存储器架构。一个“存储器”或多个“存储器”可以是以任何方法或技术实现的可移动和不可移动介质，以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。示例存储器技术可以包括RAM、ROM、EEPROM、闪存、CD-ROM、数字多功能盘(DVD)、高清多媒体/数据存储磁盘或其他光学存储、磁盒、磁带、磁盘存储或其他磁存储设备或任何其他可以被用来存储信息以供计算设备访问的非传输介质。
通信信道可以包括或通过以下中的一种或多种有线或无线通信进行路由：利用IEEE 802.11协议、SPI(串行外围接口)、I2C(内部集成电路)、USB(通用串行端口)、CAN(控制器局域网)、蜂窝数据协议(例如3G、4G、LTE、5G)、光通信网络、互联网服务提供商(ISP)、对等网络、局域网(LAN)、广域网(WAN)、公共网络(例如“互联网”)、专用网络、卫星网络或其他。
计算设备可以包括台式计算机、膝上型计算机、平板电脑、平板手机、智能手机、功能电话、服务器计算机等。服务器计算机可以位于与数据中心相隔遥远或者被本地存储。
以上解释的过程是根据计算机软件和硬件来描述的。所描述的技术可以构成体现在有形或非暂态机器(例如，计算机)可读存储介质内的机器可执行指令，其当由机器执行时将使机器执行所描述的操作。此外，这些过程可以被体现在硬件中，诸如专用集成电路(“ASIC”)或其他。
有形的非暂态机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等等)可读的形式提供(即，存储)信息的任何机器。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
以上对本发明的图示实施例的描述，包括在摘要中描述的内容，并不旨在穷举或将本发明限制为所公开的精确形式。尽管在本文中出于说明性目的描述了本发明的特定实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种修改。
可以根据以上详细描述对本发明进行这些修改。以下权利要求中使用的术语不应被解释为将本发明限制在说明书中公开的特定实施例。相反，本发明的范围将完全由以下权利要求来确定，这些权利要求将根据权利要求解释的既定原则来进行解释。

Claims (15)

1.一种近眼成像系统，包括：
第一照明器，被配置为朝向眼睛区域发射第一近红外光；
第二照明器，被配置为朝向所述眼睛区域发射第二近红外光，所述第二近红外光的波长不同于所述第一近红外光的波长；
相机模块；以及
近眼光学元件，包括：
第一组合器层，被配置为使可见场景光通过以到达所述眼睛区域并将从所述眼睛区域反射的所述第一近红外光引导到所述相机模块；以及
第二组合器层，被配置为使所述可见场景光通过以到达所述眼睛区域并将从所述眼睛区域反射的所述第二近红外光引导到所述相机模块。
2.根据权利要求1所述的近眼成像系统，其中所述相机模块被配置为捕获所述第一近红外光的第一眼部图像并且被配置为捕获所述第二近红外光的第二眼部图像，所述相机模块被配置为滤除除了所述第一近红外光和所述第二近红外光之外的光；并且优选地，其中所述相机模块包括：
第一滤波器，覆盖所述相机模块的第一像素，其中所述第一滤波器使所述第一近红外光通过并且拒绝其他光，所述第一眼部图像由所述第一像素生成；以及
第二滤波器，覆盖所述相机模块的第二像素，其中所述第二滤波器使所述第二近红外光通过并且拒绝其他光，所述第二眼部图像由所述第二像素生成；和/或优选地还包括：
处理逻辑，被配置为在第一时间段内选择性地激活所述第一照明器并且被配置为在不同于所述第一时间段的第二时间段内选择性地激活所述第二照明器，
其中所述相机模块被配置为在所述第一时间段期间捕获所述第一眼部图像并且被配置为在所述第二时间段期间捕获所述第二眼部图像。
3.根据权利要求1或2所述的近眼成像系统，其中所述第一组合器层和所述第二组合器层中的至少一项包括全息光学元件(HOE)。
4.根据权利要求1、2或3所述的近眼成像系统，其中所述第一组合器层选择性地将以第一角度入射的所述第一近红外光引导到所述相机模块，并且其中所述第二组合器层选择性地将以第二角度入射的所述第二近红外光引导到所述相机模块；并且优选地，其中所述第一角度比所述第二角度至少大10度。
5.根据前述权利要求中任一项所述的近眼成像系统，其中所述第一照明器和所述第二照明器是被定位在所述近眼光学元件的照明层上的场内照明器，所述近眼光学元件位于所述近眼光学元件的用户的眼睛的视场(FOV)内。
6.根据前述权利要求中任一项所述的近眼成像系统，其中所述第一照明器和所述第二照明器包括微型发光二极管(micro-LED)、边缘发射LED、垂直腔面发射激光(VCSEL)二极管或超发光二极管(SLED)中的至少一项。
7.根据前述权利要求中任一项所述的近眼成像系统，其中所述第一近红外光以850nm为中心并且所述第二近红外光以940nm为中心。
8.一种近眼光学元件，包括：
第一照明器，被配置为朝向眼睛区域发射具有第一不可见波长的第一光；
第二照明器，被配置为朝向所述眼睛区域发射具有第二不可见波长的第二光，所述第一不可见波长不同于所述第二不可见波长；
第一组合器层，被配置为使可见场景光通过到所述眼睛区域并且将从所述眼睛区域反射的所述第一光引导到相机模块；以及
第二组合器层，被配置为使所述可见场景光通过到所述眼睛区域并且将从所述眼睛区域反射的所述第二光引导到所述相机模块。
9.根据权利要求18所述的近眼光学元件，其中所述第一组合器层选择性地将以第一角度入射的所述第一光引导到所述相机模块，并且其中所述第二组合器层选择性地将以第二角度入射的所述第二光引导到所述相机模块。
10.根据权利要求8或9所述的近眼光学元件，其中所述第一组合器层和所述第二组合器层中的至少一项包括全息光学元件(HOE)。
11.根据权利要求8、9或10所述的近眼光学元件，其中所述第一照明器和所述第二照明器是被定位在所述近眼光学元件的照明层上的场内照明器，所述近眼光学元件位于所述近眼光学元件的用户的眼睛的视场(FOV)内。
12.根据权利要求8至11中任一项所述的近眼光学元件，其中所述第一照明器和所述第二照明器包括微型发光二极管(micro-LED)、边缘发射LED、垂直腔面发射激光(VCSEL)二极管或超发光二极管(SLED)中的至少一项。
13.一种近眼立体成像的方法，所述方法包括：
利用第一不可见光波长照射眼睛；
利用不同于所述第一不可见光波长的第二不可见光波长照射所述眼睛；
从具有所述第一不可见光波长的第一反射光捕获第一眼部图像；以及
从具有所述第二不可见光波长的第二反射光捕获第二眼部图像，其中所述第一眼部图像和所述第二眼部图像是利用相机而被捕获的，所述相机被配置为滤除除了所述第一不可见光波长和所述第二不可见光波长之外的光。
14.根据权利要求13所述的方法，还包括：
基于所述第一眼部图像和所述第二眼部图像来确定眼睛跟踪位置。
15.根据权利要求13所述的方法，其中第一场内照明器发射所述第一不可见光波长并且第二场内照明器发射所述第二不可见光波长，所述第一场内照明器和所述第二场内照明器被包括在被定位在用户的视场(FOV)中的近眼光学元件中；和/或优选地，其中当所述第一不可见光波长照射所述眼睛区域并且当所述第二不可见光波长不照射所述眼睛区域时，所述第一眼部图像由所述相机捕获，
并且其中当所述第二不可见光波长照射所述眼睛区域并且当所述第一不可见光波长不照射所述眼睛区域时，所述第二眼部图像由所述相机捕获；和/或优选地，其中捕获所述第一眼部图像和捕获所述第二眼部图像的所述相机包括：
第一滤波器，覆盖所述相机的第一像素，其中所述第一滤波器使所述第一不可见光波长通过并且拒绝其他光，所述第一眼部图像由所述第一像素生成；以及
第二滤波器，覆盖所述相机的第二像素，其中所述第二滤波器使所述第二不可见光波长通过并且拒绝其他光，所述第二眼部图像由所述第二像素生成。
CN202180009476.XA 2020-02-20 2021-01-22 双波长眼睛成像 Pending CN115104057A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/796,736 US11108977B1 (en) 2020-02-20 2020-02-20 Dual wavelength eye imaging
US16/796,736 2020-02-20
PCT/US2021/014693 WO2021167748A1 (en) 2020-02-20 2021-01-22 Dual wavelength eye imaging

Publications (1)

Publication Number Publication Date
CN115104057A true CN115104057A (zh) 2022-09-23

Family

ID=74595458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180009476.XA Pending CN115104057A (zh) 2020-02-20 2021-01-22 双波长眼睛成像

Country Status (6)

Country Link
US (1) US11108977B1 (zh)
EP (1) EP4107571A1 (zh)
JP (1) JP2023513869A (zh)
KR (1) KR20220138046A (zh)
CN (1) CN115104057A (zh)
WO (1) WO2021167748A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630325B1 (en) * 2020-07-23 2023-04-18 Amazon Technologies, Inc. Augmented reality devices with prescription lenses
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display
US11553163B1 (en) 2021-04-27 2023-01-10 Amazon Technologies, Inc. Method and system for eyebox expansion in display systems
WO2023049065A1 (en) * 2021-09-24 2023-03-30 Chinook Labs Llc Eye reflections using ir light sources on a transparent substrate
US11867908B2 (en) * 2021-12-17 2024-01-09 Bae Systems Information And Electronic Systems Integration Inc. Folded optic augmented reality display
US12108025B2 (en) * 2021-12-22 2024-10-01 Meta Platforms Technologies, Llc Eye-tracking optical verification tester
US12118951B2 (en) * 2022-08-17 2024-10-15 Ii-Vi Delaware, Inc. Display system with optical device
US12196960B1 (en) * 2024-04-09 2025-01-14 DISTANCE TECHNOLOGIES Oy Local dimming and compensation in light field display

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165322A1 (en) * 2007-01-10 2008-07-10 Clarity Medical Systems, Inc. Working distance and alignment sensor for a fundus camera
CN106164745A (zh) * 2014-04-09 2016-11-23 3M创新有限公司 头戴式显示器和低醒目性瞳孔照明器
CN107710048A (zh) * 2015-05-28 2018-02-16 赛尔米克实验室公司 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的系统、设备和方法
US20180129279A1 (en) * 2015-04-08 2018-05-10 Controlrad Systems Inc. Devices And Methods For Monitoring Gaze
US20190046031A1 (en) * 2017-08-14 2019-02-14 Verily Life Sciences Llc Dynamic illumination during retinal burst imaging
CN109477962A (zh) * 2016-06-17 2019-03-15 快图有限公司 虹膜图像获取系统
US20190101757A1 (en) * 2017-10-02 2019-04-04 Google Inc. Eye tracking using light guide with faceted combiner
CN109597201A (zh) * 2017-10-03 2019-04-09 脸谱科技有限责任公司 用于眼睛跟踪系统中的光重定向的菲涅耳组件

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309615B2 (ja) 1994-12-21 2002-07-29 キヤノン株式会社 画像観察装置及びこれを用いた両眼画像観察装置
JP5031405B2 (ja) * 2007-03-02 2012-09-19 キヤノン株式会社 眼科撮影装置、眼科撮影装置の制御方法およびプログラム
WO2013066306A1 (en) * 2011-10-31 2013-05-10 Hewlett-Packard Development Company, L.P. Luminescent stacked waveguide display
WO2013077204A1 (ja) * 2011-11-25 2013-05-30 シチズンホールディングス株式会社 光学デバイス
CN105229499B (zh) * 2013-03-13 2018-12-04 北卡罗莱纳州立大学 具有几何相位全息图的偏振转换系统
WO2015086617A1 (en) 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
US9551872B1 (en) * 2013-12-30 2017-01-24 Google Inc. Spatially multiplexed lens for head mounted display
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
KR20160132972A (ko) * 2014-03-18 2016-11-21 쓰리엠 이노베이티브 프로퍼티즈 컴파니 근안 디스플레이를 위한 저프로파일 이미지 조합기
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10437061B2 (en) 2015-08-03 2019-10-08 Facebook Technologies, Llc Near-ocular display based on hologram projection
JPWO2017077676A1 (ja) 2015-11-05 2018-08-16 パナソニックＩｐマネジメント株式会社 カメラシステム、給餌システム、撮像方法および撮像装置
EP3205512B1 (en) * 2016-02-09 2018-06-13 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Optical security device
US10056020B2 (en) * 2016-02-11 2018-08-21 Oculus Vr, Llc Waveguide display with two-dimensional scanner
WO2017179054A1 (en) * 2016-04-10 2017-10-19 Everysight Ltd. Binocular wide field of view (wfov) wearable optical display system
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US10395111B2 (en) 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
AU2018284089B2 (en) * 2017-06-12 2022-12-15 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
US10969584B2 (en) * 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
WO2019084334A1 (en) * 2017-10-26 2019-05-02 Magic Leap, Inc. BROADBAND ADAPTIVE LENS ASSEMBLY FOR INCREASED REALITY DISPLAY
US10466496B2 (en) * 2017-12-06 2019-11-05 Facebook Technologies, Llc Compact multi-color beam combiner using a geometric phase lens
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US10429657B1 (en) * 2018-01-18 2019-10-01 Facebook Technologies, Llc Eye tracking for a head mounted display including a pancake lens block
US11307413B2 (en) * 2018-03-01 2022-04-19 Google Llc Systems, devices, and methods for eyebox expansion in wearable heads-up display
US10582853B2 (en) 2018-03-13 2020-03-10 Welch Allyn, Inc. Selective illumination fundus imaging
US11256004B2 (en) * 2018-03-20 2022-02-22 Invensas Bonding Technologies, Inc. Direct-bonded lamination for improved image clarity in optical devices
US10725274B1 (en) * 2018-04-03 2020-07-28 Facebook Technologies, Llc Immersed dichroic optical relay
US10942349B2 (en) * 2018-08-21 2021-03-09 Facebook Technologies, Llc Illumination assembly with in-field micro devices
US10607353B2 (en) 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165322A1 (en) * 2007-01-10 2008-07-10 Clarity Medical Systems, Inc. Working distance and alignment sensor for a fundus camera
CN106164745A (zh) * 2014-04-09 2016-11-23 3M创新有限公司 头戴式显示器和低醒目性瞳孔照明器
US20180129279A1 (en) * 2015-04-08 2018-05-10 Controlrad Systems Inc. Devices And Methods For Monitoring Gaze
CN107710048A (zh) * 2015-05-28 2018-02-16 赛尔米克实验室公司 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的系统、设备和方法
CN109477962A (zh) * 2016-06-17 2019-03-15 快图有限公司 虹膜图像获取系统
US20190046031A1 (en) * 2017-08-14 2019-02-14 Verily Life Sciences Llc Dynamic illumination during retinal burst imaging
US20190101757A1 (en) * 2017-10-02 2019-04-04 Google Inc. Eye tracking using light guide with faceted combiner
CN109597201A (zh) * 2017-10-03 2019-04-09 脸谱科技有限责任公司 用于眼睛跟踪系统中的光重定向的菲涅耳组件

Also Published As

Publication number Publication date
WO2021167748A1 (en) 2021-08-26
US11108977B1 (en) 2021-08-31
US20210266474A1 (en) 2021-08-26
JP2023513869A (ja) 2023-04-04
EP4107571A1 (en) 2022-12-28
KR20220138046A (ko) 2022-10-12

Similar Documents

Publication Publication Date Title
CN115104057A (zh) 双波长眼睛成像
US9684174B2 (en) Imaging structure with embedded light sources
US10989735B2 (en) Atomic force microscopy tips for interconnection
US11164995B2 (en) 3-D structure for increasing contact surface area for LEDs
US20230087535A1 (en) Wavefront sensing from retina-reflected light
US20230352437A1 (en) Hybrid interconnect for laser bonding using nanoporous metal tips
CN115335751A (zh) 眼睛跟踪眼底成像系统
EP4420361A1 (en) Gaze-guided image capture
US11205069B1 (en) Hybrid cornea and pupil tracking
US11349053B1 (en) Flexible interconnect using conductive adhesive
WO2023129585A1 (en) Light emitting diode with angle-dependent optical filter
US12093450B2 (en) Scanning display with eye-tracking
US11778366B2 (en) Gaze-guided audio
US20240319513A1 (en) Multi-directional waveguide eye tracking system
US12147596B1 (en) Event sensing and tracking
US11927766B2 (en) In-field imaging system for eye tracking
US11796804B1 (en) Eye-tracking with steered eyebox
CN115053164B (zh) 亮瞳眼睛追踪系统
US11239400B1 (en) Curved pillar interconnects
US20230314596A1 (en) Ear-region imaging
CN118202292A (zh) 用于眼动追踪的场内成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination