CN116457729A - 图像投影 - Google Patents

Abstract

一种衍射结构，其布置成将可由观察系统转换成目标图像的光进行空间调制。衍射结构配置成产生多个离散的光图案。每个光图案对应于目标图像的不同部分。每个离散光图案的形状基本对应于观察系统的入射孔径的形状。

Description

图像投影

技术领域

本公开涉及图像投影。更具体地，本公开涉及衍射结构和用于确定诸如全息图或相息图的衍射结构的方法。一些实施例涉及基于眼睛跟踪信息的实时全息图计算。一些实施例涉及虚拟图像投影。其他实施例涉及真实图像投影。实施例涉及通过波导观察投影图像。一些实施例涉及诸如图片生成单元的光引擎。一些实施例涉及平视显示器。

背景技术

从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。

计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。

可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。

空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的(即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。

使用这里描述的系统可以提供全息投影仪。例如，这种投影仪已经在平视显示器“HUD”以及光探测和测距“LiDAR”中得到应用。

发明内容

在所附的独立权利要求中定义了本公开的各方面。

为了便于解释和说明，本公开和附图通常示出一维情况。然而，光学领域的技术人员将理解，所描述和示出的概念可以二维扩展，以从二维全息图提供二维图像。例如，虽然仅描述和示出了一维光瞳扩展，但读者应该理解，本公开例如使用串联的两个一维光瞳扩展器延伸到二维光瞳扩展。

本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统。本公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多只眼睛。观察系统包括具有光功率的光学元件(例如人眼的晶状体)和观察平面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。本公开还涉及提供(例如计算)用于图像投影的衍射图案，并且涉及该衍射图案。

显示设备包括像素。显示设备的像素衍射光。根据众所周知的光学原理，最大衍射角的幅度取决于像素的大小(以及其他因素，比如光的波长)。

在实施例中，显示设备是空间光调制器，例如硅上液晶(“LCOS”)空间光调制器(SLM)。光在衍射角范围内(例如从零到最大衍射角)从LCOS向观察实体/系统比如相机或眼睛传播。在一些实施例中，可以使用放大技术来增加可用衍射角的范围，使其超过LCOS的传统最大衍射角。

在实施例中，图像是真实图像。在其他实施例中，图像是由人眼(或多只眼睛)感知的虚拟图像。投影系统或光引擎因此可以配置成使得观察者直接看着显示设备。在这样的实施例中，用全息图编码的光直接传播到眼睛。该光可被称为“空间调制光”或“全息光”。在这样的实施例中，在显示设备和观察者之间的自由空间或屏幕或其他光接收表面上没有形成中间全息重建。在这样的实施例中，眼睛的瞳孔可被认为是观察系统的入射孔径，眼睛的视网膜可被认为是观察系统的观察平面。有时据说，在这种配置中，眼睛的晶状体执行全息图到图像的转换。

根据众所周知的光学原理，眼睛或其他观察实体/系统可以观察到的从显示设备或观察窗传播的光的角度范围随着显示设备和观察实体之间的距离而变化。例如，在1米的观察距离，来自LCOS的仅小范围角度可以传播通过眼睛的瞳孔，以在给定眼睛位置的视网膜上形成图像。从显示设备传播的光线的角度范围决定了观察者“可见”的图像部分，该光线可以成功地传播通过眼睛的瞳孔以在给定眼睛位置的视网膜上形成图像。换句话说，不是图像的所有部分从观察平面上的任何一点都是可见的(例如诸如眼动盒的观察窗口内的任何一个眼睛位置)。

在一些实施例中，观察者感知的图像是出现在显示设备上游的虚拟图像，也就是说，观察者感知图像比显示设备离他们更远。从概念上讲，可以考虑虚拟图像的多个不同虚拟图像点。对于该虚拟图像点，从虚拟点到观察者的距离在这里被称为虚拟图像距离。当然，不同虚拟点可以具有不同的虚拟图像距离。与每个虚拟点相关的光线束中的各个光线可以经由显示设备采取不同相应光路到达观察者。然而，只有显示设备的一些部分且因此只有来自虚拟图像的一个或多个虚拟点的一些光线可能在用户的视场内。换句话说，只有来自虚拟图像上的一些虚拟点的一些光线将通过显示设备传播到用户眼睛中并且因此将被观察者看到。因此，从概念上讲，可以认为观察者正在通过“显示设备大小的窗口”观察虚拟图像，该窗口可以非常小，例如直径为1cm，处于相对较大的距离，例如1米。并且用户将通过他们眼睛的瞳孔观察显示设备大小的窗口，瞳孔也可以非常小。因此，在任何给定时间，视场变小，并且能够看到的特定角度范围严重依赖于眼睛位置。

通常希望光学系统的物理尺寸较小—例如，在空间有限和/或不动产价值较高的地方使用。然而，物理约束通常与功能限制相关。例如，在传统光学系统中，使用小的显示设备通常与有限的视场(FOV)相关，因此限制了图像的可视性。本公开解决了如何增加视场的技术问题—即当显示设备(相对而言)小且投影距离(相对而言)大时，如何增加从显示设备传播的光线的角度范围，并且该光线可以成功地传播通过眼睛的瞳孔以形成图像。在一些实施例中，投影距离比显示设备的孔径的直径或宽度(即像素阵列的尺寸)大至少一个(比如至少两个)数量级。更具体地，本公开解决了如何用所谓的直视全息术来做到这一点的技术问题，在直视全息术中，图像的全息图而不是图像本身被传播到人眼。换句话说，观察者接收的光是根据图像的全息图进行了空间调制的“全息光”。

光瞳扩展器用于扩展视场，因此增加了显示设备的全衍射角可以使用的最大传播距离。波导的使用还可以横向增大用户的眼盒，从而使得眼睛能够发生一些运动，同时仍使得用户能够看到图像。在实施例中，光瞳扩展器是波导光瞳扩展器。本公开总体(但不排他地)涉及非无限虚拟图像距离，即近场虚拟图像。

本发明人已经发现，对于非无限虚拟图像距离(即近场虚拟图像)的传统全息术，会出现所谓的“重影图像”。这可能是由通过波导的不同可能光传播路径造成的。重影图像是主图像的低亮度复本。主最高强度图像可被称为主要图像。每个重影图像可被称为次要图像。重影图像的存在会显著降低感知到的虚拟图像的质量。重影图像可能会使主要图像看起来模糊。

本公开的各方面涉及用于解决由重影图像引起的问题的不同方法。这里公开的一些解决方案已经表明成功地消除或防止形成重影图像。在此公开的一些解决方案已经表明修改/操纵重影图像，以便增强或加强主要/非重影图像。

根据本公开的各方面，光引擎布置成向具有入射光瞳的观察系统提供空间调制光。显示系统包括显示设备，其布置成显示全息图并根据全息图对光进行空间调制。显示系统还包括全息引擎，其布置成输出用于在显示设备上显示的全息图，以使观察系统能够看到或感知特定位置处的目标图像或物体的图像。提供光瞳扩展器，并且可以相对于显示设备布置光瞳扩展器，以确保观察系统接收对应于整个图像的光(即提供最大视场)，而不需要改变入射光瞳的位置。

本文公开了一种为包括显示设备和观察系统的系统确定图像的衍射结构的方法。衍射结构可以是全息图，术语“全息图”此后仅用作根据本公开的衍射结构的示例。衍射结构可以是复合全息图、纯相位全息图或相息图。显示设备布置成显示全息图。观察系统布置成通过光瞳扩展器观察全息图。光瞳扩展器提供了从显示设备到观察系统的多个光传播路径。

根据本公开的各方面，提供(例如计算)全息图，该全息图使得显示全息图的显示设备在被适当照射时输出空间调制光的通道。至少在一些布置中，每个通道对应于由全息图表示的图像的相应连续区域。每个通道可以对应于图像的不同连续部分或区域，使得这些通道组合起来提供整个图像的全息光。可以在显示设备和观察系统之间提供光瞳扩展器，该光瞳扩展器布置成将每个通道引导到观察系统的入射孔径。每个通道可被认为具有唯一的各自的中心轴线，其相对于显示设备例如相对于显示设备的发光面上的中心点或另一参考点定义该通道的主要(或“芯”)行进方向。因此，读者将理解，每个通道可以由轴线来表征，轴线可被认为是通道的光轴或传播轴。每个轴线可以由相对于显示设备的法线的唯一角度来表征。每个轴线可以是将显示设备(或全息图)的中心连接到通道的照射区域或光图案的中心(即光通道的横截面区域的中心)的直线。

一个或多个通道的横截面积的尺寸和/或形状可以与观察系统的入射孔径的尺寸和/或形状相对应。例如，如果入射孔径是人眼，通道的横截面可以基本是椭圆形或卵形。在包括全息图计算的实施例中，计算过程可以包括根据入射孔径的尺寸和/或形状和/或根据显示设备的尺寸和/或形状限制或裁剪全息图。

在一些实施例中，就图像内容而言，通道之间没有重叠。在其他实施例中，就图像内容而言，通道之间有一些重叠。这种重叠是部分的且相对较小。例如，两个相邻通道可能都包含关于图像同一部分的一些信息。因此，就视场中的图像内容/空间角度而言，可以说通道可能部分重叠。

可以根据视场中的角度来表征通道。这些角度可以从显示设备/全息图的法线开始测量。每个通道可以由两个角度来表征—例如xz平面上的第一角度和yz平面上的第二角度，其中z方向垂直于显示设备/全息图，并表示来自全息图的一般光传播方向。x方向可以是水平的，而y方向可以是竖直的。例如，在x方向(水平视场)中，第一通道可以对应于0到+4度的角度范围，第二角度可以涉及+3到+7度。在这个示例中，存在1度的重叠。在这个示例中，第一通道和第二通道都包含与图像的角度内容或+3到+4度范围内的水平视场的角度相关的信息。当然，两个通道都包含附加信息。重叠相对较小—例如不超过与每个通道相关的角度范围的25％，例如不超过10％。

在一些实施例中，与每个通道相关的总角度范围(不仅仅是重叠的角度范围)的大小是相同的。在其他实施例中，与一个角度通道相关的角度范围的大小不同于另一个角度通道的角度范围的大小。

本文公开了一种计算图像的全息图的方法，该方法包括至少一个步骤，该步骤包括根据观察系统的入射光瞳进行裁剪以形成全息图，该全息图在被照射时形成空间调制光，其中空间调制光的连续光通道对应于图像的连续区域。连续的光通道可以由空间调制光的光线角度的连续范围来定义。全息图的所有像素对每个通道都有贡献，使得对每个通道都有贡献的光线可以从在其上显示和照射全息图的显示设备的多个不同像素发出。这些光线组合形成连续通道，其中每个通道相对于显示设备具有唯一相应的主传播方向。可以在传播方向上为每个通道定义芯或轴线。对于每个单独的全息图像素，不同相应通道的光将以不同相应角度从该像素输出。

空间调制光的每个连续光通道对应于图像的相应连续区域。空间调制光可被分成任意数量的连续光通道。在一些实施例中，光通道是不重叠的。在其他实施例中，例如，在波导和观察者之间另外包括具有光功率的光组合器(例如车辆挡风玻璃)的实施例中，一些光通道可以至少部分重叠。本文公开的方法确定衍射结构，该衍射结构布置成将可由观察系统转换的光空间调制成图像，其中该衍射结构配置成将光路由到多个全息图通道中，每个全息图通道对应于图像的不同部分。

为了避免疑问，由观察者形成或感知的图像是目标图像的全息再现。全息重建从基于目标图像的全息图形成。在一些实施例中，从目标图像确定(例如计算)全息图。

可以使用任何合适的技术来计算全息图。本文公开了多种可能的全息图计算技术，然而本公开不限于所提供的示例。根据一些实施例，可以使用建模技术来计算全息图，例如光线跟踪技术，例如所谓的“点云”全息图计算技术。在这样的实施例中，全息引擎可以布置成接收贡献信息，该贡献信息基于入射光瞳的位置来识别显示设备的贡献区域和非贡献区域。显示设备的贡献区域基本传播在确定位置穿过入射光瞳的光。显示设备的非贡献区域基本传播被确定位置处的入射光瞳阻挡的光。贡献信息还识别(i)将光传播到观察系统的显示设备的至少一个主要贡献区域，其对主要图像有贡献，以及(ii)将光传播到观察系统的显示设备的至少一个次要贡献区域，其对次要图像有贡献。全息引擎还布置成基于由处理引擎识别的显示设备的至少一个主要贡献区域来确定全息图。全息引擎还布置成将全息图输出到显示设备进行显示。

通过识别显示设备的贡献和非贡献区域，对于观察系统的入射孔径的给定位置，光引擎可以确定显示设备的哪个或哪些部分可被全息图有效地编码，以便积极地有助于主要图像的形成。例如，这可以对应于在给定时间观察者眼睛的位置。此外，光引擎可以确定显示设备的哪些部分不能通过入射孔径传播光，因此不值得填充全息图值。此外，光引擎可以区分显示设备中对“主”目标图像有积极贡献的部分和对主要图像的拷贝/复本或“重影”版本有贡献的部分。因此，可以在所谓的次要贡献区域中省略全息图，以消除重影。

可替代地，在显著的进一步改进中，可以基于图像点(即期望图像内的点，其将被全息重建)的位移或修正位置来确定在附加贡献区域中显示的全息图。该修正位置可被称为“次要图像点”，但这是它是(主要)图像点的次要(即改变的)位置的简写。简而言之，可以修改(例如在图像平面上平移)图像点的模型化/计算的位置，使得从所述修改位置经由显示设备上的附加贡献区域传播的光将到达观察平面上的期望位置，以便有效地增强主要图像。因此，在该替代方法中，基于图像点的与用于识别显示设备上的主要贡献区域的位置不同的位置来确定附加贡献区域的全息图。从主要图像点开始的到在观察平面上形成的相应图像的光路长度通常不同于从次要图像点到在观察平面上形成的相应图像的光路长度。因此可以说，与附加贡献区域相关的全息图确定过程包括平移或移动在全息图确定过程中使用的图像点。

因此，提供了智能且高效的光引擎，其可以配置和操作以提供清晰、准确的图像，对应于已经以流线型且计算高效的方式确定的全息图。

提供了一种确定用于在显示设备上显示的全息图的方法。该方法包括确定布置成观察全息图的观察系统的入射光瞳的位置，并且识别显示设备的贡献区域和非贡献区域，其中显示设备的贡献区域基本传播在确定位置处穿过观察系统的入射光瞳的光，并且显示设备的非贡献区域基本传播在确定位置处被观察系统的入射光瞳阻挡的光。该方法还包括识别提供对主要图像有贡献的光的显示设备的至少一个主要贡献区域和提供对次要图像有贡献的光的显示设备的至少一个次要贡献区域；以及基于显示设备的至少一个主要贡献区域来确定全息图。

提供了衍射结构，其布置成将可由观察系统转换的光空间调制成目标图像，其中衍射结构配置成生成多个离散光图案，每个光图案对应于目标图像的不同部分，其中每个离散光图案的形状基本对应于观察系统的入射孔径的形状。

提供了衍射结构，其布置成将可由观察系统(包括透镜)转换的光空间调制成图像，其中衍射结构布置成将光引导到多个离散的光通道中，其中每个光通道具有基本对应于观察系统的入射光瞳的横截面形状，并且每个光通道基本对应于图像的不同部分。

提供了一种确定用于显示在显示设备上的全息图以及通过观察显示在显示设备上的全息图经由波导来形成可从观察平面感知的虚拟图像的方法。该方法包括，对于虚拟图像的每个虚拟图像点，确定虚拟图像点的坐标[x_virtual,y_virtual,z_virtual]，确定观察平面上的观察位置，以及确定与波导形成的主要图像相关的波导内的光反射数量B。该方法还包括对于波导内的“B”次光反射，从虚拟图像点到观察平面的光线进行跟踪，以及对于从[x_virtual,y_virtual,z_virtual]到观察平面的具有B次反射的光传播，确定主光线在显示设备处的坐标[x_LCOS(B),y_LCOS(B)]。该方法还包括确定由[x_LCOS(B),y_LCOS(B)]定义的区域内的显示设备的有效像素；以及通过从[x_virtual,y_virtual,z_virtual]向有效像素传播光波来确定包括有效像素的振幅和/或相位全息图分量的子全息图。

主光线可以包括被确定(例如计算或模拟)为从虚拟图像点经由显示设备行进到观察平面上的虚拟图像点的主要或“主”图像点的光线。

该方法还可以包括组合分别为两个或更多个对应虚拟图像点计算的子全息图，以便形成全息图。

该方法还可以包括确定虚拟图像点的主图像在观察平面上的位置[x_sensor,y_sensor]。

该方法可以还包括，对于波导允许的每个ΔB值，针对B+ΔB次反弹，进行从[x_sensor,y_sensor]到虚拟图像平面z_virtual光线追踪，并且确定虚拟点坐标[x_virtual(ΔB),y_virtual(ΔB),z_virtual]，其将针对B+ΔB次反射成像到[x_sensor,y_sensor]。该方法还可以包括针对从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观察平面的具有B+ΔB次反弹的光传播，确定显示设备处的主光线的坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]，并且识别由[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]定义的第二区域(即附加区域)内的显示设备的附加有效像素。该方法还可以包括通过将来自[x_virtual(ΔB),y_virtual(ΔB),z_virtual]的光波传播到附加有效像素来确定附加子全息图，该附加子全息图包括附加有效像素的振幅和/或相位全息图分量。

根据一些实施例，可以通过确定复合光场来计算全息图，其中该方法可以是迭代的。根据一实施例，该方法包括第一至第五阶段。第一阶段包括确定观察系统的入射光瞳处的第一复合光场。第一复合光场由来自显示设备的显示平面的光沿着光瞳扩展器的至少一个光传播路径的传播而产生。第一阶段还包括根据观察系统的入射光瞳进行裁剪。第二阶段包括确定观察系统的传感器的传感器平面处的第二复合光场。第二复合光场由第一复合光场的光从入射光瞳通过观察系统的透镜的传播而产生。第二阶段还包括根据图像修改振幅分量。第三阶段包括确定入射光瞳处的第三复合光场。第三复合光场由第二复合光场的光从传感器平面反向传播通过透镜而产生。第三阶段还包括根据入射光瞳进行裁剪。第四阶段包括确定显示平面处的第四复合光场。第四复合光场由第三复合光场的光沿着光瞳扩展器的至少一个光传播返回的传播而产生。第四阶段还包括根据显示设备进行裁剪。全息图是从第四数据集提取的。第一至第四步骤可以迭代地重复。随着每次迭代，全息图会收敛，可能会改善，但会趋于平稳。例如，当可从第四阶段提取的全息图被认为具有可接受的质量或者每次迭代的变化率低于阈值或者分配的时间已经到期时，该方法可以停止。为了避免疑问，提取的全息图是用于在显示设备上显示的全息图。

术语“反向传播”仅用于反映第三和第四阶段中的光传播方向与第一和第二阶段中的光传播方向不同或基本相反。在这方面，第一和第二阶段中的光传播可称为“正向传播”。在一些实施例中，“正向传播”和“反向传播”是彼此的数学逆。

这里使用的术语“裁剪”指的是选择性地丢弃感兴趣的区域或范围之外(例如光孔径之外)的信息(例如光场信息)的过程。在一些实施例中，“裁剪”是一个数据处理步骤，包括丢弃孔径之外的数据点，或置零数据点，或简单地忽略数据点。

这里提到了“复合光场”。术语“光场”仅仅表示在至少两个正交空间方向(x和y)上具有有限尺寸的光图案。这里使用的“复合”一词仅仅表示光场中每个点处的光可以由振幅值和相位值来定义，因此可以由复数或一对值来表示。出于全息图计算的目的，复合光场可以是复数的二维阵列，其中复数定义光场内多个离散位置处的光强和相位。根据本文公开的方法，复合光场在全息平面和图像平面之间沿+z和-z方向向前和向后传播。可以使用波动光学领域的技术人员熟悉的多种不同方法或数学变换中的任何一种来模拟或建模光传播。

发明人设计了一种为相对小的显示设备和在相对长距离上投影确定全息图的方法，其中全息图被直接投影到观察系统，并且该方法能够实时实施。显示设备的相对小的尺寸和相对长的投影距离可能需要光瞳扩展器。发明人设计的方法还解决了使用光瞳扩展器引入的光学复杂性。至少在一些实施例中，该方法还允许图像内容出现在离观察系统不同的距离和/或多个距离处，可选地，同时出现，例如使用一个全息图。此外，该方法允许图像内容出现在显示设备的下游和显示设备的上游，可选地，同时出现，例如使用一个全息图。

重要的是，全息图本身的光(即全息光)传播到观察系统，而不是由全息图形成的全息重建(即图像)。可以说由观察系统接收的空间调制光是在全息域中，而不是在空间或图像域中。也可以说观察系统执行全息图到图像的转换。更具体地，诸如每个观察系统的透镜的光学元件执行转换。在实施例中，在显示设备和观察系统之间不形成全息重建或图像。在一些实施例中，可选地，使用交错方案，计算不同的全息图并将其传播到观察者的每只眼睛。

显示设备具有有有效或显示区域，该有效或显示区域具有小于10厘米的第一维度，例如小于5厘米或小于2厘米。显示设备和观察系统之间的传播距离可以大于1m，例如大于1.5m或大于2m。波导内的光学传播距离可以高达2m，例如高达1.5m或高达1m。该方法能够在小于20ms比如小于15ms或小于10ms内接收图像并确定足够质量的相应全息图。

本文公开的方法形成全息图，该全息图配置成将光路由到多个通道中，每个通道对应于图像的不同部分(即子区域)。全息图可以在诸如空间光调制器的显示设备上展示(比如显示)。当显示在适当的显示设备上时，全息图可以对可由观察系统转换成图像的光进行空间调制。由衍射结构形成的通道在这里被称为“全息图通道”,仅仅是为了反映它们是由具有图像信息的全息图编码的光通道。可以说每个通道的光是在全息域中，而不是在图像或空间域中。在一些实施例中，全息图是傅立叶或傅立叶变换全息图，因此全息图域是傅立叶或频域。全息图同样可以是菲涅耳或菲涅耳变换全息图。

全息图在本文中被描述为将光路由到多个全息图通道中，仅仅是为了反映可由全息图重建的图像具有有限的大小，并且可被任意划分成多个图像子区域，其中每个全息图通道对应于相应的图像子区域。重要的是，本公开的全息图的特征在于它在被照射时如何分布图像内容。具体来说，全息图通过角度来划分图像内容。也就是说，图像上的每个点都与由全息图在被照射时形成的空间调制光中唯一的光线角度或角度范围(至少是唯一的一对角度或角度范围，因为全息图是二维的)相关。也就是说，目标/期望图像的每个点可以与由重建图像的全息图形成的光通道相关。更具体地，与每个图像点相关的图像内容或信息在相应的通道内被编码。除非如上所述存在一些重叠，否则每个图像点(或形成图像子区域的图像点的连续范围)唯一地与对应的光通道相关。因此，图像的每个部分可以与定义由全息图形成的离散光通道的轴线的角度(或一对角度)相关。为了避免疑问，这种全息图行为不是常规的。当被照射时，由这种特殊类型的全息图形成的空间调制光可被任意分成多个全息图通道。从上文可以理解，在空间调制光中可以考虑的任何全息图将与图像的相应部分或子区域相关。也就是说，重建图像的该部分或子区域所需的所有信息都包含在由图像的全息图形成的空间调制光的通道内。当作为整体观察空间调制光时，不一定存在多个离散光通道的任何证据。然而，在一些实施例中，通过有意地将计算全息图的目标图像的区域留为空白或空的(即不存在图像内容)来形成多个空间分离的全息图通道。

然而，全息图仍可被识别。例如，如果仅一个全息图通道(即，仅一个由全息图形成的空间调制光的连续部分或子区域)被重建，则仅图像的一个相应子区域应是可见的。如果不同的全息图通道(即，空间调制光的不同连续部分或子区域)被重建，则图像的不同相应子区域应是可见的。这种类型的全息图的另一个识别特征是，任何全息图通道的横截面区域的形状基本对应于入射光瞳的形状(即基本相同)，尽管尺寸可以不同—至少在计算全息图的正确平面上是不同的。每个光全息图通道从全息图沿芯(或轴向)方向传播。虽然这些是表征或识别这种类型全息图的示例方式，但也可以使用其他方式。总之，本文公开的全息图通过图像内容如何分布在全息图编码的光内来表征和识别，并且相应地陈述了所附权利要求。

该方法可以包括在全息图计算期间分割图像，使得由全息图形成的光通道数量且因此光通道之间的间隔与这里描述的复制过程协同。在一些实施例中，每个通道唯一地对应于波导内的多次反射反弹。例如，第一通道可以对应于零个“反弹”，第二通道可以对应于一个“反弹”等。

本文公开的方法提供了许多技术进步。首先，该方法不形成可能由其他方法形成的重影图像。这是因为该方法通过充分考虑波导中所有可能的光传播路径而固有地确保了正确的图像内容到达正确的位置。其次，至少在一些实施例中，该方法可以在任何深度平面呈现图像内容，而不像其他方法(其在图像点距离非常小时可能很差)。这在利用具有光功率的光组合器(例如汽车挡风玻璃)来形成虚拟图像的光学系统中是一个重大问题。第三，该方法固有地考虑了波长的影响，使得在包括多个单色全息通道的彩色投影仪中，不需要比如在美国专利10514658中公开的那样通过波长进行图像尺寸校正。

全息图通道的不同传播路径可以不同相应角度穿过观察系统的入射孔径。光瞳扩展器可以布置成使得在观察平面上的任何观察位置处所有的全息图通道被路由通过观察系统的入射孔径。对于每个允许的观察位置，光瞳扩展器仅将每个全息图通道经由一个传播路径路由到观察系统。多个全息图通道中的至少两个全息图通道可以在观察系统的入射孔径处部分重叠。

在该方法包括第一至第五阶段的实施例中，第一至第四阶段可以是有序的阶段。所公开的方法通过在图像平面和全息图之间来回投影来操作，并且该方法可以从图像平面或全息图平面开始。光场在每次传播到图像平面或全息平面之后的振幅分量被修改或约束，但相位分量被保留。在一些实施例中，该方法从第一阶段开始，这等同于从全息平面开始。然而，在其他实施例中，该方法从第三阶段开始，这等同于从图像平面开始。在这些其他实施例中，第三阶段之后是第四阶段。第四阶段之后是第一阶段，第一阶段之后是第二阶段。每个阶段可以在全息图提取之前执行一次，或者至少一些阶段可以在全息图提取之前执行多次。

至少一个光传播路径可以包括由光瞳扩展器提供的多个光传播路径。光瞳扩展器的结构便于或允许多个不同的可能光路通过。不同的可能光路可以部分重叠。在一些实施例中，由光瞳扩展器创建一系列不同的光路，其中该系列中的每个光路都比上一个光路长。该系列的每个光路在其出射表面上的不同点离开光瞳扩展器，以创建相应系列的光出射点或子区域。这一系列光出射点或子区域可以沿着光瞳扩展器的出射面基本均匀地间隔开。

光瞳扩展器可以是波导光瞳扩展器。进入光瞳扩展器的每个光线可被复制多次。光瞳扩展器可以布置成通过一系列内部反射传播光，并且在沿着其主面的多个点处输出光。每个光传播路径可以由与该光传播路径相关的波导内的内部反射的数量来定义。例如，第一光传播路径可以包括零次内部反射，因此对应于直接穿过波导的光。例如，第二光传播路径可以包括在离开波导之前的两次内部反射，即在波导的第一主/反射表面处的第一反射和在波导的第二主/反射表面处的第二反射，其中第二主/反射表面与第一主/反射表面相对或互补。为了避免疑问，光传播路径因此具有一些重叠。在其他示例中，第一光传播路径包括一次反射，第二光传播路径包括三次反射。第一光传播路径可以是最短的光传播路径，第n光传播路径可以是最长的光传播路径。不同的传播路径可以不同的角度穿过观察系统的入射孔径。

至少一个光传播路径可以仅仅是由光瞳扩展器提供的多个光传播路径中的一个。可以对多个光传播路径中的每个光传播路径执行第一至第四阶段，以便为每个光传播路径提取全息图。对于每个光传播路径，可以独立地执行第一至第四阶段。可以组合对应于多个光传播路径的多个全息图，以便形成用于在显示设备上显示的全息图。

值得注意的是，该方法通过对每个光传播路径执行第一至第四步骤(不考虑起始点)来考虑通过波导的多个光传播路径。可以对每个传播路径依次执行第一至第四步骤。可替代地，可以对每个传播路径执行第一步骤，然后对每个传播路径执行第二步骤，然后执行第三步骤，依此类推。应当理解，由于不同传播路径的部分重叠，关于第n个传播路径执行的步骤可以重用关于第n-1个传播路径的计算，其中第n个传播路径是在第n-1个传播路径之后的下一个最长的传播路径。分别为多个不同的光传播路径确定的多个全息图可以通过相加来组合，特别是如果全息图是相位或纯相位全息图。

在第一阶段中从显示平面传播的光可以包括具有随机相位分量的第零复合光场、二次函数或采样二次函数。

第零复合光场的振幅分量可以等于照射光束的振幅分量。在一些实施例中，第零复合光场的振幅是1。如果该方法从第一阶段开始，则第零复合光场的相位分量可能是随机的。随机相位分布有时被称为随机相位种子，并且当该方法在全息平面(即第一阶段)开始时，可以仅被用作该方法的起始点。

在从最终迭代中提取全息图的步骤之前，可以迭代地重复第一至第四阶段。对于第二次和后续迭代，从显示设备传播的光可以包括前一次迭代的第四复合光场的相位分布。

如果在该方法停止之前执行第一阶段的进一步迭代(即全息图是可接受的)，则来自第四步骤的相位分量被保存或保留或结转。即，根据第一阶段传播到显示平面的复合光场的相位分量等于第四复合光场的相位分量。

全息图可以是第四数据集的相位分量。全息图可以是该方法的最终迭代或阶段的第四数据集的相位分量。在一些实施例中，全息图是相息图或相位全息图或纯相位全息图。可以丢弃第四复合光场的振幅分量。

全息图可以是多个图像的全息图。每个图像可以具有不同的图像距离。该方法的第二阶段可以针对每个图像独立执行。重要地，本文公开的方法形成了可以同时在多个平面上形成图像内容的全息图。这是通过对每个不同的平面执行第二阶段并组合结果来实现的，例如将复合光场相加在一起。每个图像可以是真实图像或虚拟图像。图像内容可能在显示设备的前面(即显示设备的下游)和/或显示设备的后面(即显示设备的上游)可见。

每个复合光场由波传播光学确定，例如菲涅耳传播、移位菲涅耳传播、分数菲涅耳传播、分数傅立叶变换或缩放快速傅立叶变换。

第二阶段的振幅分量的修改可以包括用图像的振幅分量替换第二复合光场的振幅分量，或者基于图像的振幅分量对第二复合光场的振幅分量进行加权。

剪裁的每个步骤可以包括根据相应瞳孔的尺寸和位置中的至少一个来剪裁复合光场。入射光瞳的尺寸和位置中的至少一个可以通过跟踪或监控观察系统或接收关于观察系统的信息来确定。在观察系统是眼睛的实施例中，该方法可以包括眼睛跟踪或头部跟踪。如果入射光瞳的至少一个属性(例如位置或尺寸)改变，则可以重复本文公开的第一至第四阶段。

所述图像或每个图像可以是虚拟图像。所述图像或每个图像对于观察系统来说可能看起来在显示设备的后面或较远的一面。也就是说，从观察系统到感知图像的图像距离可能大于从观察系统到显示设备的距离。然而，在其他实施例中，图像内容另外或可替代地形成在显示设备的下游，即在显示设备和观察系统之间。

观察系统可以是观察者的眼睛。该方法还可以包括跟踪观察者的眼睛或头部，以便确定观察系统的入射光瞳的尺寸和位置中的至少一个。在一些实施例中，观察系统的入射光瞳的尺寸和/或位置被用作确定全息图的方法的一部分。在一些实施例中，如果观察者移动或者例如环境光条件改变影响了观察者的入射光瞳的尺寸，则该方法实时(例如以视频速率)执行，并且全息图被重新确定，例如重新计算。

沿着由光瞳扩展器提供的每个光传播路径的传播可以包括组合各个单独光传播路径的单独复合光场。可以通过相加来组合单独复合光场。由光瞳扩展器提供的多个不同光传播路径中的每个光传播路径被单独考虑。由每个光传播路径形成的复合光场被单独确定。

光瞳扩展器可以是波导光瞳扩展器。每个光传播路径对应于波导内不同数量的内部反射。在一些实施例中，光瞳扩展器是具有基本一维(即细长的)或二维形状(例如基本平面的，比如板形)的波导光瞳扩展器。在实施例中，出射光瞳在部件的长方向或维度上扩展。光瞳扩展器可以包括一对相对或互补的反射表面。这些表面中的一个可以仅仅是部分反射的，以允许光在一系列光出射点或子区域离开。

组合单独复合光场可以包括确定每个单独复合光场在包含入射光瞳的平面上的横向位置。波导内的内部反射次数决定了横向位置。

组合单独复合光场还可以包括确定与每个光传播路径的内部反射相关的总相移。这可以包括对与每个光传播路径相关的多个相移进行求和，其中每个相移由光瞳扩展器内的反射产生。

这里还公开了一种全息引擎，其布置为确定图像的全息图，以使用平视显示器进行观察。平视显示器包括显示设备和光瞳扩展器。平视显示器配置成与至少一个观察系统一起操作。每个观察系统包括入射光瞳平面上的入射光瞳、透镜平面上的透镜和传感器平面上的传感器。平视显示器可以配置成与一对观察系统比如一双眼睛一起操作。显示设备(例如空间光调制器)布置成显示全息图。光瞳扩展器布置成接收根据全息图进行空间调制的光。例如，显示的全息图可以用来自光源的至少部分相干光照射。显示设备根据显示的全息图对接收的光进行空间调制。全息引擎布置成确定在观察系统的入射光瞳处的第一复合光场。第一复合光场由来自显示设备的显示平面的光沿着光瞳扩展器的每个光传播路径的传播而产生。第一复合光场还由根据观察系统的入射光瞳裁剪而产生。全息引擎还布置成确定在观察系统的传感器的传感器平面处的第二复合光场。第二复合光场由第一复合光场的光从输入光瞳通过观察系统的透镜的传播而产生。第二复合光场还由根据图像对振幅分量的修改而产生。全息引擎还布置成确定在入射光瞳处的第三复合光场。第三复合光场由第二复合光场的光从传感器平面反向传播通过透镜而产生。第三复合光场还由根据入射光瞳的裁剪而产生。全息引擎还布置成确定显示平面上的第四复合光场。第四复合光场由第三复合光场的光沿着光瞳扩展器的每个光传播的反向传播而产生。第四复合光场还由根据显示设备的裁剪而产生。全息引擎布置成从第四数据集中提取全息图。全息引擎可以嵌入在显示驱动器中，比如现场可编程门阵列“FPGA”或专用集成电路“ASIC”。显示驱动器可以是用于平视显示器“HUD”的图片生成单元“PGU”的一部分。

本公开的各方面涉及一种全息图或相息图，其特征在于全息光的引导或路由。具体而言，本文公开了一种衍射结构，其布置成将可由观察系统转换成图像的光进行空间调制，其中该衍射结构配置成将光路由到多个全息图通道中，每个全息图通道对应于图像的不同部分。

衍射结构可以显示在显示设备处，例如空间光调制器，例如但不限于硅上液晶(LCOS)空间光调制器(SLM)。当显示衍射结构的显示设备被适当照射时，衍射结构配置成对光进行空间调制，结果，由显示设备发射的光被路由到多个全息图通道中。单个(即公共)光源可用于照射整个衍射结构。衍射结构可以包括多个像素，其中衍射结构的每个像素向每个全息图通道贡献光。

全息图通道可被称为“全息通道”，因为它们包括已经被衍射结构空间调制的光通道。

衍射结构可以布置成使得全息图通道以不同的角度从衍射结构传播。也就是说，相对于如上所述的显示设备，每个全息图通道的特征在于唯一的轴角或一对角。每个这样的角度可以在相应通道的主要或芯行进方向和显示设备上的点(例如显示设备上显示衍射结构的中心点)之间定义。全息图或衍射结构的每个像素可以对每个通道有贡献。

根据图像的相应不同部分，每个全息图通道可以主要包括空间调制光。单词“主要”用于反映通道之间可能发生一些重叠，但是重叠相对较小。例如，第一通道可以主要(即大致或基本)对应于视场(即图像)的第一角度部分，第二通道可以大致或基本对应于视场(即图像)的第二角度部分，但是在第一和第二角度部分之间可以有一些部分重叠。也就是说，第一通道和第二通道都可以编码视场的重叠区域的信息。

每个通道对应于图像的子区域(即视场的角区域)。虽然在子区域之间可能有一些部分重叠(如上所述)，但是每个通道唯一地与视场中形成对应子区域中心的点相关。在一些实施例中，子区域具有相同的尺寸和/或形状。在其他实施例中，子区域具有不同的尺寸和/或形状。在一些实施例中，每个子区域的形状由显示设备的形状决定，更具体地说，由限定像素阵列的区域的形状决定。

衍射结构可以布置成对光的相位进行空间调制。

衍射结构可以布置成通过波导路由光。波导可以布置用于光瞳扩展或光瞳复制。

可由每个全息图通道形成的光图案的横截面形状可以基本对应于观察系统的入射孔径的形状。当在入射孔径的平面处观察横截面时，每个通道的横截面尺寸也可以基本对应于入射孔径的尺寸。当在入射孔径的平面处观察横截面时，横截面的尺寸可以类似于入射孔径但大于入射孔径的尺寸。

全息图通道可以是空间分离的或至少部分空间分离的。当通道从衍射结构朝向观察者或观察系统传播时，通道可以散开或发散，以便在空间上彼此分离。在一些实施例中，通道仅在一个方向/维度上散开，例如水平方向。

这里还公开了一种系统，该系统包括衍射结构、布置成接收来自衍射结构的空间调制光的波导以及布置成经由波导接收空间调制光的观察系统。

该系统可以布置成使得每个全息图通道的光沿着不同的光路从衍射结构到达观察系统。

不同的光路可以包括波导内不同数量的反射。不同的光路可以具有不同的长度。不同的光路可以不同的相应角度穿过观察系统的入射孔径。

波导可以布置成使得所有全息图通道在观察平面上的任何观察位置处被路由通过观察系统的入射孔径。对于每个允许的观察位置，波导可以仅通过一个光路将每个全息图通道路由到观察系统。

多个全息图通道中的至少两个全息图通道可以在观察系统的入射孔径处部分重叠。

衍射结构可以是相息图或全息图。它可以包括计算机生成的全息图。可以提供全息图引擎或其他控制器或处理器来输出信号，以控制显示设备显示衍射结构。

术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建可以是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的复本。零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光所照射的重放场的区域。在一些实施例中，“图像”可包括离散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。

术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。

已经发现，可接受质量的全息重建可以由仅包含与原始物体(即用于重建的目标图像)相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。本公开不限于任何特定的全息图计算方法。仅作为示例，一些实施例涉及点云全息图，即使用点云方法构建的全息图。然而，本公开同样适用于傅立叶或菲涅耳型全息图以及根据诸如相干光线跟踪的其他技术计算的全息图。

本公开也同样适用于使用与原始物体(即目标图像)相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。

可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。

因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。

尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。

还公开了以下编号的项目：

1.一种光引擎，其布置为向具有入射光瞳的观察系统提供空间调制光，其中，所述显示系统包括：

显示设备，其布置成显示全息图并根据全息图对光进行空间调制；以及

全息引擎，其布置成接收基于入射光瞳的位置识别显示设备的贡献区域和非贡献区域的贡献信息，其中显示设备的贡献区域基本传播穿过该位置处的入射光瞳的空间调制光，并且显示设备的非贡献区域基本传播被该位置处的入射光瞳阻挡的空间调制光，

其中，贡献信息进一步识别(i)将光传播到观察系统的显示设备的至少一个主要贡献区域，其对主要图像有贡献，以及(ii)将光传播到观察系统的显示设备的至少一个次要贡献区域，其对次要图像有贡献，其中，

全息引擎还布置成基于显示设备的至少一个主要贡献区域来确定全息图，并将全息图输出到显示设备用于显示。

2.如项目1所述的光引擎，其中光引擎还包括监控系统，其布置成确定观察系统的入射光瞳的位置。

3.如项目1或2所述的光引擎，其中光引擎还包括波导，其布置成接收来自显示设备的空间调制光，并为从显示设备到入射光瞳的空间调制光提供多个不同光传播路径，其中每个贡献区域对应于由波导提供的不同的相应光传播路径。

4.如项目1至3中任一项所述的光引擎，其中观察系统布置成形成对应于全息图的图像。

5.如项目4所述的光引擎，其中主要图像包括图像的第一版本，次要图像包括图像的第二版本。

6.如任一前述项目所述的光引擎，其中贡献信息为图像的多个图像点中的每个图像点识别显示设备的相应贡献区域和非贡献区域。

7.如项目6所述的光引擎，其中全息图包括多个子全息图，其中每个子全息图由全息图引擎基于图像的相应图像点的贡献信息来确定。

8.一种确定用于在显示设备上显示的全息图的方法；该方法包括：

(i)确定布置成观察全息图的观察系统的入射光瞳的位置；

(ii)识别显示设备的贡献区域和非贡献区域，其中显示设备的贡献区域基本传播在确定位置穿过观察系统的入射光瞳的光，并且显示设备的非贡献区域基本传播在确定位置被观察系统的入射光瞳阻挡的光；

(iii)识别提供对主要图像有贡献的光的显示设备的至少一个主要贡献区域和提供对次要图像有贡献的光的显示设备的至少一个次要贡献区域；以及

(iv)基于显示设备的至少一个主要贡献区域来确定全息图。

9.如项目8所述的确定全息图的方法，其中对图像的多个图像点中的每个图像点执行步骤(ii)至(iv),并且其中确定每个图像点的每个贡献区域的位置包括识别从所述图像点传播到入射光瞳的光线与显示设备相交的位置。

10.如项目8或9所述的确定全息图的方法，其中观察系统包括波导，其布置成接收来自显示设备的空间调制光，并为从显示设备到入射光瞳的空间调制光提供多个不同光传播路径，并且其中步骤(iii)包括对于每个图像点，确定对应于主要图像的波导光瞳扩展器内的内部反射数量B。

11.如项目10所述的方法，其中确定内部反射数量(B)的步骤基于与对应图像点相关的角度，其中该角度是相对于通过将连接显示设备的中心和所确定的入射光瞳位置的线外推至图像而形成的线的光轴的角度。

12.如项目11所述的方法，其中每个贡献区域具有基于入射光瞳直径的尺寸。

13.如项目8至12中任一项所述的方法，其中步骤(ii)和(iii)包括对于每个图像点：

对于波导内的B次光反射，进行从图像点[x_virtual,y_virtual,z_virtual]到观察系统的观察平面的光线跟踪，以识别观察平面上的位置[x_sensor,y_sensor]；

对于从图像点[x_virtual,y_virtual,z_virtual]到观察平面上的位置[x_sensor,y_sensor]的具有B次反射的光传播，确定主光线在显示设备处的坐标[x_LCOS(B),y_LCOS(B)]；以及

识别由[x_LCOS(B),y_LCOS(B)]定义的区域内的显示设备的有效像素。

14.如项目8至13中任一项所述的方法，其中步骤(iv)包括仅在显示设备的至少一个主要贡献区域中确定全息图的一个或多个值。

15.如项目8至13中任一项所述的方法，还包括排除在显示设备的不包括在主要贡献区域内的区域中的全息图的值。

16.如项目8至13中任一项所述的确定全息图的方法，其中步骤(iv)包括在确定全息图期间排除与至少一个次要贡献区域相关的全息图值。

17.如项目8至13中任一项所述的确定全息图的方法，其中步骤(iv)包括将全息图确定仅限制到显示设备的至少一个主要贡献区域。

18.如项目8至17中任一项所述的确定全息图的方法，其中步骤(iv)包括对于每个图像点在相应至少一个主要贡献区域内确定子全息图，并组合子全息图以形成全息图。

19.如项目18所述的确定全息图的方法，其中每个子全息图包括通过将光波从[x_virtual,y_virtual,z_virtual]传播到对应主要贡献区域而确定的振幅和/或相位全息图分量。

20.如项目8至13中任一项所述的确定全息图的方法，还包括，对于每个图像点，识别与B+ΔB反弹相关的显示设备的附加贡献区域。

21.如项目20所述的确定全息图的方法，其中识别附加贡献区域包括：

对于B+ΔB次反弹，进行从[x_sensor,y_sensor]到虚拟图像平面zvirtual的反向光线跟踪；

确定针对B+ΔB次反射的将成像到[x_sensor,y_sensor]的虚拟点坐标[x_virtual(ΔB),y_virtual(ΔB),z_virtual]；

针对具有B+ΔB次反弹的从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观察平面的光传播，确定主光线在显示设备处的坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]；以及

识别由[x_LCOS(B+ΔB),y_LCOS(B+ΔB)]定义的第二区域内的显示设备的附加有效像素。

22.如项目21所述的确定全息图的方法，还包括为每个附加有效像素确定附加子全息图，并将附加子全息图与子全息图组合。

23.如项目22所述的确定全息图的方法，其中每个附加子全息图包括振幅和/或相位全息图分量，其是通过将光波从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]传播到附加贡献区域而确定的。

24.如任一前述项目所述的光引擎或确定全息图的方法，其中全息图配置成使得主要图像和至少一个次要图像是虚拟图像，每个虚拟图像具有非无限虚拟图像距离。

25.如前述项目所述的光引擎或确定全息图的方法，其中显示设备的显示区域具有小于5厘米的第一尺寸，例如小于2厘米或小于1厘米。

26.如前述项目所述的光引擎或确定全息图的方法，其中从显示设备到观察系统的入射光瞳的距离等于或大于20厘米或50厘米，例如大于75厘米或大于100厘米。

27.如任一前述项目所述的光引擎或确定全息图的方法，其中波导布置成接收来自显示设备的空间调制光，并且其中主要图像是从由波导形成的多个图像中选择的具有最大亮度的图像。

附图说明

仅参考以下附图以示例的方式描述特定实施例：

图1是示出在屏幕上产生全息重建的反射型SLM的示意图；

图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；

图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代；

图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代；

图3是反射型LCOS SLM的示意图；

图4示出了通过小观察窗口朝向孔径有效传播的图像的角度内容；

图5a示出了具有相对较小传播距离的观察系统；

图5b示出了具有相对较大传播距离的观察系统；

图6a示出了具有相对较大传播距离的观察系统，其包括波导，用于在无穷远处形成虚拟图像；

图6b示出了图6a的光路的放大图；

图7示出了如何利用有限虚拟图像和波导光瞳扩展器来形成重影图像；

图8示出了包括主要图像和两个重影图像的虚拟图像；

图9A到9C示出了一示例，其中整个LCOS用于形成一个主要图像点和两个相应的重影图像点；

图10A到10C示出了通过波导的第一、第二和第三传播路径，分别产生第二重影点、主图像点和第一重影点；

图11A到11C示出了与三个不同的场/图像点相关的三个传播路径和LCOS利用；

图12A示出了包括虚拟图像点和由观察系统和波导形成的该虚拟图像点的图像的观察系统；

图12B示出了与图12A的示例相关的LCOS的主要贡献区域；

图13示出了根据实施例的导出改进的数据结构的改进方法的流程图；

图14示出了根据实施例的导出改进的数据结构的进一步改进的方法的流程图；

图15示出了根据实施例的光学系统；

图16是示出根据实施例的方法的步骤的流程图；

图17A示出了包括多个图像区域的图像(底部)和包括多个全息图分量的相应全息图(顶部)；

图17B示出了根据本公开的全息图，其特征在于将全息编码的光路由或引导到多个离散的全息图通道中；以及

图17C示出了优化的系统，其布置成通过不同的光路将每个全息图通道的光内容路由到眼睛。

在所有附图中，相同的附图标记将用于指代相同或相似的部分。

具体实施方式

本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。

除非另有说明，单数形式的术语可以包括复数形式。

描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。

在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。

尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。

不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。

光学配置

图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。应当理解，这仅仅是一示例，在本公开中也考虑了用于计算机生成全息图的其他方法。因此，可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场例如光接收表面(比如屏幕或漫射器)处形成全息重建。

光源110(例如激光或激光二极管)设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。

值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。

在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。

Gerchberg-Saxton方法

在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。

可以使用算法比如Gerchberg-Saxton算法来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(比如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“检索”与物体有关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变型从仅振幅信息计算计算机生成的全息图。

Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面I_A(x,y)和I_B(x,y)并且I_A(x,y)和I_B(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，分别求出了平面A和B中的相位分布近似Ψ_A(x,y)和Ψ_B(x,y)。Gerchberg-Saxton算法通过遵循迭代过程求出该问题的解。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。

在一些实施例中，仅相位全息图是使用基于Gerchberg-Saxton算法的算法来计算的，比如在英国专利2498170或2501112中描述的算法，所述专利的全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中本质上是结合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，算法可以与振幅和相位信息的反馈一起迭代使用。然而，在这些实施例中，仅相位信息Ψ[u,v]用作全息图，以在图像平面处形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。

在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。

图2A示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。也就是说，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。

第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是仅相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。根据可以在空间光调制器的将用于“显示”仅相位全息图的像素上表示的相位水平来量化每个相位值。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的仅相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。

然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。

第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。

第四处理块259接收逆傅立叶变换的复数数据集，并提取幅度值211A的分布和相位值213A的分布。可选地，第四处理块259评估幅度值211A的分布。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度值211A的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是可接受的。也就是说，如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值213A的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理块259确定全息图280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。

然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集，以形成第二迭代全息图280B。因此，此处不重复对该过程的说明。当已经计算了第二迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到无法观察到可测量的改进的点，或者执行进一步迭代的正面好处被额外处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中导出的。具体地，处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。这在数学上通过以下等式来表述，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{η×exp(i∠R_n[x,y])}

h＝T[x,y]-α(|R_n[x,y]|-T[x,y])

其中：

F'是逆傅立叶变换；

F是正向傅立叶变换；

R[x,y]是第三处理块256输出的复数数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是仅相位全息图280B；

η是幅度值211B的新分布；以及

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，仅相位全息图Ψ(u,v)包括频率或傅立叶域中的相位分布。

在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光功率的第二数据组合。也就是说，写入到空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜，即它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光功率或聚焦功率。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，可以通过计算由透镜的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形成仅相位透镜。例如，在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以相同的方式与光栅数据(即布置成执行光栅函数比如图像转向的数据)结合。同样，在本领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可被称为图像形成函数或图像形成图案的全息图数据区分开。

在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。也就是说，由软件透镜提供有助于傅立叶变换的一些光功率，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光功率。

在一些实施例中，提供了一种实时引擎，其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。

实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还可适用于通过其他技术比如基于点云方法的技术计算的全息图。如将看到，本文的后续附图被描述为包括用于全息图计算的点云方法。然而，可以替代地使用全息图计算的其他方法，包括上面参照图2A至2C描述的傅立叶方法。

光调制

可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。也就是说，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是说，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(LCOS)空间光调制器，但本公开不限于这种类型的空间光调制器。

LCOS器件在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS器件通常是反射性的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。这导致更高的孔径比。换句话说，像素密集填充，意味着像素之间几乎没有死区。这是有利的，因为它减少了重放场中的光学噪声。LCOSSLM使用硅底板，其优点是像素是光学平坦的。这对于相位调制装置特别重要。

下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。它具有方形平面铝电极301的2D阵列，由间隙301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。

每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制，即不出现振幅效应。

所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致高填充因子(通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，本公开的教导同样可以使用透射型LCOS SLM来实现。

使用小显示设备和长观察距离的图像投影

本公开涉及图像投影，其中显示设备和观察者之间的间隔远大于显示设备的尺寸。观察距离(即观察者和显示设备之间的距离)可以至少比显示设备的尺寸大一个数量级。观察距离可以比显示设备的尺寸大至少两个数量级。例如，显示设备的像素区域可以是10mm×10mm，观察距离可以是1m。由系统投影的图像形成在与显示设备空间分离的显示平面上。与观察距离相比，观察者观察图像的入射孔径也可能相对较小。

根据本公开，图像由全息投影形成。全息图显示在显示设备上。全息图由光源(未示出)照射，并且在与全息图空间分离的显示平面上感知到图像。图像可以是真实的或虚拟的。出于以下解释的目的，考虑在显示设备上游形成的虚拟图像是有帮助的。也就是说，出现在显示设备的后面。然而，图像是虚拟图像并不是必不可少的，并且本公开同样适用于在显示设备和观察系统之间形成的真实图像。

本公开使得能够使用非常小的显示设备来呈现图像(真实的或虚拟的)，即使当观察距离相对较大时。这是通过在所需位置提供模拟图像存在的全息图，并通过以智能方式引导已被该全息图空间调制的光来实现的，同时考虑到观察系统的位置和光进入观察系统所经由的入射孔径的尺寸和/或形状。

显示设备包括显示全息图的像素。显示设备的像素结构是衍射的。因此，全息图像的大小是由衍射规则决定的。下面参照图4，用广义的光学术语解释显示设备尺寸非常小的结果。

图4示出了孔径402，其在真实物体或图像401和观察系统405之间形成了小的观察窗。孔径402代表显示设备的孔径。图4示出了孔径402对来自位于孔径402上游有限距离处的真实物体或真实图像401的光的影响。相对于它和观察系统405之间的距离，孔径402非常小。在该说明性布置中，图像401、显示设备402和观察系统405布置在光轴Ax上。

图4仅示出了来自图像401的那些光线(或光线束),其将穿过由孔径402限定的非常小的观察窗，并朝着观察平面406传播，观察平面406被限定为垂直于光轴Ax。熟练的读者将理解，其他光线将从图像401传播，但不会与孔径402重合，使得它们不能(在该示例中)到达观察平面406。此外，五条光线(或光线束)示出为从图像401(图像401的五个不同部分中的每个部分)传播，——但是此外，熟练的读者将意识到这仅仅是说明性的，并且本公开不限于五条光线或光线束。观察系统405具有入射孔径404，就在观察平面406的前方。观察系统406可以是人眼。因此，入射孔径404可以是眼睛的瞳孔，而观察平面406可以是眼睛的视网膜。

图4示出了孔径402的非常小的尺寸意味着从观看平面上的每个位置只能看到图像的一部分。图4示出了五个示例光线束，每个由相对于光轴Ax的相应角度表征，并且每个从图像401的不同的相应部分传播。沿着光轴Ax传播的光束携带图像的中心部分，也就是说，它是图像中心的光。其他光束携带图像的其他部分。与大的观察距离相比，由孔径402限定的非常小的观察窗以及瞳孔404的非常小的入射孔径的结果是，不是所有的图像内容都可以在任何给定的观察位置穿过入射光瞳404。换句话说，不是所有的图像内容都被眼睛接收到。在图4的示例中，在任何观察位置，所示的五个光束中只有一个穿过瞳孔404。

在该示例中，对于所示的瞳孔404位置，图像的中心部分被眼睛看到。其余的图像信息被阻挡。读者将理解，如果观察者向上或向下移动，眼睛可能会接收到不同的光束，例如，图像的中心部分可能被阻挡。因此，观察者只能看到整个图像的一部分。其余的图像信息被阻挡。换句话说，观察者的视野受到严重限制，因为他们实际上是通过显示设备本身的小孔径来观察图像的。

总之，光在一定角度范围内从显示设备传播到小观察窗。在1米的观察距离上，对于给定的眼睛位置，只有来自小观察窗的小范围的角度可以通过眼睛的瞳孔传播以在视网膜上形成图像。图像的仅可见部分是落在图4所示的小角度范围内的部分，其穿过入射孔径404。因此，视场非常小，并且具体的角度范围严重依赖于眼睛的位置。

参照图4解释的小视场和对眼睛位置的敏感性的问题是观察窗的大观察距离和小孔径以及观察系统的小入射孔径的结果。参照图5至7进一步解释观察距离的重要性。

众所周知，使用在合适的显示设备上显示和照射的全息图，以在期望的位置形成图像(真实的或虚拟的)。然而，本发明人们已经认识到，传统的全息技术不足以使用小显示设备清晰且准确地形成图像，尤其是对于相对较大的观察距离或相对较小的观察孔径。他们还认识到，如果要在离观察者非无限远的地方呈现图像，例如虚拟图像，情况尤其如此。此外，本发明人们已经认识到，传统的全息技术通常依赖于在显示设备和观察者之间形成图像的全息重建，其中全息重建可以在自由空间或光接收构件中形成。然而，依赖于临时全息重建的形成通常需要额外的光学元件，例如漫射器、透镜或镜子，这可能是不切实际的或不期望的，特别是在需要紧凑性和不动产价值高的应用中。

图5A示出了显示设备502，其布置成显示全息图并将已经根据全息图进行了空间调制的光传播到包括入射孔径504和观察平面506的观察系统。图5A中的显示设备具有与图4中的观察孔径相似的小物理尺寸。图5A还在显示设备502的上游示出了来自全息图所代表的虚拟图像(未示出)的光线轨迹。虚拟图像501在无穷远处，因此在虚拟图像和显示设备502之间跟踪的光线是准直的。来自虚拟图像的准直光被描绘为包括五条光线或光线束，然而，应当理解，这仅仅是说明性的，不应被视为对本公开的限制。

图5A的下部示出了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生理细节。实际上，当然存在布置成照射显示设备502的光源(图5A中未示出)。

在图5A中，显示设备和观察平面之间的距离足够小，使得来自显示设备的光线的全衍射角可以在视网膜上形成图像。换句话说，所有五个光束(示出为来自虚拟图像)的光传播路径穿过入射孔径。因此，虚拟图像上的所有点都映射到视网膜上，并且所有图像内容都被传递到观察平面。因此，感知图像的视场是最大的。在最佳位置，视场等于显示设备的衍射角。有趣的是，视网膜上的不同图像点是由从显示设备502上的不同区域传播的光形成的，例如最靠近图5A顶部的图像点仅由从显示设备的下部传播的光形成。从显示设备的其他区域传播的光对该图像点没有贡献。

图5B示出了当观察距离增加时出现的情况。

更详细地，图5B示出了显示设备502’,其布置成显示全息图并将根据全息图调制的光传播到包括入射孔径504’和观察平面506’的观察系统。虚拟图像501’在无穷远处，因此虚拟图像和显示设备之间的光线是准直的。图5B的下部显示了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生理细节。实际上，当然具有布置成照射显示设备502’的光源(图5B中未示出)。

图5B仅示出了那些可以通过孔径504’传播的光线；不能穿过孔径504’的任何其他光线被省略。然而，将理解，那些其他光线也将从显示设备502’传播。在图5B的较大观察距离处，光锥在观察平面上展开到这样的程度，使得一些光线束被入射孔径504’阻挡(即它们在物理上不重合)。具体地，在该示例中，与虚拟图像的边缘部分相关的光线束被入射光瞳504’阻挡。然而，如果入射孔径504’移动了平行于观察平面506’的位置，则不同的相应光束可能与孔径504’重合，从而将看到虚拟图像的不同部分。因此，对于任何给定的孔径位置，整个虚拟图像是不可见的，并且虚拟图像的可见部分严重依赖于孔径(例如眼睛)位置。因此，由于显示设备的小尺寸，显示设备和观察系统之间的大距离是有问题的，特别是当与相对小的入射孔径结合时。

图6A示出了包括显示设备602的改进系统，向包括入射孔径604和观察平面606的观察系统传播已经用显示设备602上显示的全息图编码的光。实际上，当然存在布置成照射显示设备602的光源(未示出)。改进系统还包括位于显示设备602和入射孔径604之间的波导608。图6A的下部示出了入射光瞳604和观察平面606的放大视图。该图是示意性的，因此没有示出眼睛的生理细节。

图6的观察距离与图5B的相同。然而，在图5B中被阻挡的光束被波导608有效地恢复，使得观察系统接收到完整的图像信息，尽管观察距离更长。

波导608的存在使得来自显示设备602的所有角度内容能够被眼睛接收，即使在这个相对大的投影距离上。这是因为波导608以众所周知的方式充当光瞳扩展器，因此在此仅简要描述。

简而言之，波导608包括基本细长的结构。在这个示例中，它包括折射材料的光学板，但其他类型的波导也是众所周知的并且可被使用。波导608被定位成与从显示设备602投影的光锥相交，例如以斜角相交。波导608的大小、位置和定位配置成确保来自光锥内的五个光线束中的每个光线束的光进入波导608。来自光锥的光经由波导608的第一平面表面610(位置最靠近显示设备602)进入波导608，并且在经由波导608的第二平面表面612发射之前，至少部分地沿着波导608的长度被引导，第二平面表面612基本与第一表面610相对(位置最靠近眼睛)。很容易理解，第二平面表面612是部分反射、部分透射的。换句话说，当每条光线在波导608内从波导608的第一平面表面610行进到第二平面表面612时，一些光将透射出波导608，一些光将被第二平面表面612反射回第一平面表面610。第一平面表面610是反射性的，使得从波导608内撞击它的所有光将被反射回第二平面表面612。因此，一些光在被透射之前可以简单地在波导608的两个平面表面610、612之间折射，而其他光可被反射，因此在被透射之前可以在波导608的平面表面610、612之间经历一次或多次反射(或“反弹”)。因此，波导608的净效应是光的透射有效地扩展到波导608的第二平面表面612上的多个位置。因此，与没有波导608的情况相比，显示设备602输出的所有角度内容可以出现在显示平面上更多数量的位置处(并且在孔径平面上更多数量的位置处)。这意味着来自每个光线束的光可以进入入射孔径604，并有助于由观察平面606形成的图像，尽管投影距离相对较大。换句话说，眼睛可以接收来自显示设备602的所有角度内容。因此，显示设备602的全衍射角被利用，并且对于用户来说观察窗被最大化。反过来，这意味着所有光线都对感知的虚拟图像601有贡献。

图6B示出了对虚拟图像601(其在图6A中形成)内的五个相应图像点有贡献的五个光线束中的每个光线束的单独光路，从上到下分别标记为R1到R5。如在其中可以看到，R1和R2中的每个的光被简单地折射，然后被波导608透射。另一方面，R4的光在透射之前会遇到单次反弹。R3的光包括来自显示设备602的相应第一部分的一些光，其在被透射之前被波导608简单地折射，以及来自显示设备602的不同的第二相应部分的一些光，其在被透射之前遇到单次反弹。类似地，R5的光包括来自显示设备602的对应的第一部分的在被透射之前遇到单次反弹的一些光，以及来自显示设备602的不同的第二对应部分的在被透射之前遇到两次反弹的一些光。对于R3和R5中的每个，LCOS的两个不同部分传播对应于虚拟图像的部分的光。

本发明人已经认识到，至少在一些应用中，与在无穷远处形成虚拟图像相反，虚拟图像距离(即从观察者到虚拟图像的距离)优选是有限的。在某些应用中，将存在优选的虚拟图像距离，在该距离处，虚拟图像内容出现是期望的或必要的。例如，这可以是平视显示器中的情况，例如在汽车设定中，例如如果虚拟图像内容要被叠加到观察者通过车辆挡风玻璃观察的真实内容上。例如，期望的虚拟图像距离可以包括在观察者的车辆或挡风玻璃前方几米处形成的虚拟图像内容，例如3米或5米。

图7的上部示出了包括显示设备702的系统，该系统向包括入射孔径704和观察平面706的眼睛传播光703，该光703已经被显示在显示设备702上的全息图编码(即根据该全息图调制)。存在布置成照射显示设备702的光源(未示出)。该系统还包括位于显示设备702和入射孔径704之间的波导708，作为光瞳扩展器，如上面关于图6a详细描述。图7的中间部分示出了入射孔径704和观察平面706的放大视图，图7的最下面部分示出了观察平面706的进一步放大视图。该图是示意性的，因此没有示出眼睛的生理细节。在这种布置中，眼睛感觉到虚拟图像701位于显示设备702上游的有限距离处。光线是发散的，因为虚拟图像距离是有限的。

根据上面的图6A，图7中波导708的存在有效地使显示设备702的全衍射角能够在相对大的投影距离处被访问，使得用户在所示的观察位置可以看到完整的图像内容。

然而，引入了进一步的技术问题。由于发散光和由此产生的不同光线角度的存在，对于某些光线束，来自显示设备702的不同部分的光的不同光路可以导致当在有限虚拟图像距离处形成虚拟图像时，这些光线束各自在视网膜706上形成多个像点。这在图7a中相对于标记为R3’和R5’的光线束示出。所形成的附加图像点附属于虚拟图像内给定点的主图像点，可被称为“重影图像点”,它们共同形成“重影图像”或简称为“重影”。如图像形成领域的技术人员将理解，从观察者的角度来看，重影的形成会导致虚拟图像的模糊和感知质量的总体下降。如果“重影”与“主”图像部分重叠，情况尤其如此。

图8示出了数字“5”和“9”的虚拟图像的示例，该虚拟图像是使用类似于图7a所示的观察系统创建的，除了主图像之外还包括重影图像。主图像可被看作是每个数字最亮的中央图像，左右两边都有重影。在图8的示例中，当观察距离大于对于‘5’而言时，形成‘9’，因此针对其的模糊更明显。

全息图计算—示例1

发明人已经解决了重影的问题。发明人已经认识到，希望提供一种观察系统，其中可以在有限的虚拟图像距离处形成虚拟图像，该虚拟图像包括由显示设备输出的所有角度图像内容，并且减少或消除了重影图像的形成。此外，发明人已经发现，随着常规观察系统中观察孔径尺寸的增加，形成重影图像点的风险增加，因为该孔径可以允许额外的光线进入，这可能在显示平面上形成额外的图像点。因此，希望提供一种改进的观察系统，其能够适应不同尺寸的孔径，同时仍减少或消除重影图像的形成。下面详述的由发明人提供的解决方案适用于孔径、波导和显示设备的不同尺寸和布置的范围，并且可以应用于不同的传播距离，对于不同的传播距离，传统上可以形成一个或多个重影图像。此外，它们可以应用于相对小的显示设备。

总的来说，发明人已经认识到，可以提供一种用于生成全息图的光引擎，当全息图显示在显示设备上并被照射时，该光引擎避免或减少了重影图像点的形成，同时使得完整的图像能够被准确地观察。发明人还认识到，即使当观察系统中的投影距离相对较大并且显示设备和/或观察孔径相对较小时，也可以提供用于提供这种全息图的全息图引擎，并且提供用于显示和照射改进的全息图的改进观察系统，用于形成改进图像。

根据实施例，发明人已经认识到，可以使用建模方法来确定全息图，例如光线跟踪方法，例如点云全息图计算技术。由本发明人设计的建模实际上识别了显示设备的一个或多个区域，在传统布置中，这些区域会对一个或多个重影图像产生影响，其中全息图是为了控制来自显示设备的这些一个或多个区域的影响而导出的，从而避免或减少当全息图显示在显示设备上并被照射时重影图像点的形成。

这里还公开了用于确定全息图的其他方法，如下面关于后续附图的详细描述。

发明人已经认识到，由于具有包括波导(例如这里的图6A和7A中所示)的观察系统所施加的角度限制，该观察系统包括相对较小的观察孔径，并且可选地还包括相对较小的显示设备，因此有可能分别考虑波导内不同的可能传播路径。此外，他们已经认识到，作为这种考虑的结果，有可能识别以下每一个：显示设备的是对期望的“主”图像有贡献的光源的区域；显示设备的是造成不期望的“重影”图像的光源的区域；以及显示设备的是被孔径阻挡的光源且因此对主图像或重影图像都没有贡献的区域。发明人还认识到，有可能将全息图计算限制到仅对主图像有贡献的显示设备的区域。他们还认识到，在进一步改进中，在一些实施例中，可以提供改进的全息图，这实际上可以使一个或多个重影图像被平移，以便叠加到主图像上。

参照下面详细描述的附图，可以进一步理解发明人的认识以及体现这些认识的改进系统和方法。

图9A示出了显示设备902，在这个示例中它是LCOS空间光调制器。下文中提到的“LCOS”是“显示设备”的简称。本公开的教导不限于LCOS显示设备。图9B示出了LCOS 902并且描绘了从LCOS 902经由波导908朝向观察实体/系统905的与一个虚拟图像点相关的光线，在该示例中，观察实体/系统905包括观察者的眼睛。图9C还包括眼睛905的放大视图，示出了瞳孔904(即入射孔径)和视网膜906(即传感器或观察平面)处的光线。在这个示例中，整个LCOS区域对在视网膜906上形成图像点有贡献。换句话说，整个LCOS 902对于观察者是“可见的”。整个LCOS 902对图像的这种贡献由被阴影化的整个LCOS示出，将其整个表面区域表示为“贡献区域”。

可以看出，从图9B和9C中的LCOS 902跟踪的光导致在视网膜906上形成三个图像点—分别标记为G1、M和G2—用于该特定虚拟图像点。中间图像点‘M’包括主图像点，其对观察者感知的主要/主虚拟图像有贡献。顶部图像点G1包括第一重影图像点，底部图像点G2包括同一虚拟图像点的不同的第二重影图像点。值得注意的是，在又一个进步中，发明人已经认识到，有可能识别出对主图像点M和/或重影图像点G1、G2有贡献的LCOS 902的区域。

图10A到10C示出了LCOS 902和图9A至9C的光线图，其被分成三个相应的传播路径—第一路径包括对底部重影图像点G2有贡献的光，第二路径包括对主图像点M有贡献的光，第三路径包括对顶部重影图像点G1有贡献的光。如图10A所示，对G2有贡献的光在被波导908透射之前反弹三次。如图10B所示，对M有贡献的光在被波导908透射之前反弹两次。如图10C所示，对G1有贡献的光在被波导908透射之前反弹一次。

每个图(10A、10B、10C)还通过阴影示出了对相应图像点有贡献的LCOS 902的部分。因此，可以看出，底部重影图像点G2由朝向LCOS 902下部的区域贡献，顶部重影图像点G1由朝向LCOS 902上部的区域贡献，并且主图像点由整个LCOS 902贡献。

在图9A至9C和10A至10C的示例中，孔径904(即观察者的瞳孔)相对较宽，这解释了为什么整个LCOS 902对主图像点有贡献。换句话说，在这个示例中，观察系统的f数相对较低。图10A至10C示出，尽管LCOS 902的部分也对一个或另一个重影图像G1、G2有贡献，但也有LCOS 902的一个区域都不对重影图像G1、G2有贡献，而只对主图像点M有贡献。发明人已经认识到，该区域可被识别为贡献区域，对于该示例中的LCOS 902，更具体地说，它可被识别为“主要贡献区域”，这将从后续附图的描述中进一步理解。因此，可以看出，在这种情况下，主要贡献区域不限于圆形或椭圆形，而是可以采用其他更复杂的形状。

图11A至11C示出了当入射孔径相对较小时(即f数相对较高)虚拟图像不同点的相应光线图。图11A涉及虚拟图像的第一场点(即第一虚拟图像点)，图11B涉及虚拟图像的第二场点，图11C涉及虚拟图像的第三场点。图11A至11C示出了并非LCOS 902的全部都对主图像点有贡献。事实上，图11A至11C示出了LCOS的第一区域对应于主图像点(这里称为“主要贡献区域”)，而LCOS的第二区域对应于重影图像点(这里称为“次要贡献区域”)。

发明人已经认识到，在某些条件下，LCOS 902(或观察系统中的其他显示设备)的不同的相应区域将对主图像或重影图像有贡献，或者不会对图像的任何可见部分有贡献。他们进一步认识到，可以使用该信息来优化全息图确定过程。例如，可以省略来自显示设备的某些部分的光，或者在某些情况下，全息图对显示设备的这些部分进行编码的方式可以改变，以便对主图像做出积极贡献，而不是对重影图像做出贡献。此外，可以识别显示设备的附加区域，其可以配置为对主图像做出积极贡献。

下面将通过一个示例结合点云全息图来描述发明人的认识。然而，它们可以应用于其他类型的全息图，例如傅立叶或菲涅耳全息图，如在本公开的后面关于后续附图详细描述。也就是说，可以根据发明人的认识来优化其他全息图计算方法，如本公开中所述。

众所周知，通常为了计算图像(例如虚拟图像)的点云全息图，图像被分解成(即由其表示)多个单独的点—这里称为“虚拟点”,因为我们描述了虚拟图像的形成。然后，球面波(或“小波”)从虚拟图像内的每个虚拟点的预期或期望位置通过计算(即使用模型或其他理论工具)传播到显示设备的平面，例如上述示例中的LCOS的平面。考虑这种小波相互干扰的方式，并且计算在显示设备的每个像素处接收的小波的最终振幅和/或相位。然后，显示设备可以众所周知的方式被调谐，因此在此不再描述，以展示在每个像素位置所需的振幅和/或相位调制，以便模拟计算出的小波，从而创建图像的全息图。

发明人已经认识到，对于如本文所述的具有波导和大观察距离的观察系统，如果整个显示设备具有所有虚拟点的相应小波的净振幅和相位，则当显示和照射时，将创建的全息图可能产生一个或多个重影图像以及主图像。特别地，当观察系统配置成在离观察者有限距离处感知虚拟图像时，这可能发生。此外，在许多情况下，从该设备的一些部分中的像素发射的光线将被浪费(即它们将不会对观察者看到或感知的图像有贡献)，因为观察系统的物理限制(例如小孔径和/或小显示设备和/或大投影距离)将决定来自设备的那些部分的光不会进入观察者的眼睛。因此，发明人已经认识到可以应用智能选择，关于显示设备的哪些部分被调谐以提供全息图。具体地，如果仅选择了对主图像有贡献的LCOS的那些部分(或多个部分或区域),并且如果小波仅从预期虚拟图像的虚拟点通过计算而传播到LCOS的那些部分，而不传播到对主图像没有贡献的LCOS的其他部分，则可以计算出在显示设备的所选区域内的每个像素处接收到的小波的合成振幅和/或相位。显示设备的任何相应的其他部分都不需要计算。

然后，根据改进的计算，显示设备可被调谐，以显示在选定部分内的每个像素位置所需的振幅和相位调制，以便模拟计算出的小波，从而创建主图像的全息图。当这样做时，将不需要调谐LCOS的任何其他部分，因此当计算的全息图显示在显示设备上并被照射时，没有图像信息将从那些其他部分传播到观察者的眼睛(或其他观察实体)。因此，对于观察者来说没有可用的信息，这可能导致形成不希望的“重影”图像点。结果，重影被消除或“熄灭”。此外，没有计算或图像信息被浪费，因为对于给定的一组条件(例如对于眼睛的特定孔径宽度和位置)，只有那些已知提供将被允许通过观察者的瞳孔(或者通过相应的其他观察实体的孔径)的光的显示设备的像素将被调谐。

图12A示出了形成包括示例虚拟点1201的虚拟图像的系统1200。观察系统1200包括显示设备1202，其在该示例中是LCOS SLM，其包括根据本公开识别的贡献区域1203和非贡献区域1207。显示设备1202布置为显示虚拟图像的全息图，并将根据全息图编码的光投射到眼睛1205，眼睛1205包括充当孔径的瞳孔(未示出)、晶状体1209和充当观察平面的视网膜1206。晶状体1209和视网膜分开一个间距‘A’。存在布置成照射显示设备1202的光源(未示出)。观察系统1200还包括位于LCOS1202和眼睛1205之间的波导1208。该图像是示意性的，因此没有示出眼睛的生理细节。

虚拟点1201位于显示设备1202的上游，这在图12A中通过虚拟点1201位于显示设备1202的左侧来描述。虚拟点1201具有由空间坐标定义的位置，在该示例中，空间坐标包括笛卡尔(x,y,z)坐标，但可以使用其他坐标系统或其他识别虚拟点位置的手段。在基本平行于显示设备1202的光轴的方向上，在虚拟点1201和显示设备1202之间定义了距离‘z’。在基本平行于显示设备1201的光轴的方向上，在显示设备1201和眼睛晶状体1209之间还定义了显示设备到晶状体的距离‘l’。在给定时间，‘z’和‘l’的数值将根据观察系统1200的具体布置而变化，包括观察者位置。例如，显示设备到晶状体的距离‘l’可以是约1米的数量级，而显示设备到图像的距离‘z’可以更大，例如几米的数量级。但这些数字示例纯粹是说明性的，不应该被认为是限制性的。

发明人已经认识到，如果包括虚拟图像点1201的虚拟图像将被观察者在图12所示的位置感知，则相应图像点1211必须形成在视网膜1206上。光线可以通过LCOS 1202从虚拟图像的虚拟点1201跟踪到视网膜1211上的对应点1211。

应当理解，由于由波导1208创建/产生的可能路径，在虚拟点1201和其在视网膜上的对应点1211之间，可以通过LCOS1202采用不止一个可能的光路。根据实施例，可以确定主光线，该主光线包括虚拟图像点1201和观察平面(即视网膜1206)上的对应点1211之间的多条光线路径中的一条光线路径。当这个主光线路径被识别时，主光线的光在波导内经历的反弹次数就被确定了。该反弹次数(B)可以设置为在虚拟图像和观察平面之间光线应该被跟踪的反弹次数。根据实施例，作为初始步骤，可以识别主光线以及相关的反弹次数(B)。

在本示例中，光线跟踪可以确定“主光线”在虚拟图像点1201和视网膜上的相应点1211之间行进时所穿过的LCOS 1202的部分，以便识别该虚拟图像点1201的“贡献区域”1203。因此，在图12中，存在被描绘为在虚拟图像点1201和显示设备1202的贡献区域1203之间传播的光线‘r’。根据发明人的认识，基于虚拟图像点1201和显示设备1202，仅需要对LCOS的贡献区域有贡献的小波进行建模(或以其他方式计算考虑)。换句话说，只有显示设备1202的识别出的贡献区域1203需要被编码(或“调谐”)，以便生成适当的全息图。当在显示设备上编码并适当照射时，这种全息图将使得观察者能够感知虚拟图像点1201，而不存在该虚拟图像点1201的任何重影。这可以从下面讨论的图13和14中进一步理解。

图12B中的贡献区域1203以及下面关于图13和14讨论的贡献区域，可以根据主光线与显示设备的交点来定位。例如，贡献区域可以主光线与显示设备相交的点为中心。贡献区域的尺寸和形状可以基于相应观察实体和相关光学器件(例如波导几何形状、较大光学系统内的任何反射等)的入射孔径的尺寸和形状来确定。因此，当观察实体是人眼时，在一些情况下，显示设备上的贡献区域可以包括基本圆形或椭圆形的形状，或者任何其他合适的形状，例如与接收瞳孔尺寸相似的复杂形状。然而，本公开包括更复杂的贡献区域形状。可以用任何合适的方式测量或估计眼睛瞳孔直径。例如，眼睛瞳孔直径的测量可以通过眼睛跟踪系统来进行。可替代地，可以基于眼睛瞳孔直径的已知范围(例如2-6mm)或者基于给定时间的环境光条件下的另一估计来估计眼睛瞳孔直径。

可以设置贡献区域，以便有意地贡献比瞳孔稍大的区域(在孔径平面上)，和/或贡献形状与瞳孔(或其他孔径)稍微不同的区域(在孔径平面上)。在这种情况下，并非所有来自“贡献区域”的光都可以一直穿过瞳孔，但眼睛将能够稍微移动，同时仍收集足够的光以在视网膜上形成良好的图像。

图13示出了根据本公开的一方面的用于确定显示设备的贡献区域和非贡献区域的方法。可选地，这些确定然后可以用于优化一个或多个全息图的生成，用于由诸如图12的系统1200的观察系统显示和照射。在参考图13描述的方法中，观察系统包括具有“f”数(即焦距和孔径)的透镜和相机。相机的光敏部件可以是例如CCD阵列，并且位于观察平面上。在功能上，透镜和相机代替观察者人眼的晶状体和视网膜，并且仅用于确定显示设备的贡献区域和非贡献区域的过程。可以针对多个观察位置(例如眼动盒内的眼睛位置)和/或多个图像距离(例如车辆前方的虚拟图像距离)来确定显示设备的这些区域。在某些方面，参考图13公开的方法可被认为是全息图计算的先驱。该方法可被认为是优化或者甚至是校准过程。

很容易理解，要生成的每个虚拟图像可以由一个或多个虚拟图像点表示，每个虚拟图像点具有相应的位置，例如由(x,y,z)坐标定义。图13的方法1300的步骤一1302到步骤六1312(下面详述)可以分别应用于要创建的虚拟图像内的每个虚拟图像点。此外，方法1300适用于观察系统的一组特定条件，即特定的测量和约束。因此，方法1300的任何给定迭代(或“运行”)适用于建立要创建的特定图像(一个虚拟图像点接一个虚拟图像点)，并且适用于当系统具有特定的显示设备到图像距离“z”、显示设备和视网膜之间的特定距离“d”、特定的孔径(瞳孔)宽度以及眼睛聚焦的特定虚拟图像距离时。方法1300的迭代也专用于特定尺寸和类型的显示设备，并且对于眼睛的特定位置，具有允许的观察窗。可能存在该方法的每次迭代所特有的其他测量和/或约束。根据实施例，如果这些测量或约束中的任何一个改变，则方法1300可以重新运行，以在改变的情况下重新确定显示设备的贡献区域。然而，将理解，根据实施例，某些容差可以应用于这些测量或约束中的一个或多个，使得如果它们的变化小于预定量和/或小于预定时间长度，则该方法可以不必重新运行。关于何时应该重复该方法的规则可以基于每个系统来确定。

方法1300可以由合适的处理器来执行。处理器可以包括全息引擎，或者被包括在其内或者与之通信。处理器或全息引擎可以包含在光引擎中。

在执行方法1300之前，处理器可以获得或接收关于观察系统的边界信息。例如，它可以获得或接收关于诸如显示设备的部件的大小的信息、关于各种部件和观察系统(例如潜在的人类观察者)的绝对和/或相对位置的信息、关于光源的信息等。

根据方法1300，在第一步骤1302中，根据虚拟图像将被感知的位置，获得虚拟图像点(这里简称为“虚拟点”)的位置，例如坐标[x_virtual,y_virtual,z_virtual]。然后获得或确定透镜1209和虚拟点之间的虚拟图像距离。该虚拟图像距离可以由执行方法1300的处理器来设定或确定，或者可以由另一个实体来设定或确定，并传送给该处理器。在一些布置中，它可以是预设的或者从多个可能的虚拟图像距离中选择的。在现实操作中，当观察系统是眼睛时，眼睛跟踪或头部跟踪信息可以用于确定虚拟图像距离。

在第二步骤1304中，为聚焦在虚拟图像点上，确定透镜和传感器之间的所需距离‘A’。每个虚拟图像点也可以用一个角度来定义，见图4。这里提到的“角度内容”是相对于虚拟图像的虚拟图像点而言的。

在第三步骤1306中，确定与观察系统形成的主图像或主要图像相关的光在波导内的反射或反弹次数“B”。光学领域的技术人员将理解，波导产生与虚拟图像点相关的光的多个复本，并且每个复本可以与波导内不同数量的光反弹/反射相关。仅举例来说，确定B的一种方式是确定波导中每个可能的光传播路径的主光线与显示设备的交点，并选择使主光线最接近显示设备中心的反射/反弹次数。有利地，这种方法使得显示设备对观察系统有贡献的区域最大。

可替代地，在第三步骤1306中使用的计算反弹次数的另一种方式包括下面的子步骤1至5：

1.已知眼睛位置并用作输入

2.对于第一反弹次数B，进行从显示设备的中心到确定的眼睛位置的光线跟踪。光线向虚拟图像的外推定义了该反弹次数(B)的视场角(θ_B)。

3.对于第二反弹次数B+1，进行从显示设备的中心到确定的眼睛位置的光线跟踪。光线向虚拟图像的外推定义了该反弹次数(B+1)的视场角(θ_B+1)。

4.B是用于θ_B和θ_B+(θ_B+1-θ_B)/2之间的角度内容的反弹次数

5.B+1是用于θ_B+(θ_B+1-θ_B)/2和θ_B之间的角度内容的反弹次数

在第四步骤1308中使用第一步骤1302的输出(即虚拟图像点的坐标)和第三步骤1306的输出(参数B)来确定传感器上相应的图像位置/点[x_sensor,y_sensor,z_sensor]。也就是说，第四步骤1308确定传感器上接收虚拟图像点的光的点。换句话说，虚拟图像点在传感器上成像的点。关于图14，传感器上的该点在下面被称为主图像点[x_sensor,y_sensor,z_sensor]。仅作为示例，对于波导内的B次反弹，可以使用从虚拟点到传感器的计算光线跟踪，但本公开不限于第四步骤的这种方法。

本领域技术人员将理解，可以识别从虚拟点[x_virtual,y_virtual,z_virtual]到传感器上的点[x_sensor,y_sensor,z_sensor]的主光线(或简称为主线)。同样，可以使用计算光线跟踪来识别或跟踪主光线，但其他方法同样适用。在第五步骤1310中，识别显示设备交点[x_LCOS(B),y_LCOS(B),z_LCOS(B)]，其中显示设备交点是在显示设备上的主光线与显示设备相交的位置。可以例如通过计算光线跟踪来确定、计算或测量显示设备交点。

在第六步骤1312中，识别与显示设备交点[x_LCOS(B),y_LCOS(B),z_LCOS(B)]相关的显示设备的区域。显示设备的区域可以在几何上以该点[x_LCOS(B),y_LCOS(B),z_LCOS(B)]为中心。例如，该区域可以是圆形或椭圆形，但也可以设想其他更复杂的形状。如果该区域为规则形状，如圆形或椭圆形，则可以例如根据观察系统镜头的f数确定该区域的半径。该区域在这里被称为“主要贡献区域”，因为它对应于由观察系统形成的主要图像。词语“贡献”反映了在显示设备的识别区域内的显示设备的像素是向传感器提供必要信息内容的像素。显示设备的其他区域(即显示设备的其他像素)对传感器上的图像点的形成没有贡献。当然，其他像素可以对传感器上与其他虚拟图像点相关的其他图像点有贡献。

根据本公开的主要方面的方法以确定显示设备的主要贡献区域而结束。可替代地，可以基于主要贡献区域而不是显示设备的整个区域来确定全息图。

因此，在可选的第七步骤1314中，基于虚拟点为主要贡献区域确定全息图分量。具体地，确定主要贡献区域的光参数。光参数可以是主要贡献区域的每个像素的振幅和/或相位。例如，可以使用本领域技术人员熟悉的点云方法，基于光从虚拟点到主要贡献区域的传播，为主要贡献区域内的每个像素确定光振幅和相位。虚拟点的全息图分量可被存储，并与其他虚拟点的全息图分量组合，作为下一段中描述的迭代过程的一部分，以便为整个虚拟图像建立完整的全息图。

总的来说，第七步骤1314，光调制值(例如振幅和/或相位值)被分配给主要贡献区域内的显示设备的每个像素值。这是通过考虑光波从[x_virtual,y_virtual,z_virtual]到主要贡献区域的传播，并且将振幅和/或相位添加到[x_LCOS(B),y_LCOS(B),z_LCOS(B)]的期望半径内的显示设备的像素来实现的。也就是说，通过考虑光波的传播来确定从虚拟图像点发出并到达主要贡献区域的每个点(即像素)的光的振幅和/或相位，即，光波在从虚拟图像点向每个像素行进一段距离后的振幅和/或相位。该确定可以通过光学领域的技术人员已知的多种不同技术中的任何一种来执行。这种确定可以通过实验测量来进行。

在要使用全息图投影的虚拟图像内，可以对每个虚拟点重复第一至第七步骤。例如，可以将多个全息图分量相加在一起，以产生显示设备的每个像素的合成全息图。例如，对于从所有虚拟图像点的传播，可以在每个像素处将复数振幅相加。如果全息图要在纯相位调制器上显示，则所得复数振幅的振幅分量可以忽略，只留下相位。更广泛地说，这个结果是对应于虚拟图像的衍射结构，如果在观察系统内的显示设备上显示和照射，则其形成虚拟图像。

全息图可以在显示设备上显示或编码。结果，显示设备将被调谐为以使得观察者能够在所需的虚拟图像距离处感知虚拟图像的方式来调制光。

对于虚拟图像内的多个虚拟点中的每个，方法1300可以基本同时(或非常快速地连续)执行，从而对于给定的观察设置和特定的数值测量和约束，可以非常快速地导出整个虚拟图像的合适全息图并将其编码到显示设备上。如果有任何可能影响贡献区域的识别和/或显示设备的所需调谐的变化，该方法可以重新运行。处理器可以配置为在时间控制的循环上，和/或响应于指示已经发生变化的信号，和/或当所需虚拟图像的内容或身份发生变化时，重新运行该方法。处理器可以包括用于存储先前计算的数据的存储器，或者可以与用于存储先前计算的数据的存储器通信。例如，可以提供查找表或其他存储装置，其在一组特定的测量和/或约束下，针对特定的虚拟图像或虚拟点，指示显示设备的有效区域。

方法1300可以非常快速地运行(或重新运行),以便快速连续地显示多个不同的虚拟图像，和/或准确地响应条件的变化，例如用户的移动。尽管在图12的系统中仅示出了一只眼睛，但方法1300可以配置为考虑观察者的眼睛和/或具有两个或更多个入射孔径的另一观察系统。此外，尽管上面的某些描述可能涉及孔径宽度，但应当理解，瞳孔(以及用于观察实体的大多数其他孔径)是二维的，并且可以在这两个维度中的每个维度上改变尺寸。方法1300可以配置为考虑二维孔径尺寸及其变化。

发明人发现使用参照图13公开的方法可以有效地确定虚拟图像的全息图。然而，发明人还观察到，在某些情况下，当LCOS的所有传统上传播会形成重影图像的光的区域都没有被使用时，只有相对小部分的LCOS被利用。在另一个值得注意的技术进步中，除了主要贡献区域之外，发明人还找到了使用LCOS的附加区域的方法，并且为这些附加区域计算全息图值，这将使它们能够贡献光以增强主图像，而不是形成不需要的重影图像。

众所周知，相对于其他光线的路径长度，光线通过观察系统中的波导所采用的光路可能会增加其路径长度。通常，与虚拟图像距离‘v’相比，这种增加可能很小，因此眼睛看不到。

图14示出了根据发明人的附加认识的又一改进的方法1400，该方法可以应用于诸如图12的系统1200的系统。图14的方法1400包括图13的方法1300的所有步骤，此外，它还包括对应于虚拟点的一个或多个重影图像点的处理，该虚拟点也可能存在，并且通常会导致对虚拟图像的一个或多个重影图像的感知。

方法1400可以由合适的处理器来执行。处理器可以包括全息引擎，或者被包括在全息引擎内或与之通信。处理器或全息引擎可以包含在光引擎内。

在执行该方法之前，处理器可以获得或接收关于系统的边界信息。例如，它可以获得或接收关于诸如显示设备的部件的大小的信息、关于各种部件和观察者的绝对和/或相对位置的信息、关于光源的信息等。

在某些情况下，发明人已经发现，由于来自相应虚拟点的光穿过显示设备的不同于主图像的主光线所穿过的“主要贡献区域”的一部分，出现了重影图像点。在前面的图中，显示设备的这些部分被称为“次要贡献区域”。产生一个或多个重影图像点的光可被称为包括一个或多个“重影光线”。产生重影图像的光线在波导内可能经历与对应于主图像的光线不同次数的反弹，以便也穿过观察者眼睛的狭窄瞳孔并与视网膜重合。因此，如果确定对应于主图像的主光线在波导内经历了“B”次反弹，则可以确定对应于重影图像的光经历了“B+ΔB”次反弹，其中ΔB可以是负的或正的整数，通常是个位数，例如在-5到+5的范围内。

根据图14的改进方法1400，在图13的方法1300的第四步骤1308之后，其中建立了观察平面上的主图像点的位置，例如其坐标(x_sensor,y_sensor,z_sensor)，图13的方法1300的后续步骤可以继续，并且此外，例如并行地或在稍后的时间，对于至少一个ΔB值，可以如下执行另一组步骤。总之，图14的改进方法1400从虚拟点的坐标[x_virtual,y_virtual,z_virtual]确定重影光线将经历多少次反弹‘B+ΔB’,以便在观察平面处形成重影图像点。然后，改进方法1400确定虚拟点的平移(或修正)位置，光可以从该位置行进并在波导内经历“B+ΔB”次反弹，并到达观察平面上的主图像点，而不是形成单独的重影图像点。光线从虚拟点的平移位置行进到主图像点所经过的LCOS上的位置然后可被识别，并且可以相应地用全息图编码。因此，LCOS的一个或多个附加区域(除了主要贡献区域之外)可以用全息图值进行编码，以对主图像做出贡献，同时仍避免重影图像的产生。

更详细地，改进方法1400如下：

在第一进一步步骤1402中，来自主图像点(x_sensor,y_sensor,z_sensor)的光线被追溯到虚拟图像，但针对的是在波导内经历‘B+ΔB’次反弹/反射(而不是B次反弹)的光线。

在第二进一步步骤1404中，确定虚拟图像的次虚拟点的位置(例如坐标[x_virtual(ΔB),y_virtual(ΔB),z_virtual(ΔB)](例如作为在第一进一步步骤1402中执行的光线跟踪的结果)，该次虚拟点将成像到主图像点[x_sensor,y_sensor,z_sensor]，即该次虚拟点将传播将会穿过显示设备、波导和入射孔径的光，以与位置[x_sensor,y_sensor,z_sensor]处的观察平面重合，如果光经历‘B+ΔB’次反弹的话。术语“次虚拟点”在这里被用作(主)虚拟点的次(即移位或修改)位置的简称。也就是说，本发明人已经认识到，如果虚拟点的位置被移动到‘次虚拟点’位置[x_virtual(ΔB),y_virtual(ΔB),z_virtual(ΔB)]，来自‘次虚拟点’的在波导中经历‘B+ΔB’次反弹/反射的任何光将对观察平面处的主图像有贡献。

总之，第三进一步步骤1406包括针对在波导内达B+ΔB次反弹的从[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到观察平面的光传播，确定主光线在显示设备处的坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]。在一些情况下，z_virtual可被调整以考虑通过波导的不同路径长度(即由于不同的反弹次数)。该主光线可被称为“次主光线”。

更详细地说，在第三进一步步骤1406中，识别显示设备上的一个点，其中从次虚拟点到主图像点[x_sensor,y_sensor,z_sensor]的“次主光线”将通过该点在波导中经历B+ΔB次反弹。该点在显示设备上具有坐标[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]。

在第四附加步骤1408中，点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]被分配与其相关的区域的范围的半径或其他合适的指示符，或与其相关的区域的大小。与点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS]相关的区域在这里被称为“附加贡献区域”，因为它传播对观察平面处的主图像点有贡献的光，但仅当该光来源于(主)虚拟点的位移或修改的位置时，即[x_virtual(ΔB),y_virtual(ΔB),z_virtual]而不是[x_virtual,y_virtual,z_virtual]，如在第二进一步步骤1404中所确定的。

第四进一步步骤1408类似于第六步骤1312。具体地，第四进一步步骤1408包括识别与显示设备交点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS(B)]相关的显示设备的区域。显示设备的区域可以在几何上以该点[x_LCOS(B+ΔB),y_LCOS(B+ΔB),z_LCOS(B)]为中心。例如，该区域可以是圆形或椭圆形，但也可以设想其他更复杂的形状。如果该区域为规则形状，如圆形或椭圆形，则可以例如根据观察系统透镜的f数确定该区域的半径。该区域在这里被称为“附加贡献区域”，因为如果基于(主)虚拟点的位移或修改的位置计算适当的全息图，它将传播对虚拟图像有贡献的光。

第五进一步步骤1410类似于第七步骤1314。第五进一步步骤1410是可选的。在第五进一步步骤1410中，基于(主)虚拟点的修改位置[x_virtual(ΔB),y_virtual(ΔB),z_virtual]，为附加贡献区域确定全息图分量。具体地，确定附加贡献区域的光参数。光参数可以是附加贡献区域的每个像素的振幅和/或相位。例如，可以使用本领域技术人员熟悉的点云方法，基于光从不同虚拟点[x_virtual(ΔB),y_virtual(ΔB),z_virtual]到附加贡献区域的传播，为附加贡献区域内的每个像素确定光振幅和相位。可以存储不同虚拟点[x_virtual(ΔB),y_virtual(ΔB),z_virtual]的全息图分量，并将其与其他虚拟点的全息图分量组合，作为下面段落中描述的迭代的一部分，以便为整个虚拟图像建立完整的全息图。

由显示设备进行的这种所需的光调制(其相对于单个虚拟点输出)可被称为该虚拟点的“全息图分量”。在对要创建的虚拟图像内一个或多个其他虚拟点的方法1300的后续重复过程中，全息图分量可以由处理器存储。

图14的进一步改进方法1400的步骤1402至1410可以与图13的方法1300的步骤一1302至第七步骤1314一起，对要创建的虚拟图像内的每个虚拟点重复。当已经确定了每个虚拟点的调制行为和对应的全息图分量时，可以将全息图分量相加在一起，以产生显示设备的每个像素的合成调制行为。该合成调制行为代表虚拟图像的衍射结构或全息图，如果在观察系统内的显示设备上显示和照射，只会导致形成主图像，而不会形成任何重影图像。作为执行图14的改进方法1400的结果而形成的主图像可能比单独由图13的方法1300产生的相应主图像更亮。

处理器可以任何合适的方式输出对应于全息图的数据。全息图可被编码到显示设备上。结果，显示设备将被调谐以调制光，使得观察者能够在所需的虚拟图像距离处感知虚拟图像，而不会形成任何重影图像。

对于虚拟图像内的多个虚拟点中的每个虚拟点，方法1400可以基本同时(或非常快速地连续)执行，从而对于给定的观察设定和特定的数值测量和约束，可以非常快速地导出整个虚拟图像的合适全息图并将其编码到显示设备上。如果有任何可能影响显示设备的识别和/或所需调谐的变化，则可以重新运行该方法。处理器可以配置为在时间控制的循环上，和/或响应于指示已经发生变化的信号，和/或当所需虚拟图像的内容或身份发生变化时，重新运行该方法。处理器可以包括用于存储先前计算的数据的存储器，或者可以与该存储器通信。例如，可以提供查找表或其他存储装置，其在一组特定的测量和/或约束下，针对特定的虚拟图像或虚拟点，指示显示设备的有效区域。

方法1400可以非常快速地运行(或重新运行),以便快速连续地显示多个不同的虚拟图像，和/或准确地响应条件的变化，比如用户的移动。尽管在图12的系统中仅示出了一只眼睛，但方法1400可以配置为考虑观察者的两只眼睛。此外，尽管上面的某些描述可能涉及孔径宽度，但应当理解，瞳孔(以及用于观察实体的大多数其他孔径)是二维的，并且可以在这两个维度中的每个维度上改变尺寸。方法1400可以配置为考虑二维孔径尺寸及其变化。

全息图计算—示例2

上面图13和14的方法包括点云全息图计算方法，然而，本发明人的认识延伸到通过任何合适的方法的全息图计算，包括菲涅耳和傅立叶全息图计算方法。换句话说，本发明人已经认识到，全息图可以以多种不同的可能方式中的一种来计算，并且显示在相对较小的显示设备上，该显示设备位于离观察者相对较大的距离处，波导适当地位于显示设备和观察者之间，以便观察者在显示设备上游的有限距离处看到虚拟图像，而没有重影图像。此外，这可以通过将全息图的光直接投射到观察者的眼睛来实现，而不需要形成中间的全息重建。

例如，发明人设计了一种计算图15所示的光学系统的全息图的方法。重要的是，显示设备相对较小，投影距离相对较长。全息图被直接投影到观察系统，并且该方法能够实时实施。如同上面图6A等中所示的布置一样，显示设备的相对小的尺寸和相对长的投影距离需要光瞳扩展器。该方法解决了通过光瞳扩展器的不同路径，并考虑了观察系统的入射孔径的尺寸和形状。此外，该方法例如使用一个全息图允许图像内容出现在离观察系统不同的距离和/或多个距离处，可选地同时出现。该方法允许图像内容出现在显示设备的下游和显示设备的上游，可选地同时出现，例如使用一个全息图。

图15示出了可用于显示图像的全息图的空间光调制器1501。在该实施例中，空间光调制器1501是硅上液晶器件，其布置成对接收到的光的相位进行模块化。空间光调制器1501由来自光源(未示出)的至少部分相干光照射。光源可以是激光二极管。空间光调制器1501输出根据显示全息图进行空间调制的光。举例来说，图15示出了空间调制光的一条光线1502。应当理解，通常会有由空间光调制器1501输出的空间调制光的多条光线。光瞳扩展器1503接收空间调制光。光瞳扩展器1503相对于显示设备1501的平面倾斜。光瞳扩展器1503因此接收非垂直入射的光。入射角(光轴与光瞳扩展器形成的角度)可以小于25度，例如10到20度。光瞳扩展器包括接收空间调制光的输入表面1503a和输出表面1503b。输入表面1503a和输出表面1503b基本平行，并在光瞳扩展的方向上伸长。输入表面1503a包括基本全反射的至少一部分(例如R＝1)。输出表面1503b包括高反射但部分透射的至少一部分(例如R＝0.9和T＝0.1)。反射表面布置成使得空间调制光在它们之间来回反弹，并且光在沿着输出表面1503b的多个点发射，如上面参考图6A的波导608所述。在这个实施例中，光瞳扩展器基本是细长的。光瞳扩展器提供在一个方向上的光瞳扩展，即伸长方向，但本公开可以扩展到存在包括布置成在正交方向上扩展光瞳的第二光瞳扩展器。

图15示出了光线1502如何被有效地复制两次以形成三个传播路径1505，每个传播路径与不同的距离Z₀,Z₁和Z₂相关。最短的传播路径对应于Z₀，并且在这个示例中，光已经穿过波导而没有任何内部反射。所示的三个中的中距离传播路径对应于Z₁和光瞳扩展器中的两次内部反射(每个表面一次)。所示的最长传播路径对应于Z₂和光瞳扩展器中的四次内部反射(每个表面两次)。平面x₀,x₁和x₂分别示出了与三个传播路径Z₀,Z₁和Z₂中的每个相关的光场的空间范围。更具体地，图15示出了三个平面x₀、x₁和x₂在x方向上是如何相互偏移的。

图15还示出了观察系统1513，其包括入射光瞳1507、透镜1509和光传感器1511。在实施例中，观察系统1513是人眼，光传感器1511是眼睛的视网膜。图15示出了只有一些与每个传播路径相关的光场如何穿过入射光瞳1507。图15示出了与穿过入射光瞳1507中心的中距离传播路径的中心相关的光线。但是例如，与最短传播路径的光场的中心相关的光线被孔径1507的顶部阻挡。然而，与最短传播路径的光场相关的其他光线可以穿过孔径1507。与最长传播路径的光场中心相关的光线被孔径1507的下部阻挡。然而，与最长传播路径的光场相关的其他光线也可以穿过孔径1507。

穿过孔径1507的光被透镜1509聚焦到光传感器1511上。光传感器1511的平面基本平行于显示设备1501的平面，因此也相对于光瞳扩展器1503的细长维度倾斜。

仅作为示例，图15示出了空间调制光的单条光线1502的三条可能的光传播路径。本公开不受传播路径数量的限制。也就是说，本领域技术人员将从以下描述中理解，该方法可以扩展到考虑任何数量的光传播路径。同样，光瞳扩展器相对于显示平面和传感器平面倾斜也不是必须的。本发明人已经设计了一种方法，下面将结合图16进行描述，对于一系列不同的光瞳扩展器设置和光瞳扩展器内任何可能数量的光反弹，以及因此对于任何数量的光传播路径，该方法可以用于计算合适的全息图，以确保空间调制光正确地到达观察者的眼睛。重要的是，它考虑了观察系统的入射孔径的尺寸和形状，以便图像的所有需要的光到达观察者。

图16是示出该方法步骤的流程图。该方法类似于Gerchberg-Saxton型算法，该算法使用在图像平面和全息图之间来回的数学变换，以会聚在对应于图像的相位全息图上，该图像可以是虚拟图像，并且可以形成在空间光调制器1501上游的有限距离处。在每次传播到图像平面或全息平面之后，光场的振幅分量被修改或约束，但相位分量被保留。

该方法的第零阶段包括步骤1602和1604。第零阶段包括形成第零复合光场。步骤1602提供随机相位种子，形成第零复合光场的相位分量。步骤1604提供第零复合光场的振幅分量。振幅分量可以是代表将用于从全息图重建图像的光源光的单位或振幅分布。

在步骤1606中，第零复合光场从空间光调制器1501(即从全息平面)菲涅耳传播到观察系统1513的入射光瞳1507(更具体地，传播到包含观察系统1513的入射光瞳1507的平面)。此外，该实施例将菲涅耳传播称为可以使用的多种不同数学变换的一个示例，而不脱离本公开的精神或范围。对由光瞳扩展器1503提供的每个数量的反弹或内部反射执行步骤1506，以形成关于每个光传播路径的复合光场。步骤1606包括考虑入射光瞳1507的平面处在x方向上的复合光场的横向位置，以及在光瞳扩展器1503内每次反射的相移。不同的复合光场可以例如通过相加来组合。第一阶段还包括步骤1608，根据入射光瞳1507的尺寸和形状裁剪组合的复合光场，以在入射光瞳1507处形成第一复合光场。

该方法的第二阶段包括步骤1610和1612。在步骤1610中，通过将第一复合光场从入射光瞳穿过透镜1509传播到光传感器1511的平面来确定第二复合光场。步骤1612包括修改到达光传感器1511的复合光场的振幅分量。更具体地，步骤1612包括用目标图像的振幅分量或者基于目标图像的振幅分量的振幅分量(例如目标图像的振幅分量的加权版本)来替换复合光场的振幅分量。传播中使用的透镜1509的位置决定了图像距离—即图像内容将出现的空间。在一些实施例中，图像是虚拟图像，并且该距离可被称为虚拟图像距离“VID”。

有利地，这里公开的方法允许使用相同的全息图在多个不同的图像距离(例如多个VID)形成图像内容。发明人认识到，这可以通过考虑透镜1509在z方向上的不同位置，对每个图像距离重复第二阶段来实现。例如，根据这种方法为每个不同图像距离确定的复合光场可以通过相加来组合。

该方法的第三阶段包括步骤1614，其中第二复合光场经由透镜1509传播回入射光瞳1507。这可被称为反向传播，仅仅是为了反映光在相反的z方向上行进。在一些实施例中，反向传播是对应的“正向”传播的数学逆。第三阶段还包括根据入射光瞳1507的尺寸和形状裁剪传播的光场，以形成第三复合光场。

第四阶段包括步骤1616和1618。在步骤1616中，光经由光瞳扩展器的多个光传播路径传播回空间光调制器1502的平面，以上面关于第一阶段描述的方式—但当然是在相反的光方向上(即“反向”传播)。步骤1618包括根据显示设备的有效/像素区域的尺寸和位置裁剪传播的光场。每个复合光场的复数值的数量可以等于或小于显示设备的像素数量。

步骤1620包括从第四复合光场中提取全息图。全息图可以包括第四复合光场的相位值，在这种情况下，全息图可被称为相息图。该方法同样可以从图像平面开始(即第三阶段)。根据本公开，每个阶段需要至少一次迭代。图17A和17B描述了通过这种方法以及通过图13和14的方法形成的全息图。

通道化全息图

本发明人已经发现，不管通过何种方法计算，根据本发明计算的全息图(或“相息图”或“衍射结构”)具有独特的性质，这些性质使用传统的全息图计算方法是观察不到或无法实现的。

总之，根据本公开计算的全息图使得显示设备(例如但不限于LCOS)能够输出空间调制光的通道，其中每个通道对应于相应图像的不同的相应部分，全息图在该显示设备上被显示和照射。这种独特的通道使得显示设备能够与诸如波导的合适的光瞳扩展器一起工作，以便允许观察者通过他们眼睛的相对较小的孔径准确地看到整个图像，即使当观察距离相对较大并且当显示设备相对较小时，并且不需要移动他们的眼睛。例如，位于显示设备上游有限距离处的虚拟图像可以在相对大的距离处被观察(正确地，并且完整地)，即使观察者眼睛的孔径和显示全息图的显示设备都相对非常小。这在以前是无法实现的，无论是使用传统的全息术还是使用非全息术。

根据本公开的一方面，发明人发现，当使用如上所述的“点云”方法计算全息图时，来自每个虚拟图像点的光根据显示设备的不同对应主要贡献区域而受到限制。发明人进一步认识到，这意味着来自虚拟图像的不同部分(即不同的虚拟图像点)的光沿着不同的光路通过系统。类似地，根据本公开的一方面，发明人发现，当使用菲涅耳传播计算全息图时，例如通过上面图16所示的方法，对应于图像的不同相应部分的空间调制(即“全息”)光遵循不同的相应光路。因此，发明人认识到，全息图(无论如何计算)可用于将这些光路中的每个同时导向观察者的眼睛，从而使观察者能够接收到他们的眼睛/大脑重建整个图像所需的所有全息光，而无需移动他们的眼睛或进行任何其他物理改变。如以上详细示例所示，为了实现这一点，波导或其他光瞳扩展器可以与显示计算的全息图的显示设备结合使用。

在图17A和17B所示的实施例中，发明人配置了一种光学系统来显示虚拟图像，该虚拟图像包括多个离散的虚拟图像分量或区域，以帮助理解本文公开的全息图的独特性质。然而，本公开同样适用于计算和显示对应于具有连续(即非离散)图像内容的图像的全息图，和/或适用于具有任何数量/尺寸/划分的离散图像部分的图像的全息图。在图17A和17B中，简单地说，(i)虚拟图像包括多个离散的虚拟图像分量或区域，以及(ii)每个虚拟图像分量的光与波导1708内不同数量的反弹/反射相关。然而，在一些其他实施例中，两个或更多个离散的虚拟图像分量的光可能在波导内经历相同次数的反弹。

图17A示出了用于投影的图像1752，包括八个离散的图像区域/分量V1到V8。图17A仅作为示例示出了八个图像分量，并且图像1752可被分成任意数量的分量。图17A还示出了当全息图(如本文公开的那样计算)被适当地显示和照射时形成的编码光图案(即全息光图案)1754。编码光图案1754可以重建图像1752，例如当被合适的观察系统的透镜(例如观察者的眼睛)转换时。编码光图案1754包括对应于第一至第八图像分量/区域V1至V8的第一至第八分量或通道H1至H8。因此，全息图可以通过它所执行的全息光的通道化来表征。这种光的通道化是由于计算的方式而发生，如图17B所示。具体地，根据本公开的全息图将全息光引导到多个离散的通道中，这些通道可以在平面上形成为离散的相应区域。在所示的示例中，离散区域是圆盘，但也可以设想其他形状。如上所述，全息图是特别利用显示设备处的光场的尺寸/形状和/或观察孔处的光场的尺寸/形状来计算(例如裁剪)的。因此，最佳圆盘的尺寸和形状可能与观察系统的入射光瞳的尺寸和形状有关。

从本公开应当理解，这种类型的全息图可以通过任何方法来计算，并且发明人的核心认识是这种类型的全息图可以用于使用相对小的显示设备来提供相对大的视场。这里公开的全息图行为与诸如光瞳扩展器的全息图复制器是协同的。这里公开的全息系统与平视显示器特别协同。

由全息图输出的全息光的通道有效地按角度分解(将由观察者全息再现的图像的)图像内容。这可以通过与上述图4的光学布置进行比较来进一步理解，在图4的光学布置中，来自真实图像401上多个离散位置的光线束以多个离散的对应角度行进到孔径(或观察窗)402，但在任何给定的眼睛位置，来自这些光线束中只有一个光线束的光可以穿过观察者的眼睛。如本文所述计算并由合适的显示设备显示的全息图可以形成全息重建的虚拟图像，以模拟在期望的图像距离处的图像401(或者实际上，任何期望的图像/物体)的存在。然而，与图4的光学系统和传统的全息系统相比，一个显著的优点是，即使当显示设备相对较小，并且当观察系统的入射孔径(例如观察者的眼睛)相对较小，以及当观察距离相对较大时，如此处所述计算的全息图也能够被观察者看到或感知整个图像。换句话说，作为非限制性示例，全息图将使图4所示的所有五个光线束同时到达观察者，从而完全形成所需的虚拟图像。

重要的是，当适当显示和照射时，这种全息图使显示设备输出全息光的通道，其中每个全息光的通道对应于来自期望图像/物体的相应部分的光到达显示设备的角度(或者在一些情况下是一束角度)。因此，可以说全息光的通道对应于图像内容的不同相应角度部分。传统全息图的情况并非如此。此外，与来自真实图像/物体的未调制光或由传统全息图形成的空间调制光不同，本文公开的全息光的通道被特别配置，使得它们可被位于显示设备和观察者之间的合适的波导或其他光瞳扩展器引导，以确保观察者可以同时接收每个通道且因此接收对应于图像的每个(即每一个)部分的全息光。此外，至少在一些实施例中，每个通道可以仅被接收一次。

图17C示出了根据图17A和17B所示认识的改进的观察系统1700。可以应用图13的方法1300或图14的方法1400或图16的方法或任何其他合适的方法来计算图17A至17C所示方案中的全息图。

观察系统1700包括显示设备，其在该布置中包括LCOS 1702。LCOS 1702布置成显示包括全息图的调制图案(或“衍射图案”)，并将已经全息编码的光投射到眼睛1705，眼睛1705包括充当孔径1704的瞳孔、晶状体1709和充当观察平面的视网膜(未示出)。具有布置成照射LCOS 1702的光源(未示出)。光源可以例如包括激光二极管。全息图配置成使得整个全息图可被单一光线(或者单一光线束)照射。为了使其如本文所述起作用，不需要多个光源或者例如多个各自波长不同的光线来照射全息图。

眼睛1705的晶状体1709执行全息图到图像的转换。因此，在LCOS和眼睛1705之间没有图像的全息重建。

观察系统1700还包括位于LCOS 1702和眼睛1705之间的波导1708。图17C中的投影距离可能相对较大。然而，如关于前面的附图所描述，波导1708的存在使得来自LCOS 1702的所有角度内容能够被眼睛1705接收，即使在这个相对大的投影距离处。这是因为波导1708以上面已经描述的方式充当光瞳扩展器。

此外，在该布置中，当LCOS 1702已经根据这里描述的方法被编码时，波导1708可相对于LCOS 1702以一定角度定向，以便在来自LCOS 1702的光和观察者将感知的虚拟图像之间建立独特的关系。波导1708的尺寸、位置和定位配置成确保来自每个全息通道的光以及来自虚拟图像的每个部分的光进入波导1708并沿其长轴被引导，在波导1708的基本平坦的表面之间反弹。每当光到达第二平面表面(最靠近眼睛1705)时，一些光被透射，一些光被反射。

图17C示出了沿着波导1702长度的总共九个“反弹”点B0到B8。读者会注意到图像1752的中心保持空白。图17C示出了波导内第0到第9个光“反弹”或反射点B0到B8。尽管与图像(V1-V8)所有点相关的光(即八个全息光通道H1至H8中的每个通道的光)在从波导1708的第二平面表面的每次“反弹”时被透射出波导，但只有来自图像的一个角度部分的光(例如，通道H1到H8之一的光，其对应于图像部分V1到V8中的特定相应一个)具有使其能够从每个相应的“反弹”点B0至B8到达眼睛1705的轨迹。此外，在该实施例中，来自不同通道的光且因此来自图像的不同的相应角度部分(V1到V8)的光从每个相应的“反弹”点到达眼睛1705。图17C示出了在每个“反弹”点发射的所有不同全息光通道的光(由每个传输点处的多个短箭头表示)，但仅示出了相应通道的到眼睛1705的光路，该光路对应于将实际从该反弹点到达眼1705的唯一的相应图像部分(即对应于唯一的相应角度图像内容)。对于每个反弹点，其光路被示为到达眼睛的通道是将对来自波导的相应部分的虚拟图像的相应部分有贡献的通道。例如，对于第零次反弹B0，由波导1708传输的光被简单地折射，并且在其中不经历任何反射。第八全息通道H8的光从第零次反弹B0到达眼睛。对于下一个反弹B1，由波导1702传输的光在传输之前在其中经历一次反弹。来自第七全息图H7的光从下一个反弹B1到达眼睛。这按顺序继续，直到由波导1708在最后一个反弹B8处透射的光在被透射并到达眼睛1705之前已经经历了八次反弹，并且包括根据第一全息图H1编码的光。在这种布置中，来自每个通道的光将同时到达观察者—分别来自波导上的多个不同相应反弹点。因此，观察者将同时接收到对应于整个虚拟图像的全息光，而无需移动他们的眼睛或进行任何其他改变，即使他们的眼睛和显示设备都相对非常小并且观察距离相对较大。

在图17A至17C所示的示例中，只有一个图像区域的光从每个反弹点到达眼睛。因此，当如本文所述确定全息图时，在虚拟图像的区域和它们在波导上的相关反弹点之间建立了空间相关性。在一些其他示例中，可能存在相对小的重叠，使得图像的一个区域来自两个相邻的传输点，并且因此包含在从波导向观察平面传播的两个相邻的圆盘中。

因此，发明人的认识以及这里描述的方法和装置能够产生包括全息图的衍射图案(或光调制图案),当在LCOS或其他合适的显示设备上显示时，能够使空间调制光在多个“圆盘”或全息光的通道中有效地从其中发射，每个“圆盘”或全息光的通道对应于(更具体地，编码)相应虚拟图像的不同的相应部分。

因此，本文描述了改进的方法和装置，其使得全息图能够被计算，并以当显示设备被合适的光源照射时，观察者能够看到清晰图像的方式显示在合适的显示设备上。观察者看到的图像可以没有重影，并且至少在一些实施例中，可以通过光的贡献而变得更亮，而通常光的贡献原本会产生重影图像，而不是产生单个主图像。此外，即使显示设备和观察者的观察孔径(即眼睛)相对非常小并且观察距离相对较大，它们也能够使观察者在离显示设备有限的距离(而不是无限远)处看到图像，例如虚拟图像。

这里描述的改进的方法和装置可以实时执行，并且可以重复，例如非常快速地重复，以适应观察孔位置/方位的变化。它们可被实现用于一个以上的观察孔径，例如两只眼睛。它们可被重复，例如非常快速地重复，以使得能够显示多个不同的全息图，从而连续地和/或以序列、系列、图案或循环的方式观察多个不同的相应图像。

这里描述的改进的方法和装置可以在各种不同的应用和观察系统中实现。例如，它们可以在平视显示器(HUD)中实现。在对许多传统HUD的改进中，其中虚拟图像在无穷远处形成，这里描述的改进的方法和装置可被实现用于在有限的图像距离处创建虚拟图像(该图像距离可以由合适的控制器选择和调整)，同时仍然消除重影。

尽管这里已经讨论了虚拟图像，虚拟图像需要眼睛转换接收的调制光以形成感知的图像，但这里描述的改进的方法和装置可以应用于真实图像。

附加特征

实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，例如任何电激活的SLM、光学激活的SLM、数字微镜设备或微机电设备。

在一些实施例中，光源是激光器，比如激光二极管。

本公开的系统可用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种交通工具，其包括安装在交通工具中的全息投影系统，以提供HUD。交通工具可以是机动交通工具，比如汽车、卡车、货车、卡车、摩托车、火车、飞机、船只或轮船。

全息重建的质量可能受到所谓的零级问题的影响，这是使用像素化空间光调制器的衍射特性的结果。这种零级光可被认为是“噪声”,并且包括例如镜面反射光和来自SLM的其他不想要的光。

在实施例中，仅利用主重放场，并且系统包括物理块，例如挡板，其布置成限制更高级重放场通过系统的传播。

在实施例中，全息重建是彩色的。在一些实施例中，被称为空间分离颜色“SSC”的方法被用于提供彩色全息重建。在其他实施例中，使用了被称为帧顺序彩色“FSC”的方法。

SSC方法将三个空间分离的光调制像素阵列用于三个单色全息图。SSC方法的优点是图像可以非常明亮，因为所有三个全息重建可以同时形成。然而，如果由于空间限制，在公共SLM上提供三个空间分离的光调制像素阵列，则每个单色图像的质量是次优的，因为只有可用光调制像素的子集用于每种颜色。因此，提供了相对低分辨率的彩色图像。

FSC方法可以使用公共空间光调制器的所有像素来依次显示三个单色全息图。循环单色重建(例如红色、绿色、蓝色、红色、绿色、蓝色等)足够快，使得人类观察者从三个单色图像的合成中感知到多色图像。FSC的优点是整个SLM用于每种颜色。这意味着所产生的三个彩色图像的质量是最佳的，因为SLM的所有像素都用于每个彩色图像。然而，FSC方法的缺点是合成彩色图像的亮度比SSC方法低大约3倍，因为每个单色照射事件只能在三分之一的帧时间内发生。这个缺点可以通过过激励激光器或者通过使用更大功率的激光器来解决，但这需要更大的功率，导致更高的成本和系统尺寸的增加。

示例描述了用可见光照射SLM，但本领域技术人员将理解，例如，光源和SLM同样可以用于引导红外或紫外光，如本文公开。例如，为了向用户提供信息，本领域技术人员将知道用于将红外和紫外光转换成可见光的技术。例如，本公开延伸到为此目的使用磷光体和/或量子点技术。

一些实施例仅通过示例描述了2D全息重建。在其他实施例中，全息重建是3D全息重建。也就是说，在一些实施例中，每个计算机生成的全息图形成3D全息重建。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (18)

1.一种衍射结构，其布置成将能由观察系统转换成图像的光进行空间调制，其中，所述衍射结构配置成将光路由到多个全息图通道中，每个全息图通道对应于图像的不同部分。

2.如权利要求1所述的衍射结构，其布置成使得所述全息图通道以不同相应角度从所述衍射结构传播。

3.如权利要求1或2所述的衍射结构，其中，每个全息图通道基本包括根据图像的相应不同部分的空间调制光。

4.如任一前述权利要求所述的衍射结构，其布置成对光的相位进行空间调制。

5.如任一前述权利要求所述的衍射结构，其布置成通过波导来路由光。

6.如权利要求5所述的衍射结构，其中，所述波导被布置用于光瞳扩展。

7.如权利要求1至6中任一项所述的衍射结构，其中，能由每个全息图通道形成的光图案的横截面形状基本对应于观察系统的入射孔径的形状。

8.如任一前述权利要求所述的衍射结构，其中，所述全息图通道是空间分离的或至少部分空间分离的。

9.一种系统，包括如权利要求1至8中任一项所述的衍射结构、布置成从所述衍射结构接收空间调制光的波导以及布置成经由所述波导接收空间调制光的观察系统。

10.如权利要求9所述的系统，其布置成使得每个全息图通道的光沿着不同光路从所述衍射结构到达所述观察系统。

11.如权利要求10所述的系统，其中，所述不同光路包括所述波导内的不同数量的反射。

12.如权利要求10或11所述的系统，其中，所述不同光路的长度不同。

13.如权利要求10、11或12所述的系统，其中，所述不同光路以不同相应角度穿过所述观察系统的入射孔径。

14.如权利要求10至13中任一项所述的系统，其中，所述波导布置成使得在观察平面上的任何观察位置处所有全息图通道都被路由穿过所述观察系统的入射孔径。

15.如权利要求14所述的系统，其中，对于每个允许的观察位置，所述波导仅经由一个光路将每个全息图通道路由到所述观察系统。

16.如权利要求9至15中任一项所述的系统，其中，所述多个全息图通道中的至少两个全息图通道在所述观察系统的入射孔径处部分重叠。

17.如任一前述权利要求所述的衍射结构或系统，其中，所述衍射结构是相息图或全息图。

18.一种计算图像的全息图的方法，该方法包括至少一个步骤，所述至少一个步骤包括根据观察系统的入射光瞳裁剪(计算期间的光路)以形成全息图，该全息图在被照射时形成空间调制光，其中空间调制光的连续光通道对应于图像的连续区域。