Nothing Special   »   [go: up one dir, main page]

CN104704821A - 扫描双向光场相机和显示器 - Google Patents

扫描双向光场相机和显示器 Download PDF

Info

Publication number
CN104704821A
CN104704821A CN201380052016.0A CN201380052016A CN104704821A CN 104704821 A CN104704821 A CN 104704821A CN 201380052016 A CN201380052016 A CN 201380052016A CN 104704821 A CN104704821 A CN 104704821A
Authority
CN
China
Prior art keywords
display
light
light field
radiance
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380052016.0A
Other languages
English (en)
Other versions
CN104704821B (zh
Inventor
保罗.拉普斯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Convergence Research Pte Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN104704821A publication Critical patent/CN104704821A/zh
Application granted granted Critical
Publication of CN104704821B publication Critical patent/CN104704821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G02B26/085—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD the reflecting means being moved or deformed by electromagnetic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/11—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on acousto-optical elements, e.g. using variable diffraction by sound or like mechanical waves
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33—Acousto-optical deflection devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/064—Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提供了一种双向光场相机和显示设备(300)，其包括双向光场相机和显示元件(310)的阵列，每个双向元件(310)包括：扫描仪(504，506)，用于扫描在二维视场上的输入光束(600)和输出光束(500)；输入焦点调制器(612)，用于随着时间调制输入光束(600)的焦点；辐射率传感器(604)，用于随着时间感测输入光束(600)的辐射率；辐射率采样器(606)，用于在离散时间处采样输入光束(600)的辐射率；光束生成器(522)，用于产生输出光束(500)；辐射率调制器(524)，用于随着时间调制该输出光束(500)的辐射率；以及输出焦点调制器(530)，用于随着时间调制所述输出光束(500)的焦点。

Description

扫描双向光场相机和显示器
技术领域
本发明涉及一种高保真光场相机、光场显示器以及双向光场相机和显示器。
背景技术
7D光场(或全光函数[Adelson 91])定义了穿过空间体积的每一个点的每条射线随着时间的光谱辐射率，并因此包含在该体积内的每个可能的视点(view)。6D光场定义了通过给定表面的每条射线随着时间的光谱辐射率，即，其代表通过7D光场的切片(slice)。
通常情况下，只有沿着一个方向通过表面的射线是感兴趣的，例如，由表面所限定的体积所射出的射线。在边界处的6D光场可以被用来推断周围空间的7D光场，并且这提供了光场显示的基础。外推是通过由显示器发射的光线随着他们通过空间传播而进行的。
虽然光学光场是连续的，但是对于实际操作，例如其在有边界表面上的离散点集处和对离散射线方向集被限带和采样。
在本上下文中，光场显示的最终目的是为了具有足够保真度的任意离散光场重建连续的光学光场，使得该显示器显得与从其上采样所述离散光场的原始物理场景上的窗口难以区别，即，所有现实世界的深度线索都存在。观众从每只眼睛看到不同视点；能够固定并专注于虚拟场景中的处于其适当深度处的对象；以及当他们相对显示器移动时体验平滑运动视差。
在本上下文中，光场相机的最终目的是为了捕获具有足够保真度的任意物理场景的离散光场，使得离散光场在由高保真光场显示器显示时显得与原始场景上的窗口难以区别。
现有的无眼镜的三维(3D)显示器分为三大类[Benzie 07，Connor 11]：自动分光立体显示器(autostereoscopic)、体立体显示器(volumetric)以及和全息立体显示器(holographic)。自动分光立体显示器在观看场上的单音观看区域或多个观看区域为观众(或多个观众)提供有场景的2D图像的立体对，并且可以利用头部跟踪以便对准具有观众的观看区域。体立体显示器器通过快速掠过通过该体积的光发射器的0D、1D或2D的阵列或者通过直接从半透明的体素阵列发射光在显示器的体积内生成所述场景的真实3D图像。全息显示器采用衍射光重新创建由原始场景[Yaras10]发射的波阵面(wavefront)。
体立体显示器和全息立体显示器两者都重建名义上正确的光学光场，也就是说，它们生成具有正确曲率中心的宽视场波阵面。然而，体立体显示器存在两个主要的缺点：所述重建的场景受限于显示器的体积，并且整个场景是半透明(这使得它不适于需要真实性的显示应用)。实用的全息立体显示器一直存在尺寸和分辨率受限的问题，并且通常在当前的实现方式中只支持水平视差[Schwerdtner 06，Yaras 10，Barabas 11]
典型的多视角自动分光立体显示器提供有限数量的视角，因此不支持运动视差。所谓的“全息形式的(holoform)”自动分光立体显示器[Balogh 06、Benzie 07、Urey 11]提供更大数量的视角(例如10-50个)，因此提供类似的(通常只是水平的)运动视差。然而，它们没有重建哪怕是名义上正确的光学光场。
发明内容
在第一方面，本发明提供了一种双向光场相机和显示设备，其包括双向光场相机和显示元件的阵列，每个双向元件包括：扫描仪，用于扫描在二维视场上的输入光束和输出光束；输入焦点调制器，用于随着时间调制输入光束的焦点；辐射率传感器，用于随着时间感测输入光束的辐射率；辐射率采样器，用于在离散时间处采样输入光束的辐射率；光束生成器，用于产生输出光束；辐射率调制器，用于随着时间调制该输出光束的辐射率；以及输出焦点调制器，用于随着时间调制所述输出光束的焦点。
双向光场相机和显示设备可以包括光束分离器，用于将输入光束与输出光束分开。
双向光场相机和显示设备可包括至少一个致动器，用于使得所述双向元件的阵列在至少两个位置之间振荡。所述振荡可以是谐振。
振荡双向元件的阵列使得所述元件的进入/出口光瞳对数组宽度(arrayextent)的不完全覆盖获得改善。
在第二方面，本发明提供一种光场相机设备，其包括光场相机元件的阵列，每个相机元件包括：扫描仪，用于扫描在二维视场上的输入光束；输入焦点调制器，用于随着时间调制输入光束的焦点；辐射率传感器，用于随着时间感测输入光束的辐射率；以及辐射率采样器，用于在离散时间处采样输入光束的辐射率。
所述输入焦点调制器可以是液晶透镜(或透镜对)、液体透镜、可变形薄膜反射镜、可变形薄膜充液透镜、可寻址透镜堆栈或电光透镜。
输入光束随时间的适当聚焦使得在显示所得的所捕获的光场时保真度最大化。
所述辐射率传感器包括至少一个光电检测器。该光电检测器可以是在光电导模式下运行的光电二极管、在光致电压模式下运行的光电二极管、光敏晶体管以及光敏电阻器。
辐射率传感器可以包括多个光电检测器，每一个适于具有不同的光谱响应。所述多个光电检测器可以被叠放(stacked)。
辐射率采样器可以包括至少一个模数转换器(ADC)以及至少一个可编程增益放大器(PGA)。
辐射率传感器可以包括光电检测器的线性或二维阵列，配置成随着延长的曝光持续时间并行地跟踪和累积多条输入光束的辐射率。光电检测器的阵列可以与模拟移位寄存器耦接，用于随时间累积所述多个光束的辐射率。
集成的光电检测器阵列和线性移位寄存器器件可以由用作线性移位寄存器的电荷耦合器件(CCD)或通过将光电检测器集到其存储节点而由斗链式器件(BBD)构成。
所采样辐射率可被存储在离散的光场中。离散光场可以被发送到用于显示的光场显示设备。
光场相机设备可包括至少一个致动器，用于使得所述相机元件的阵列在至少两个位置之间振荡。所述振荡可以是谐振。
在第三方面，本发明提供了一种光场显示设备，其包括光场显示元件的阵列，每个显示元件包括：扫描仪，用于扫描在二维视场上的输出光束；光束生成器，用于产生输出光束；辐射率调制器，用于随着时间调制该输出光束的辐射率；以及输出焦点调制器，用于随着时间调制所述输出光束的焦点。
结合足够快的扫描速率，视角暂留使得观众能够觉得所扫描的输出光束像连续光学光场。
所述光束生成器包括至少一个光发射器，该光发射器可以激光器、激光二极管、发光二极管、荧光灯以及白炽灯。
所述光束生成器可以包括多个光发射器，每个具有不同的发射光谱。所述多个光发射器可以被堆叠。
所述辐射率调制器可以是光束生成器所固有的，或者其可以是分离的。
所述辐射率调制器可以是声光调制器、吸收性电光调制器或折射电光调制器。
所述光束的辐射率可以根据与显示元件的位置对应的所指定的辐射率值和视场内的输出光束的瞬时方向来调制。
所指定的辐射率值可以从期望的输出光场的离散表示而检索得到。所述离散光场可能已从光场相机设备收到。
光场显示设备可包括作用在输出光束上的角度重建滤波器。该滤波器可以是扩散器或阵列或小透镜(lenslets)。
所述输出焦点调制器可以是液晶透镜(或透镜对)、液体透镜、可变形薄膜反射镜、可变形薄膜充液透镜、可寻址透镜堆栈或电光透镜。
所述输出光束的适当聚焦确保了观众在输出光束实例之间和之内感知平滑视差并体验到一致的辐辏(vergence)和适应性调节(accommodation)线索。
所述光束的焦点可以根据与显示元件的位置对应的所指定的深度值和视场内的输出光束的瞬时方向来调制。
所指定的深度可以是场景深度或该表面的观众的固定深度，并且场景深度或固定深度可以从跟踪面部部、眼睛或观众的视线而得出。
所述光场显示设备可包括至少一个致动器，用于使得所述显示元件的阵列在至少两个位置之间振荡。所述振荡可以是谐振。
所述扫描仪可以是机电扫描反射镜、可寻址偏转器堆栈、声光扫描仪或电光扫描仪
所述扫描仪包括具有至少一种驱动机构的双轴机电扫描反射镜。该驱动机构可以为静电驱动机构、磁驱动机构或容性驱动机构。
所述扫描仪可包括双轴机电扫描反射镜，其可包括：反射镜、平台、内框架和外框架。所述反射镜经由柱(post)连接到所述平台，所述平台经由第一对铰链连接到内框架，并且所述内框架经由第二对铰链连接到外框架。第一对铰链设置成基本上垂直于第二对铰链，由此容许反射镜的双轴运动。
所述扫描仪包括：第一扫描仪，用于沿第一方向扫描所述输入光束和输出光束；第二扫描仪，用于沿第二方向同时扫描输入光束和输出光束，所述第二方向基本上垂直于第一方向。
每个扫描仪器可以机电扫描反射镜、可寻址偏转器堆栈、声光扫描仪以或电光扫描仪。
在第四方面，本发明提供了一种双向光场相机和显示设备，其包括双向光场相机和显示元件的阵列，每个双向元件包括：光传感器阵列，用于感测跨二维视场上的一组输入光束；输入焦点调制器，用于调制输入光束的焦点；光发射器阵列，用于跨二维视场发射一组输出光束；以及输出焦点调制器，用于调制所述输出光束的焦点。
每个光传感器可包括至少一个光电检测器。光电检测器可以是在光电导模式下运行的光电二极管、在光致电压模式下运行的光电二极管、光敏晶体管以及光敏电阻器。
每个光传感器可以包括多个光电检测器，每个适于具有不同的光谱响应。所述多个光电检测器可以被堆叠。
每个光发射器可包括至少一个发射器，它可以是激光器、激光二极管、发光二极管、荧光灯或白炽灯。
每个光发射器可包括多个发射器，每个都具有不同的发射光谱。所述多个发射器可以被堆叠。
输入焦点调制器和输出焦点调制器可以是相同的焦点调制器或单独的焦点调制器。如果它们是相同的焦点调节，则它可随时间在输入对焦模式和输出聚焦模式之间进行切换。如果它们是独立的，然后它们可以随着时间经由偏振旋转器被交替地选择。
每个(或所述)聚焦调制器可以是液晶透镜(或透镜对)、液体透镜、可变形薄膜反射镜、可变形薄膜充液透镜、可寻址透镜堆栈或电光透镜。
在第五方面，本发明提供了一种近眼显示(NED(near-eye display))设备，该近眼显示设备由光场显示设备构成，该光场显示设备配置成根据观众的适应性调节和辐辏显示所聚焦的光场。所述NED装置可包括一个或多个相机以便跟踪观众的适应性调节或辐辏。
在第六方面，本发明提供了一种反射镜设备，该反射镜设备包括一个双向光场相机和显示设备，该双向光场相机和显示设备配置为实时地捕获和重新显示光场视频。所述光场视频可以被水平翻转以模拟常规的反射镜。
在第七方面，本发明提供了一种单向不可视(invisibility)设备，该不可视设备由连接有光场显示设备的光场相机设备构成，该相机和该显示设备以任意孔隙(interstitial)空间背靠背安装，该显示设备配置成实时地显示由所述相机设备捕获的光场图像，由此使得所述孔隙空间对显示设备的观众有效地不可视。
在第八方面，本发明提供了一种双向不可视设备，所述不可视设备由一对双向光场相机和显示设备构成，这两个设备以任意孔隙空间背靠背安装，每个设备被配置来实时地显示由其它装置捕获的光场视频，由此使得所述孔隙空间对其它设备的观众有效地不可视。
在第九方面，本发明提供了一种显示由真实光场实时地点亮的虚拟(virtual)3D场景的光场的方法(或光场视频)，该方法包括：使用双向光场相机和显示设备捕获输入光场视频；使用输入光场的视频实时地实际(virtually)点亮3D场景(或光场视频)；根据所点亮的3D场景生成输出光场视频；以及采用双向光场相机和显示设备显示所输出的光场视频。
在第十个方面，本发明提供一种用于显示光场的方法，该方法包括检测至少一个观众的至少一个眼睛；针对每只眼睛以及针对一组显示位置中的每个，确定由该眼睛通过该位置所看到的场景的深度；针对每个位置生成一组输出光束，每束输出光束代表根据输出光束的方向通过该位置看到的场景；以及根据由该眼睛通过该位置观看的场景的深度调制每束输出光束的焦点。
在第十一方面，本发明提供了一种用于显示光场的方法，该方法包括检测至少一个观众的注视点(fixation point)；针对一组显示位置的每个，生成一组输出光束，每束输出光束代表根据输出光束的方向通过该位置看到的场景；以及根据该注视点相对于该位置的深度调制每束输出光束的焦点。
所述场景可以是虚拟的(virtual)，或可以通过先前生成的或捕获的光场或光场视频来表示，或者可以通过由光场相机实时地捕获的光场或光场视频来表示。
该方法可以包括实时地调制由光场相机捕获的相应一组输入光束的焦点。
该方法可包括仅生成对观众可见的输出光束。
附图说明
图1A示出了横跨过感兴趣体积的边界的连续6D光场的代表性射线。
图1B示出了被采样的，即离散的，6D光场的类(class)图。
图2A示出了用于特定射线位置的光传感器阵列采样射线方向。
图2B示出了在光场边界处的透镜阵列采样射线位置。
图3A示出了光传感器的空间范围(extent)和透镜的孔径(aperture)的实现4D低通滤波的组合效果。
图3B示出了使用具有更高光学能力(power)的透镜在对象空间的点处聚焦的图3A的采样光束。
图4A示出了重建用于特定射线位置的射线方向的光发射器阵列。
图4B示出了在光场边界重建射线位置的透镜阵列。
图5A示出了光发射器的空间范围(extent)和透镜的孔径(aperture)的实现4D低通滤波的组合效果
图5B示出了使用具有更低光学能力(power)的透镜根据虚拟对象被聚焦的图5A的重建光束。
图6A示出了与图3A和5A对应的相匹配的采样(左)和重建(右)光束。
图6B示出了与图3B和5B对应的在物点/从物点所聚焦的相匹配的采样(左)和重建(右)光束。
图7A示出了从理想光场显示器发射的波阵面。
图7B示出了从多元件光场显示器发射的波阵面。
图8A示出了由理想的光场显示器所捕获的波阵面。
图8B示出了由多元件光场显示器所捕获的波阵面。
图9A示出了位于虚拟点光源的所述重建光场中观众的眼睛，该眼睛聚焦于该点光源。
图9B示出了眼睛聚焦在比虚拟点光源更近的点。
图9C示出图9A和9B的光场显示器，其发射与图9B的被平移(translated)物点重合的点光源的光场。
图10A示出了凝视光场显示器的观众，该光场显示器发射与由几个对象构成的虚拟场景对应的光场。
图10B示出了其中一个眼睛的位置，被用于通过每个显示元件确定观看方向，并因此针对每一个观察方向，确定与场景对象的交叉点。
图10C示出了观众的两只眼睛的每只眼睛的注视方向，其用来估算它们的注视点。
图10D示出了根据该注视点的深度估计的其中一个眼睛的聚焦的平面以及对于每个观看方向与该聚焦屏面的交点。
图11示出了经由网络连接的一对双向光场显示器。
图12示出了经由网络连接的光场相机和光场显示器。
图13A示出了具有处于无源状态的的液晶透镜的基于阵列的双向光场显示元件的示意图。
图13B示出了具有处于由源状态的的液晶透镜的基于阵列的双向光场显示元件的示意图。
图14A示出了具有双液晶透镜的基于阵列的双向光场显示元件的示意图，其中第一透镜有源。
图14B示出了具有双液晶透镜的基于阵列的双向光场显示元件的示意图，其中第二透镜有源。
图15示出了扫描光场显示元件的框图。
图16示出了具有多个亮度(intensity)调制器的RGB激光束生成器的方框图。
图17示出了扫描光场相机元件的框图。
图18示出了扫描双向光场显示元件的框图。
图19A示出了用于扫描双向光场显示元件的光学设计的平面图，其中具有输出射线。
图19B示出了用于扫描双向光场显示元件的光学设计的正视图，其中具有输出射线。
图20示出了使用小透镜阵列实现的图19A的角度重建滤波器。
图21A示出了用于扫描双向光场显示元件的光学设计的平面图，其中具有输入光束。
图21B示出了用于扫描双向光场显示元件的光学设计的正视图，其中具有输入光束。
图22A示出了具有被抬升的反射镜的双轴MEMS扫描仪的俯视图。
图22B示出了具有被抬升的反射镜的双轴MEMS扫描仪的剖视图。
图23A示出了图21的扫描反射镜，其在线性光电检测器阵列上扫描与注视点光源对应的静止光束。
图23B示出了光电检测器阵列，其包括模拟光电检测器阵列，其耦接有模拟移位寄存器。
图24示出了多元件光场显示器的框图。
图25A示出了双向光场显示器的光学设计的俯视图，具有5个元件宽度，具有输出射线。
图25B示出了双向光场显示器的光学设计的正视图，由10行构成，每行5个元件，具有输出光束。
图25C示出了双向光场显示器的光学设计的正视图，由5行构成，每行10个旋转的元件，具有输出光束。
图26示出了一行双向光场显示器的平面图，如图25B所示一样转动，每个元件生成与显示器之后的单一点光源对应的光束。
图27示出了一行双向光场显示器的平面图，如图25C所示一样转动，每个元件生成与显示器之后的单一点光源对应的光束。
图28示出了一行双向光场显示器的平面图，如图25B所示一样转动，每个元件生成与显示器之前的单一点光源对应的光束。
图29示出了一行双向光场显示器的平面图，如图25C所示一样转动，每个元件生成与显示器之前的单一点光源对应的光束。。
图30示出了多元件光场相机的框图。
图31A示出了双向光场显示器的光学设计的俯视图，具有5个元件宽度，具有输出光束。
图31B示出了双向光场显示器的光学设计的正视图，由10行构成，每行5个元件，具有输入光束。
图31C示出了双向光场显示器的光学设计的正视图，由5行构成，每行10个旋转的元件，具有输入光束。
图32示出了一行双向光场显示器的平面图，如图31B所示一样转动，每个元件捕获与显示器之前的单一点光源对应的光束。
图33示出了一行双向光场显示器的平面图，如图31C所示一样转动，每个元件捕获与显示器之前的单一点光源对应的光束。
图34A示出了振荡双向光场显示器的横截面侧视图。
图34B示出了振荡双向光场显示器的横截面侧视图，两个显示面板高。
图34C示出了振荡双向光场显示器的剖后视图。
图34D示出了振荡双向光场显示的横截面后视图，两个显示面板的高和宽。
图35A示出了振荡显示器在被直接驱动时垂直偏移随时间变化的曲线。
图35B示出了振荡显示器在被谐振第驱动时垂直偏移随时间变化的曲线。
图36示出了根据观众的凝视(gaze)控制光场相机的焦点的活动图。
图37示出了根据观众的注视点(fixation point)控制光场相机的焦点的活动图。
图38示出了用于从光场相机显示光场流的活动图。
图39示出了用于显示所捕获的光场的活动图。
图40示出了用于显示的合成光场的活动图。
图41示出了双向光场显示控制器的框图。
图42A示出了光场显示器的显示元件的眼睛定向(eye-directed)场。
图42B示出了光场显示器上的眼睛的中心凹注视(foveal)场。
图43示出了为具体观众所优化的双向光场显示控制器的框图。
参考标记简要说明
100 光场射线
102 光场边界
104 与光场边界的射线交点
110 光场视频
112 时间间隔
114 时间采样周期
116 光场帧
118 空间场
120 空间采样周期
122 光场视点图像
124 视场
126 角采样周期
128 光谱辐射率
130 光谱间隔
132 光谱采样基础
134 辐射率样本
136 深度
138 采样焦点
150 光传感器阵列
152 光传感器。
154 角度采样光束
156 角度采样滤波器针孔
158 图像平面
160 空间采样滤光透镜
162 空间采样光束
64  像点
166 4D采样光束
168 物点(object point)
170 物面
180 光发射器阵列
182 光发射器
184 角度重建光束
186 角度重建滤波器针孔
188 空间重建滤光透镜
190 空间重建光束
192 4D重建光束
200 光场显示器
202 显示输出光束
204 虚拟点光源
206 波阵面
210 光场显示元件
212 元件输出光束
220 光场相机
222 相机输入光束
224 真实点光源
230 光场相机元件
232 元件输入光束
240 观众眼睛
242 眼目物点
244 眼睛瞳孔
246 轴向输入光束
248 眼睛像点
250 观众
252 场景对象
254 显示元件焦点
256 观众注视点
258 观众眼睛物面
300 双向光场显示器
310 双向光场显示元件
320 网络
322 双向显示控制器
324 远程观众
326 远程观众的虚拟图像
328 本地观众
330 本地观众的虚拟图像
332 远程对象
334 远程对象的虚拟图像
336 本地对象
338 本地对象的虚拟图像
340 相机控制器
342 显示控制器
344 跟踪相机
400 第一正透镜
402 电极
404 可变负透镜凸部
406 可变负透镜
408 电极
410 线性偏振器
412 第二正透镜
414 输出/输入光束
416 第二可变负透镜
418 切换偏振旋转器
500 扫描输出光束
502 输出视点图像
504 行扫描仪
506 帧扫描仪
508 2D扫描仪
510 定时生成器
512 外部帧同步
514 帧同步
516 行(line)同步
518 采样时钟
520 辐射率控制器
522 光束生成器
524 辐射率调制器
526 输出焦点
528 输出焦点控制器
530 输出焦点调制器
540 颜色光束生成器
542 红色光束生成器
544 红色辐射率调制器
546 绿色光束生成器
548 绿色辐射率调制器
550 蓝光束生成器
552 蓝色辐射率调制器
554 第一光束组合器
556 第二光束组合器
600 扫描输入光束
602 输入视点图像
604 辐射率传感器
606 辐射率采样器
608 输入焦点
610 输入焦点控制器
612 输入焦点调制器
614 光束分离器
700 激光
702 角度重建滤波器
704 可变输出焦点
706 光束分离器
708 反射镜
710 双轴扫描反射镜
72  反射镜
714 可变输入焦点
716 不变(Fixed)输入焦点
718 孔径(Aperture)
720 光电探测器
730 角度重建滤波器小透镜
732 准直输出光束
734 角度重建小光束(beamlet)
740 双轴扫描仪平台
742 双轴扫描仪平台铰链
744 双轴扫描仪内框
746 双轴扫描仪内框铰链
748 双轴扫描仪外框
750 双轴扫描仪反射镜支柱
752 双轴扫描仪反射镜
760 固定输入光束
762 移位与累积光电检测器线性阵列
764 光电探测器线性阵列
766 光电探测器
768 模拟移位寄存器
770 模拟移位寄存器级
772 模拟数字转换器(ADC)
774 光束能量采样值
800 振荡显示面板
802 振荡显示器机架(chassis)
804 振荡显示帧
806 振荡显示器盖玻璃
808 支撑弹簧
810 面板上的弹簧支架
812 机架上的弹簧支架
814 致动器
816 杆
818 面板上的致动器支架
820 机架上的致动器支架
900 检测面部及眼睛
902 估算注视方向
904 发送眼睛的位置和注视方向
906 沿着注视方向自动对焦
908 估算注视点
910 发送眼睛的位置和注视点
912 在注视(fixation)平面上聚焦
920 捕获光场帧(frame)
922 传输光场帧
924 重新取样光场帧
926 显示光场帧
930 眼位置(数据存储器)
932 注视点(数据存储器)
934 光场视频(数据存储器)
936 重新取样具有的焦点光场帧
938 3D动画模型
940 渲染具有焦点光场帧
950 双向面板控制器
952 双向元件控制器
954 视点图像数据存储
956 双向元件控制器模块
958 2D图像数据存储
960 准直视点图像数据存储
962 网络接口
964 输入视频接口
966 输出视频接口
968 显示定时生成器
970 面板运动控制器
972 高速数据总线
980 显示元件场
982 显示元件眼睛场
984 中心凹注视场
986 局部视点图像数据存储
988 部分中心凹注视视点像数据存储
具体实施方式
光场参数
图1A示出了连续6D光场的代表性射线100，该射线在交点104处穿过所述感兴趣体积的边界102。射线100的辐射率(L)为时间(t)、边界位置(通过坐标x和y表示)、射线方向(通过角度a和b表示)以及波长(w)的函数。
尽管射线的辐射率只被严格限定在边界处，即在交叉点104处，但是由边界分隔的两个体积的透明度的额外知识可以允许射线的辐射率以任一方向进行外推。
辐射率是每单位面积的每单位立体角(solid angle)的辐射功率的测量值(以每平方米的每球面度瓦，W/SR/m2测量)。对于连续光场的无穷小射线，辐射率被定义为无穷小立体角和面积。
为了最终面向人的显示，辐射率通常使用与人类视觉系统的三色激励颜色响应的三元基函数(basis function)或与人类亮度响应相关的单一基函数被稀疏地采样。这些基函数确保在波长(w)纬度方面的适当带宽限制。为方便起见，在大多数分析中该波长纬度通常隐含给出。因此，6D光场变成5D光场。
时间维度(t)可以离散时间步长进行采样，以产生类似于传统视频序列的2D图像帧的4D光场帧序列。为了避免运动斑点，或者仅仅作为实用性的问题，在采样或产生视频时通常不向时间维度施加适当的频带限制，并且这可能会导致混叠(aliasing)。这通常通过以足够高的速率采样来得以改善。
在关于4D光场的文献中的参考(以及在适当情况下在本说明书中，)提到4D光场帧，即在特定实例中，在时间方面采用隐含波长维度来限定。
图1B示出了用于采样的，即离散的，6D光场，构成为光场视频110的类图。
光场视频110由按照时间(t)顺序排列的并在特定的时间间隔112上以特定的时间采样周期114捕获的一序列的光场帧116构成。
每个光场帧116由按照射线位置(x和y)的顺序排列的并在特定的空间场118上以特定的空间采样周期120捕获的光场视点图像122的阵列构成。
每个光场视点图像122由按照射线方向(a和b)的顺序排列的并在特定的视场124上以特定的角采样周期126捕获的光谱辐射率128的阵列构成。
每个光谱辐射率128由按照波长(w)排序的根据特定的光谱采样基础132在特定的光谱间隔130上捕获的辐射率(L)样本134的序列构成。光谱辐射率128具有可选深度136，如果已知的话，即场景的沿射线方向上的深度。光谱辐射率128还记录采样焦点138，通过该采样焦点可以捕获光谱辐射率128。深度136和采样焦点138将在下面进一步讨论。
每个辐射率样本134(L)记录标量(scalar)辐射率值。
在本说明书中，术语“光束”被用来指一束射线，尽管其特性会发生变化，但每个上下文中会进行修饰限制。
光场采样
图2A、2B、3A和3B示出了一种对连续光场进行带限和采样以获得离散光场的方法。
图2A示出的光传感器阵列150，其相对于特定射线位置104的射线方向对连续光场采样。该阵列150的每一个光传感器152采样特定射线方向，并集成(integrate)包围标称射线100的光束154。这种集成相对于射线方向实现了2D低通过滤。有效滤波器内核(kernel)是与光传感器152的空间范围对应的不理想的箱式滤波器。光传感器被理想地紧密地包裹以便确保足够的滤波器支持。角度采样光束154被聚焦在无穷小的针孔孔径156，它与边界102上的射线位置104重合。
光传感器阵列150位于平面158中，用参数射线方向角a和b来表示。
视场(angular field)124在角度采样滤波器针孔156处由光传感器阵列150所对着(subtend)的角度。角采样周期126，即角度采样率的倒数，是由光传感器152的中心到中心的间距所对着的角度。角度样本大小(即滤波器支持(filter support))是由光传感器152的范围所对着的角度。角样本计数等于由角采样周期126所划分的视场124，即光传感器152的数目。
图2B示出了在边界102处相对于射线的位置对连续光场进行采样的透镜阵列。该阵列的每个透镜160对特定射线位置进行采样，并且通过将光束聚焦到光传感器152上的点164来集成包围标称射线100的平行光束162。该集成相对于一个位置实现2D低通滤波。有效滤波器内核是与空间采样滤波器透镜160的孔径的空间范围对应的不理想的箱式滤波器。这些透镜被理想地紧密地包裹以确保足够的滤波器支持。
像距是从透镜160的第二主点(principal point)到像平面158的距离。
空间场118等于边界表面102的范围。空间采样周期120，即空间采样率的倒数，是空间采样滤波器透镜160的中心到中心的间距。空间样本大小(即滤波器支持)是透镜160的孔径的面积。空间样本计数等于由空间采样周期120所划分的空间场118，即透镜160的数量。
图3A示出了光传感器152的空间范围及的透镜160的孔径组合效果，其集成采样光束166以实现4D低通滤波，即同时相对于方向和位置实现4D低通滤波。有效滤波器内核是一个4D箱式滤波器，其提供合理的但非理想限带。当在空间上集成的光时，要做得比箱式滤波器好是很难的。
从光传感器152获得的标量值通常正比于辐射功率的时间积分，即辐射功率。它通过将其按照5D样本大小(即1D曝光周期，2D空间样本大小和2D角度样本大小)划分可以转换为辐射率样本134。
需要注意的是，为了清楚起见，光传感器152在图中的尺寸是夸大了的，并且该(在其它情况下平行的)光束166由于角度采样的发散因此也被夸张处理。
光场的低通滤波导致可见的斑点(blur)。
在该采样体系(sampling regime)中，斑点正比于光束166的直径。这有两个附件组分：角度采样斑点，其对应于角度采样滤波器，即图2A中的角度采样光束154的直径；以及空间采样斑点，其对应于空间采样滤波器，即图2B中的空间采样光束162的直径。
图3B示出了使用具有比图3A中的透镜160更高光学能力的透镜160聚焦在对象空间中的点168处的光束166。相应的物距是从物点168到透镜160的第一主点的距离。在物点168(并且一般的物面170上)处，空间采样斑点为零，并且光束直径只对应于角度采样斑点。
对象采样周期，即在物面170处的采样周期，等于角采样周期126乘以物距(角采样周期126的正切值)。
当物面170在无限远处时，则获得图3A的采样光束166。
采样光束166(或更恰当的空间采样光束162)的会聚角(convergenceangle)是在物点168处由透镜160的孔径所对着的角度。景深是指由包围(bracket)物点168的给定的阈值空间抽样斑点(或散焦斑点)所限定的深度间隔。会聚角越大，散焦斑点随着深度的变化就越快，并且景深就越浅(即间隔越短)。低于较短的物距和对于较大的孔径(即对应于较低的空间采样率)而言，景深相对较浅。
调整采样光束166的焦点使在一个深度处散焦斑点将以增加在其他深度处的散焦斑点为代价而将被消除。同时保持用于4D低通滤波器的适当支持。这使得散焦斑点将在光场的不同区域之间进行交易(trade)，这在斑点最小化在某些区域比其它区域(如，对应于物体表面区域)更重要时是非常有用的。
改变焦点不会影响视野或总的捕获的辐射率，因为每个透镜160基本上捕获同一组独立焦点的射线。
如果采样光束166被聚焦在无穷远(如图3A)，则其空间采样斑点是恒定的，并且对应于透镜160的孔径。由于角度采样斑点随着物距增加，这种恒定空间采样斑点的相对贡献随着距离减小。这表明，存在一个超过它则该角度采样斑点变得占据主导地位的阈值物距，并且在物距增加超出此阈值距离时通过聚焦取样光束166最大限度地减少斑点提供一种递减回报(return)。
光束166的焦点被记录在离散光场110，作为与光谱辐射率128相关联的采样焦点138。
可选深度136可以通过测距(range-finding)(下面讨论)来确定，并采样焦点138可以对应于深度136，如当光束166根据场景的度而被聚焦。
在所述4D光场的公知的双平面参数化中[Levoy 96]，在uv平面正好与光场边界102重合，并且st平面与物面170(或等同地，像面158)重合。所述st平面通常是固定，对应于定焦取样。
光场重建
用于捕捉离散光场110的包括每个样本的焦点138的采样体系被用作重建相应连续光场的基础。
连续物理4D光场使用4D低通滤波器根据离散的4D光场而重建。该过滤器可确保连续光场被带限为受带限的连续光场的频率内容，该离散光场从该连续光场采样获得。
图4A、4B、5A和5B示出了一种频带限制并根据离散光场重建连续光场方法。这些图分别镜像图2A、2B、3A和3B，并且在合适情况下，相同的参考标记用于对应的部分。
图4A示出了光发射器阵列180，其相对于特定射线位置104的射线方向重建连续光场。阵列180的每个光发射器182重建的特定射线方向，并生成围绕标称射线100的光束184。这种生成实现了相对于射线方向的2D低通过滤。有效滤波器内核是与光发射器182的空间范围对应的非理想箱式滤波器。该光发射器被理想地紧密包裹以确保足够的滤波器支持。角度重建光束184被聚焦在无穷小的针孔孔径186，它与边界102上的射线位置104重合。
图4B示出了在边界102处相对于射线位置重建连续光场的透镜阵列。该阵列的每个透镜188重建特定射线位置，并通过从光发射器182上的点164聚焦产生围绕标称射线100的平行光束190。这种产生实现了相对于该位置的2D低通过滤。有效滤波器内核是与透镜188的孔径的空间范围对应的非理想箱式滤波器。透镜被理想地紧密包裹以确保足够的滤波器支持。
图5A示出了光发射器182空间范围和透镜188的孔径的组合效果，其产生重建光束192，以实现4D低通滤波，即同时相对于方向和位置实现4D低通滤波。有效滤波器内核是4D箱式滤波器，其提供合理但非理想的带限。当在空间上生成光时，很难的做得比箱式滤波器好。
提供给光发射器182的标量值通常是正比于发射器功率。辐射率样本134通过将其乘以5D采样周期(即，1D时间采样周期114、2D空间采样周期120以及2D角采样周期126)以及将其除以发射器的实际导通(on-time)时间(其通常比所述时间采样周期114短)可转换发射器功率。注意，如果4D(空间和角度)重建滤波器支持小于4D采样周期，则相同的辐射功率被简单地经由更紧凑(compact)光束递送。
适当的4D重建依赖于在光发射器182的范围和透镜188的孔之间发射所有可能的射线的光发射器182。如果发射器182是漫射，这就得到满足。
图5B示出了使用具有比图5A中透镜188低的功率的透镜188从虚拟物点聚焦(到阵列180的左侧，并且在图5B中未示出，但与在图6B的物点168重合)的光束192。
当虚拟物面是在无限远处，则获得图5A中的光束192。
所述重建光束192(或更恰当，空间重建光束190)的发散角是在虚拟物点处由透镜188的孔径所对着的角度。重建光束192具有景深，由其发散角来确定，对应于图3B中的采样光束166的景深。
对每个采样焦点138调整重建光束192的焦点使其将与用于创建样本值的采样光束166匹配。
图5A和5B的重建光束192分别匹配图3A和3B的采样光束166，并且这是明确地示于图6A和6B，其中每个图的左侧示出了采样光束166而右侧示出了匹配重建光束192。
光场显示器
图7A示出了理想化的光场显示器200，其发射对应于构成非常简单的虚拟场景的两个虚拟点光源204的输出光束202。每个输出光束202构成球面波阵面206，每个波阵面起源于各自的点光源204。在显示器200的表面处的每个输出光束202的出射光瞳等同于整个显示器的范围。
为清楚起见，图7A仅示出了两个点光源204。在实践中，显示器200将从一组连续的点光源发射光束。另外，尽管未明确示出，每束光束202的辐射率的横截面可能是不均匀的。
对于位于光场显示器200前方的观众，显示器200将显得难以区别含有所述点光源204真实场景上的窗口。
虽然图7A示出了显示器200，其发射与位于显示器后面的虚拟点光源204对应的发散光束，但是显示器200也可以发射与位于显示器前面的虚拟点光源对应的会聚光束。
图7B示出了显示器200的实现方式，其被分割成连续的显示元件210的阵列，其中每个显示元件执行图5B中光发射器阵列180和透镜188在的重建功能。
所示的每个显示元件210发射对应于点光源204的输出光束212，即每个显示元件210以与整体显示器200相同的方式表现，但减小的出射光瞳等于显示元件210的范围。
图7B中由显示元件210射出的每个输出光束212在其各自的点光源204处被聚焦，从而在图7A中输出光束212相互毗邻(abut)而形成由整个显示器200射出较宽的输出光束202，具有同样的波阵面206。
所分段的光场显示器200被配置为直接显示离散的6D光场110。期间显示，显示器200的表面对应于与离散光场相关联的光场边界102，并且每个显示元件210的位置对应于边界上的采样位置104(x,y)。由显示元件发出的每束光束212的方向对应于采样方向(a,b)，并且每束光束212的平均辐射率对应于采样光谱辐射率128。每束光束212的焦点对应于采样焦点138。
因此，每个显示元件210在给定的时间内重新构建与单一的光场视点图像122对应的连续光场，并整个显示器200在给定的时间内重新构建与单一光场帧116对应的连续光场。显示器200从而随着时间的推移重建与离散6D光场视频110对应的的连续6D光学光场。
为清楚起见，图7B中所示的空间采样周期120是比较大的，而角采样周期126相对小一些。因此，其每一个与所述离散光场110内的单个光谱辐射率128相关联的输出光束212被示为恰好会聚在其各自的虚拟点光源204。在实践中，光束在一个有限的区域而不是在一个点会聚，即点光源与角采样周期126成比例的被形成斑点(blured)。
如从图7B中可清楚了解到，空间采样周期120越大，角度对象细节显示地越少，并且角采样周期126越大，则空间对象的细节显示得越少。前者表现为景深浅，而后者表现为斑点在物面内。
4D采样周期越小(即4D采样率越高)，则光场显示器的保真度越大。然而，对于固定数目的样本，能够以较浅的景深作为代价来减小物面斑点。
光场相机
图8A示出了理想化的光场相机220，其捕获与构成非常简单的真实场景两个实点光源224对应的输入光束222。每个输入光束222构成球面波阵面，每个都起源于各自的点光源224。每个输入光束222的在相机220的表面处的入口光瞳等于整个相机的范围。
为了清楚起见，图8A仅示出了两个点光源224。在实践中，相机220将捕获来自一组连续点光源的光束。另外，尽管未明确示出，每束光束222的辐射率的横截面可能是不均匀的。
图8B示出了相机220的实现方式，其被分割成连续的相机元件230的阵列，其中每个相机元件执行图3B中的光传感器阵列150和透镜160的采样功能。
所示的每个相机元件230捕获与点光源224对应的输入光束232，即每个相机元件230以与整个相机220相同的方式表现，但减小的入射光瞳等于相机元件230的范围。
由图8B中的相机元件230捕获的每个输入光束232在其相应的点光源224处被聚焦，从而输入光束232被抵接以形成被图8A中的整个相机220捕获的具有相同的波阵面的较宽的输入光束222。
所述分段的光场相机220被配置为直接获取离散6D光场110。在捕获期间，相机220的表面对应于与离散光场相关联光场边界102，并且每个相机元件230的位置对应于边界上的采样位置104(x,y)。由显示元件捕获的每束光束232的方向对应于采样方向(a,b)，并且每束光束232的平均辐射率被捕获作为光谱辐射率128。每束光束232的焦点对应于采样焦点138。
因此，每个相机元件230在给定的时间内采样与单一光场视点图像122对应的连续光场，并且整个相机220在给定的时间内采样与单一的光场帧116对应的连续光场。相机220由此随着时间采样与离散6D光场视频110对应的连续6D光学光场。
为清楚起见，图8B中所示的空间采样周期120相对较大，而角采样周期126相对较小。因此，其每个与所述离散光场110内的单个光谱辐射率128相关联的输入光束232被示为恰好会聚在其各自的实际点光源224处。在实践中，光束会聚于有限的区域而不是在一个点处，即点光源与角采样周期126成比例地形成斑点。
非平面光场边界
虽然这些图将与光场显示器200和光场相机220相关联的光场边界102现实成平坦的，但是实际上其可能呈现为任何方便的形状。
深度知觉
具有中央凹视力(foveal vision)的生物(如人类)通过转动眼睛(或多个眼睛)注视一个点，使得该点的图像被集中在视网膜的高密度的中央凹区域。这使得所感知的图像的清晰度最大化。当两个眼睛的视网膜图像在立体视处理过程中被精神上融合成单一图象时，眼睛会聚(或辐辏)的程度将一个重要线索(cue)提供给该注视点的绝对深度。
除了在注视期间转动一个或多个眼睛，生物也调整眼睛的晶状体的形状，以便使注视点聚焦在视网膜上。在该调节过程中，控制透镜的肌肉的状态将另一个重要线索提供给绝对深度。
人类适应性调节(accommodation)响应曲线显示了过度适应性调节到远刺激的和欠适应性调节到近刺激，在50cm左右的物距处具有典型的跨接(cross-over)(即完美适应性调节)，并且对于大于2-3米的物距具有0.5屈光度(2m)的典型最小响应[Ong 93、Palmer 99、Plainis 05]。然后，至关重要的是，人类视觉系统从未适当地适应性调节到远刺激。
辐辏和适应性调节响应紧密耦合，并且通过显示器提供的辐辏和适应性调节线索之间的不匹配会导致观众的不适[Hoffman 08]。
视差指的是从不同的视点观看时在对象的视位置(apparent position)的差，近距离的物体呈现比远处的物体更大的视差。由于视差导致的双眼视差支持在立体观测(stereopsis)期间的相对深度感知，即相对于绝对注视深度。运动视差甚至用一只眼睛支持相对深度感知。
聚焦光场的感知
如图7B所示，对应于一个点光源204的每束输出光束212其原点在该点光源，即光束212每条构成射线起源于起始于点光源204。等同地，该光束212的球形波阵面206的曲率中心在点光源204。这确保了观众在任何给定的光束212内和在交叉的多个光束212内正确地感知点光源204的视差，这导致准确双目视差和平滑的运动视差。物距越小，则每束光束212的发散就越大，并且光束内视差的存在就越重要。与此相反，定焦3D显示器仅提供不同视点之间的视差，并且在任何给定视点中提供不正确的(因此冲突的)视差。此外，自动分光立体显示通道常提供适度数量的视点，这导致近似双目视差和不连续运动视差。
光束212的正确地确定中心的球面波阵面206还允许观众适应性调节到对应点光源204的正确深度，这确保了观众的辐辏和适应性调节响应是一致的。这避免了与定焦3D显示器相关的辐辏-适应性调节的冲突。
使用相对高角度采样速率光场显示器将角度分辨率和空间采样速率分离开(decouple)(见下文)。这与典型的3D显示器相反，在典型的3D显示器中，所述空间采样速率确定角度显示分辨率。对于该显示器200，这允许空间采样速率比采用定焦3D显示器的低。对于给定的整体(4D)采样率，这又允许相对较高的角度采样速率。
当显示显示器后的特定物距(r)处的虚拟对象时以及在该显示器前方的特定距离(d)观看时，聚焦的光场显示器200的角度分辨率是在视点处由一个对象采样周期(h)(即，在物面上)所对着的角度(g)，即g＝h/r+d)(用于小g)。
对象采样周期(h)是角采样周期126(q)和物距(r)的函数，即h＝qr(用于小q)。因此，g＝qr/(r+d)。
因此角采样周期126(q)表示最小光场显示分辨率。当物距(r)接近无穷大或视距(d)接近零时(即在这两种情况下，当r/(r+d)接近1时)，显示分辨率以角采样周期126(q)收敛。
因此，通过配置其角采样周期126(q)以匹配眼睛的最大角度分辨率(约每度60个循环[Hartridge 22]，相当于约0.008度的角采样周期)，光场显示器200可以被配置为对于任何取景几何形状(viewing geometry)匹配所述人类感知限度。对于40度视野，这相当于4800个角度样本数。
当视距超过所述物距时，给定视距(d)和物距(r)的光场显示分辨率可显著超过角采样周期126(q)。例如，如果视距是物距的4倍，则显示分辨率为角采样周期126的5倍，并且，对于40度视场124来说，960个的角度采样计数足以匹配的人类感知限度。
如果角采样周期126(q)足够大的(诸如对于典型自动分光立体显示器而言)，那么空间采样周期120(s)确定角度显示分辨率(g)。角度分辨率(g)则为在显示器表面处由一个空间采样周期120(s)所对着的角度，即：g＝s/d(用于小g)。光场显示器的角度分辨率的完整方程是：g＝min(s/d,qr/(r+d))。
上述计算代表最好的情况，因为它们忽略不完美的人类调节性响应。光场显示器的感知分辨率可通过(至少部分地)使其焦点与对给定深度的刺激而不是深度本身的实际人类适应性调节响应相比配而得到改善。这可包括匹配个人观众的已知调节性响应(如果佩戴眼镜，则包括眼镜的效果)。然而，在聚焦时相对于所确定的合适深度的焦点的偏差(deviation)会导致视差错误(parallax error)，并且该视差错误会随着物距降低而增加。不过，随着物距增大，视差错误日益被角度采样斑点掩盖。那么，折衷方式将是选择一种超过它光场焦点则被固定的阈值物距。这将光场焦点体系划分为定焦远场体系和变焦近场体系。定焦远场阈值可以与通常的最低适应性调节响应(2m)一样近，或明显更大(包括，在极限中，无穷大)。
场景对焦和浏览器对焦的等价
图9A示出了位于虚拟点光源204的所重建的光场中的观众的眼睛240。该光场由分段的显示器200重建。眼睛在与虚拟点光源204重合的物点242处聚焦。被眼睛的瞳孔接纳的输入光束246，输出光束212的子光束，被聚焦到视网膜上的点248。因此视网膜上的点光源204的图像很清晰。
图9B示出了物点242，其现在比虚拟点光源204更靠近显示器200。对应于点光源204的图像点248现在是在视网膜的前面，并且在视网膜上的点光源的图像因此变模糊(blur)。这是理所应当的，即它匹配现实。
图9C示出了显示器200，其现在显示与被平移(translated)物点242重合的点光源的光场。输入光束246现在聚焦在物点242上而不是原来的点光源204上，，所以再次聚焦在视网膜上(在像点248处)。由于输入光束不是聚焦在点光源204，在视网膜上的点光源204的图像保持模糊(和图9B中的量相同)。这又是理所应当的。
为清楚起见，图9A至9C在眼睛240的光轴上仅示出了单个物点242。焦点的“平面”是所有这些点的轨迹地点(locus)，并且是大致球形表面，其半径等于该物距，中心在眼睛的第一节点处。
在图9B和9C中观众所感觉到等效情况表示有用于显示聚焦光场的两种有用的操作模式。在第一模式中，显示器被聚焦在场景中的对象上。在第二模式中，显示器根据观众的焦点而被聚焦。
光场显示聚焦策略
基于场景聚焦的优点在于所述重建光场本质上是多观众。一个缺点是，场景的深度必须是已知的或已确定的(下文讨论)。另一个缺点是，输出焦点可能需要对每个样本进行改变，需要快速焦点切换。另外，需要对每个样本选择单个深度，并且当在采样光束中存在显著深度变化时这可能需要折衷。
如果显示元件210的焦点调制率明显比所述采样率低，那么可以通过多个显示通道(pass)支持多个深度，即每个深度一通道。那么对每一通道根据与该通道中的相应的场景深度调整每个显示元件210的输出焦点。但是，因为视点图像122内不同深度的数量通常大于显示通道的实际数量，支持给定的显示元件的深度的集合很可能是一种折衷方案。选择该深度组的一种方法是估计显示元件的视点图像122中的所有深度范围，并且随后识别最常见的深度簇。随后使用深度加权混合(blending)来显示中间深度[Hoffman 08]。
观众专用(viewer-specific)聚焦的优点时可以相对缓慢地改变焦点，并且单个样本中的深度变化被内在地正确处理。缺点是所述重建光场是针对专门观众的，并且该观众因此必须被跟踪。它附加缺点是光场必须用正确的焦点捕获(或合成)，或在显示之前被重新聚焦。
所重聚焦的光场的锐度(sharpness)可以通过每个方向(a,b)记录多个光谱辐射率样本128而得到提高，每个方向具有不同的采样焦点138。，如果每个采样焦点138无论是直接或经由透射或反射的路径对应于采样光束166之内的实际物深，锐度都会特别地增加。
每个显示元件210的观众专用光场视点图像122对于每个方向通过对该方向穿过物点242(或更适当地，盘)并穿过该显示元件的孔径的所有射线进行集成而获得。当光场110经由光场相机220被捕获时，相应地该集成可通过聚焦每个相机元件230来进行。
随后，在观众专用的聚焦模式中，观众的注视点不断跟踪，并且每个显示元件110被单独控制以发射根据注视点的深度聚焦的观众专用光场。
可以通过多个显示通道支持多个观众，即每位观众一通道。可替代地，显示器焦点可以由单个用户控制，并且其它用户可以被动地观看处于该焦点处的显示器，即他们将以相同的方式观看定焦光场显示。
在混合模式下，一个或多个显示通道可以是观众专用的，而一个或多个附加的显示通道可以是基于场景的。例如，三个显示通道可以被用来提供观众专用通道，有限焦点通道用于近场景内容，而无限焦点通道用于远场景内容。
在优化的观众专用显示通道期间，输出仅在观众的方向上产生，如下面关于图42A进一步讨论。这意味着根据显示元件210的执行情况观众专用显示通道仅对目标观众可见，并可能只消耗帧周期的一小部分。
观众专用显示通道通常将利用少于10％的视场124，并且如果显示元件210正进行扫描(如在下面进一步详细描述的)，则至少在一个维度上，显示通道将仅仅消耗帧周期的对应几分之一。下面，持续时间减小的观众专用帧被称为子帧以后。
与其中所显示的内容是观众专用的传统的头部跟踪的3D显示器不同，以观众专用模式操作的光场显示器200采用观众专用焦点显示与不依赖观众的内容。如果观众改变了他们的注视点或者相对于显示器移动，则显示焦点可能需要被更新，但这可能相对缓慢地发生，因为观众总是被置于有效的(如果没有必然完全最优的)重建光场中，并且人的适应性调节响应相对较慢(即几百毫秒的量级)。
观众专用聚焦模式
图10A到10D示出了用于显示的观众专用光场两种策略。
图10A示出了观众250，其凝视发射与由多个对象252构成虚拟场景对应的光场的光场显示器200。包含在显示器200中或与显示器200相关联的跟踪系统跟踪观众250的面部，并因此跟踪观众的两只眼睛240的位置。
图10B示出了其中一个眼睛240中的位置，其被用于确定通过每个显示元件210的观看方向，并因此对每一个观察方向确定与场景对象252的交点254。其中显示了每个显示元件的焦点根据相应的交点254的深度设置。
图10C示出了跟踪系统，其用于跟踪观众的两只眼睛240每只的凝视方向，并因此估计其注视点256。假定注视和适应性调节是同步的，则因为它们是在正常环境下，因此观众的焦点可以根据注视点256的深度来估计。
图10D示出了其中一只眼睛240的根据注视点256的深度估计得出的焦点的平面以及对于每个观察方向与该焦点的平面的交叉点254。每个显示元件的焦点再次显示为根据相应的交点254的深度设置。
如图10B所示的第一观众专用模式表示混合模式，其依赖于场景深度信息和面部部检测，但不需要注视估计。它被称为基于位置的观众专用聚焦模式。
如图10C和10D所的示第二观众专用模式不依赖于场景深度信息，但并确实需要注视估计。它被称为注视定向观众专用聚焦模式。
尽管图10D是出了根据个人眼睛240的位置设定的输出焦点，对于与与分离的眼睛的距离相比较大的注视(fixation)深度，在两只眼睛之间特定显示元件210的输出焦点不同足够小，使得平均输出焦点在单个显示通道期间可以被用于服务于两只眼睛。但是，对于相应的眼睛，有助于一个或另一只眼睛中的中央凹视力的任何显示元件210应被聚焦(如稍后关于图42B在本说明书中所述)。
基于位置和凝视定向对焦模式是互补的。凝视定向模式产生更精确的焦点，但依赖于视线估计，其随着观众和显示器之间的距离的增加而逐渐变得不易处理。基于位置的模式依赖于面部检测，这在更大距离上保持易处理(tractable)，并且基于位置的场景聚焦的准确性随距离而增大，因为由显示元件210所对的角度随距离减小。
因此这两种模式可以被协同(in tandem)使用，其中操作模式根据显示和观众之间的距离针对每个观众分别进行选择。
聚焦策略的选择
一种合适聚焦策略取决于如何使用显示器，即观众的数量、器典型视距以及所显示的场景的性质。它也取决于光场显示器200的特定实现的能力，特别是在聚焦调制率方面的能力。
最小的观看物距是最小显示物距和最小视距的总和。如果最小观看物距比远场阈值大，则单个定焦显示通道就足够了。
如果最小显示物距比远场阈值大，则远场体系不依赖于视距适用，并且观众不需要被跟踪。例如，显示器200可以将窗口模拟到遥远外部场景上。
如果最小显示的物距比远场阈值小，则近场体系适用与任何最小观看物距比远场阈值小的地方，并且观众可能需要被跟踪。
如果光场显示器200的焦点调制率匹配时间采样速率，则不依赖于观众的近场光场可以在单次通道中显示。
如果光场显示器200被用作近眼显示器(NED)，则只有单个观看眼睛。视线定向观众专用对焦模式可例如基于根据两只眼睛的聚散度推断的注视深度被有效地使用，并且聚焦调制率只需匹配相对缓慢人类适应性调节机构，这需要花费几百毫秒来进行重新聚焦(小于4赫兹)。
如果光场显示器200被用于由多个相对接近观众，则视线定向观众专用焦点的多个通道可以被有效地利用。
如果显示器200支持子帧，则在单个帧持续时间期间可以形成多个显示通道。如果不是，则显示通道的数目由时间采样周期114与帧持续时间之间的比率来限制(假设从感知上时间采样周期114作为基础并因此不能妥协)。
如果眼睛专用的子帧周期是Teye，焦点切换时间为Tfocus，帧周期是Tframe，全帧通道的数量是Nfull，并且时间采样周期114为Ts，则眼睛专用通道的可用数量Neye由下式给出：Neye＝floor((Ts-(Tframe*Nfull))/(Tfocus+Teye))。
为了说明的目的，假定帧周期Tframe是取样周期Ts的一半。在眼睛专用的通道的数量Neye是零时，这容许两个全帧通道，并且在全帧通道的数量Nfull是1时，眼睛专用通道的以下数量：Neye＝floor(Tframe/(Tfocus+Teye))，因此，Tfocus＝(Tframe/Neye)-eye。
为了说明的目的，进一步假设眼睛专用通道的所需数量Teye是4，并且假设该子帧的持续时间是Teye为Tframe的10％。则最大允许焦点切换时间Tfocus由下式给出：Tfocus＝Tframe*0.15。
假设帧速率为100Hz，即帧周期Tframe为10ms(对应于20ms(50Hz)的时间采样周期Ts 114)，这相当于1.5ms的焦点切换的时间Tfocus。假定帧速率为200Hz，它等同于750us的焦点切换时间Tfocus。
如果显示元件210正在扫描，并且假定观众相对于显示器200水平分布，则有利的是将快速扫描方向分配给显示器的垂直维度，以允许在单个显示通道期间(假设焦点切换足够快)焦点将水平(即在慢扫描方向上)改变。这允许在单个(全帧)显示通道期间创建多个眼睛专用聚焦区域，并提供形成多个观众专用子帧显示通道的替代方式。
在光场相机220的捕获期间的聚焦策略的选择遵循如上针对由光场显示器200的显示所述的相同原理。这包括根据光场显示器200中的一个或多个观众的位置和/或视线调节捕获焦点，即如果相机220正在捕获正被光场显示器200实时显示的光场，如下面更详细地讨论的。
深度估计
与光谱辐射率128相关的可选深度136记录采样光束166内的场景深度。在采样光束中存在例如由于部分遮挡(occlusion)、透明度或反射导致显著深度变化时，它可以代表一种折衷。例如，它可以代表沿着名义采样射线100到第一足够不透明表面的深度。可替代地，如以上所讨论的，对每个方向(a,b)可记录多个深度136。
深度136可被用于多种目的，通常包括采用基于场景的聚焦显示所述光场(如上面所述)，估计观众(在下面讨论)的注视点，光场压缩(下面讨论)，以及基于深度处理和交互。
当光场110是合成的时，也就是根据三维模型生成的时，场景的深度是已知的。当光场110由真实场景捕获时，深度可以通过测距来确定。
测距可以是主动的，例如基于时间-飞行测量[Kolb 09,Oggier 11]，或被动的，如基于影像差异[Szeliski 99,Seitz 06,Lazaros 08]或散焦斑点[Watanabe96]。它也可以基于主动和被动技术的组合[Kolb09]。下面进一步讨论测距。
双向光场显示器
由于两个装置的应用对称性和操作对称性，在单个装置中结合光场显示器200和光场相机220的功能是有利的。这样的装置在下文称作双向光场显示器。
图11示出了经由网络320连接的一对双向光场显示器300。每个双向光场显示器300被分成连续的双向光场显示元件310的阵列，其每一个执行光场显示元件210和光场相机元件220的功能。
该图在顶部显示了与远程双向光场显示器300交互的远程观众324和在底部显示了与本地双向光场显示器300交互的本地观众328。每个双向显示器300由各自的显示控制器322控制，在本说明书后面会更详细地描述。
远程观众324是伴随有远程对象332，而本地观众328伴随本地对象336。本地观众328显示为凝视远程对象332的虚像334，而远程观众324显示为凝视本地对象336的虚像338。远程显示器300还显示本地观众的虚像330而本地显示器300显示远程观众324的虚像326。
每个观众可以使用经由双向显示器300(或经由单独的跟踪相机，下面将讨论)捕获的视点图像122通过它们各自的双向显示器300的显示控制器322被跟踪。如先前描述的(并且在下面进一步将更详细的描述)，每个观众的面部位置或视线方向可以用来控制相应的双向光场显示器300的捕获焦点。
使用一对双向光场显示器300而不是传统显示器和相机能够显著提高远程观众324和当地观众328之间的沟通，提供强烈的共同存在感。例如，每个观众可以确定其它观众正在寻找或定位，并且可以将对象提起以靠近双向显示器300的表面用于其他观众进行精密检查。
图11还清楚地表明，如果两个双向显示器300背靠背安装，则它们充当虚拟双向窗口作用，也就是说，它们(以及其间的空间)变得有效不可见。
图12在顶部示出了单向配置，由远程光场相机220构成，以及在底部示出了经由网络320连接的本地光场显示器200。
该图在底部显示了观看显示器200的本地观众328。光场相机220通过相机控制器340控制，而光场显示器200由显示控制器342控制。所述控制器将在本说明书中后面更详细地描述。
远程场景包含远程对象332，并且本地观众328显示为凝视远程对象332的虚像334。
观众328可以使用经由连接到控制器342的两个或多个跟踪相机344拍摄的图像通过显示控制器342被跟踪。如前所述，观众的面部位置或视线方向可以用来控制光场相机220的捕获焦点。
在本说明书的剩余部分，任何对光场显示器200(和光场的显示元件210)的参引都应被视为等同于双向光场显示器300(以及双向光场显示元件310)的显示功能，反之亦然。同样，对光场相机220(和光场相机元件230)任何提及都应被视为等同于双向光场显示器300(以及双向光场显示元件310)的相机功能，反之亦然。
面部检测和凝视估计
如上所述，光场显示器200可以使用对观众位置和视线方向了解来生成观众专用输出光场，包括采用观众专用焦点和观众专用视场角。
取决于观众和光场显示器200之间的距离，显示器可以变化地利用对观众三维位置的知识、观众眼睛的位置、眼睛的注视线、眼睛的注视(fixation)深度以及眼睛的注视点的了解来生成观众专用输出。在观众相对接近显示器时，观众的视线方向仅可以以有用精度被估算，而即使当观众远离显示器时观众面部和眼睛的位置也可以以有用精度被估算。
在数字图像中的鲁棒和高速的面部检测通常是基于在面部部数据库上被训练的分类器级联[Jones 06]。多面检测器可以被一起训练和使用以便覆盖大范围的头部姿势[Jones 03]。
近似的眼睛检测通常是内置于面部检测中，并且可以在面部检测之后估算更准确的眼睛位置[HansenI O]。检测也很容易扩展到面部和眼睛其它有用的功能，包括眉毛、鼻子、嘴巴、眼皮、巩膜、虹膜和瞳孔[Betke 00,Lienhart03,Hansen 10]。
使用来自两个或多个校准的跟踪相机344或来自用于跟踪的两个或更多个光场相机元件230(如位于光场相机220的角部)的图像，对来自多台相机的图像进行面部检测和随后的特征检测以获得在三个维度发那个面特征位置的估计值。使用多个跟踪相机还提供了对潜在观众的位置和姿势的更好的覆盖。特征位置还可以由通过主动测距获得深度数据来估计(如以上所述)。
为了注视估计，显示器200包括多个近红外(NIR)光源，以允许每个眼睛的注视线根据其光瞳的位置和在其角膜上的每个光源的镜面反射(闪烁)的位置之间的差来估计。[Shih 00，Duchowski 07，Hansen 10]。NIR光源可以仅在交替的视频帧上被通电以协助图像中的其反射的检测[Amir 03]。为了协助瞳孔检测，显示器200可以包括附加NIR光源，设置在跟踪相机1的轴线上或接近跟踪相机1的轴线，以产生通过每个眼睛的瞳孔的明亮视网膜反射。这种光源可在交替视频帧上被通电成产生闪烁(glint)的光源。
眼睛的注视线对应于眼睛光轴，而视线的理想线是由稍微偏离轴线的中央凹的视网膜位置来确定的。
视线可使用中央凹的位置的估计根据视线的线路来估计。中央凹的位置可以假定(例如基于人口数据)，或者可以通过校准来估算。明确的校准通常需要观众注视一组目标。隐含的校准依赖于观众凝视已知场景点时的推断。对每个观看会话可以重新执行校准，或可以存储校准数据并在观众与显示器交互时进行检索。例如，它可以基于识别所述观众的面部来检索[Turk 92,Hua11]，或者它可以基于另一种形式的识别机构，诸如由观众提供的凭证。
观众的注视点可以根据观众的两只眼睛的视线的交点来估计。在观众很可能正注视在场景的表面点的假设下，注视点可以使用对场景深度的了解被精细化。可替代地，注视深度可根据两行的视线的辐辏估计，无需估计明确注视点。
作为使用NIR照射的主动注视估计的替代方式，注视估计可以是被动的，即只基于在环境照度下的观众的眼睛的图像[Hansen 10]。这依赖于估算诸如眼角、眼睑、巩膜和虹膜(角膜缘)之间的边界以及瞳孔相对于头部的整体姿势的关键特征的相对位置和形状。被动注视估计通常不如主动注视估计准确。
为了主动和被动的注视估计的目的，显示器200可包括附加的可操控的窄视野(narrow-field-of-view(FOV))跟踪相机344，用于获得了观众眼睛的更加精细的图像。所选择的相机元件230，如果正在扫描，也可以通过缩窄和对准它们的角度视野被用作可操纵的窄视野跟踪相机。
双向光场显示器实施例
在一个优选的实施方案中，分段的双向光场显示器300捕获并显示光场视频110，即连续的光场帧116，并且以足够短的时间采样周期114进行操作以便最小化或消除所感知的闪烁(flicker)，即，理想的情况下以至少60赫兹(峰值临界闪烁融合(CFF)频率)的帧速率操作。
在本说明书的其余部分中，作为一个启发性的实例，并且为了说明性的考虑的目的，使用了具有以下参数的双向光场显示器300：10ms的时间采样周期114(即，100Hz的帧速率为，假设每个时间采样周期一帧)、2mm的空间采样周期120、1000mm宽乘以500mm高的空间场118(即显示器表面的范围)、因此500乘以250的空间采样计数、0.04度的角采样周期126、40度乘以40度的视场、因此1000乘1000的角度样本计数、RGB光谱采样基础132以及12比特辐射率134样本。
该说明性双向显示器300的配置在每个方向(即显示和捕捉)具有4E13辐射率样本的吞吐。
需要注意的是，许多应用程序允许显著降低帧速率、采样周期和样本数量。
显示亮度和电源
白天陆地天空的亮度范围高达约10,000cd/m∧2(坎德拉每平方米)，其等于大约15W/sr/m∧2的辐射率(在可见光谱中)。使用说明性显示器配置再现这一点等同于每个显示元件310约20uW(微瓦)的输出功率，以及等同于整个显示器300的约3W的总输出功率。通常的室内光源可具有更大数量级的亮度，即100,000cd/m∧2，等同于每个显示元件200uW以及等同于整个显示器的30W。
超过显示器300的最大辐射率的任何辐射率样本134可被剪除(clamp)，或者所有辐射率值可以在可用的范围内进行调整。
基于阵列的双向光场显示元件
图13A和13B示出双向光场显示器300的双向光场显示元件310的一个实施例的示意图。
双向元件310包括由透明的光发射器阵列180所覆盖的光传感器阵列150。聚焦由第一定焦正透镜400、变焦负透镜406以及第二定焦正透镜412提供。
变焦负透镜406可以是任何合适的具有可控焦点的透镜，如在本说明书中稍后针对扫描光场显示元件更详细所述的那样。
图13A和13B所示的变焦负透镜406包括夹在凹面和平面之间的向列液晶单元。所述凹面由相邻的凸部404形成。该液晶是双折射的(birefringent)，其中平行于导向器(director)偏振的光经历更高(特别的)折射率(n1e)而垂直导向器偏振的光经历较低的(普通)折射率(n1o)。为了便于说明，使用1.5的普通折射率和1.8的特别折射率，这是代表市售的液晶材料的参数，例如Merck E44。
该液晶单元还夹在一对透明电极402和408(例如ITO)之间。如图13A所示，当没有电压施加在电极上时，导向器(由图中的小椭圆的定向表示)遵循水平摩擦(rubbing)方向。如图13B所示，当施加饱和电压时，导向器变得与所施加的场垂直对准。
凸部404的折射率(n2)近似匹配于液晶的普通折射率(n1o)。因此，当饱和电压被施加时，变焦透镜406的光学能力(power)接近于零，而在时不施加电压时，变焦透镜406的(负)光学能力处于最大值，作为这两个折射率(n1e和n2)之间的差和凸部404的曲率的函数。中间电压被用来选择这些极端情况之间焦值。
当变焦透镜406的(负)光学能力为最大时，双向元件310生成图13A的发散光束。当透镜光学能力为最小时，双向元件310生成图13B的会聚光束。
液晶变焦透镜406与线性偏振器410一起工作，这确保了只有平行于默认导向器偏振的光(图13A)穿进或穿出双向显示元件310，即只有被变焦透镜406聚焦的光。
作为结合线性偏振器410使用单个液晶变焦透镜406的替代方式，具有垂直摩擦方向的两个液晶变焦透镜可以被用来聚焦所有偏振的光[Berreman80]。
定焦功率正透镜400和412的组合光学能力相对变焦负透镜406的光学能力保持平衡，以产生如图13A和图13B分别所示从短负向短正的聚焦范围。
在元件310的双向使用期间，显示和捕获可以是时间复用的，其中每帧被划分为(相对较长)显示间隔和(相对较短)捕获间隔，其中变焦透镜406在每个间隔之前被适当地重新聚焦。
如图14A和14B所示，如果变焦透镜406快得不足以每帧被重新聚焦两次，则可以使用具有垂直摩擦方向的一对变焦距透镜406和416，其中一个专用于显示聚焦而另一个专用于捕获聚焦。在这种情况下，快速切换偏振旋转器418[SharpOO]可用于选择性地将光偏振旋转为0或90度，并且因此在显示和捕获焦点之间选择。
图14A示出了第一变焦透镜406，其主动(active)准直的用于显示的光束414。图14B显示了第二可变对焦镜头416，其主动(active)准直用于捕获的光束414。为清楚起见，图中示出了未使用的变焦透镜(406或416)，其由于施加饱和电压而变得不工作。然而，在实践中，未使用的透镜实际上是由于不工作由偏振旋转器418而变得不工作的，使得施加到其上的电压无关。
光传感器阵列150的每个光传感器152最好是有源(active)像素传感器(APS)[Fossum 04]，使得整个阵列在捕获间隔期间可被同时曝光，并且随后被读出。
对于彩色应用，光发射器阵列180的每个光发射器182优选是全色发射器，诸如一叠红色、绿色和蓝色OLED[Aziz 10]；并且每个光传感器152可以是全彩色传感器，诸如传感器堆叠[Merrill 05]、或具有颜色滤波器的传感器阵列。此外，每个光发射器182和光传感器152可以利用任何下面相对于扫描光场显示元件所讨论的实施选项。
每个光发射器182和/或光传感器152也可以如下面相对于扫描光场显示元件所述的支持飞行时间测距。
变焦透镜406和416显示为具有非均匀的间隙，从而允许使用简单电极。由于液晶旋转的速度随着间隙尺寸减小而减小，可采用均匀间隙来增加旋转速度，尽管这必然使用多段电极[Lin 11]。
使用基于阵列的光场的显示元件有几个缺点。由于每个光发射器182通常是漫射发射器，因此所生成的光仅有一部分通过显示元件的出射光瞳被实际射出。由于发射器阵列180的尺寸是由空间采样周期120限制的(因为这限制了显示元件的宽度)，因此角度样本的数目可以被过分限制。并且假设对透镜的复杂性的实际限制被用于聚焦来自显示元件的输出(以及到双向显示元件输入)，也难以实现高离轴光束质量。
在下面描述的扫描显示元件210、扫描相机元件230以及扫描双向显示元件310中，这些限制可以避免。
扫描光场显示元件
图15示出了光场显示器200的光场显示元件210的扫描实施例的框图。
显示元件210跨越2D视场124以两维光栅方式扫描光500的输出光束，并且对于每个方向(a,b)调制该光束，以产生在输出光场视点图像502中指定的期望的辐射率134，该输出光场视点图像502是光场视频110的视点图像122。
在单个脉冲(下面所述)的持续时间上，光束500对应于图7B中特定的输出光束212，并对应于图5B中的重建光束192。
扫描显示元件210依赖于视觉暂留以在整个校对视野124上诱导连续光学光场的感知。
光束500被快速行扫描仪504沿着行方向(以100kHz的示例性的行速率)扫描，以及被慢速帧扫描仪506沿着垂直(帧)方向(以100Hz的示例性帧速率)扫描。
快速行扫描仪504和慢速帧扫描仪506可以是单独的，或者组合在2D(双轴)扫描仪中。
扫描仪由定时生成器510控制，定时生成器510本身是由被与其它显示元件210共享的外部帧同步信号512控制。帧扫描仪506是由从外部帧同步信号512导出的帧同步信号514控制的，而该行扫描仪504由行同步信号516来控制。
辐射率控制器520控制输出光束的辐射率。在来自定时生成器510的采样时钟518的控制下，其从输出视点图像502读取下一个辐射率值134，并产生信号以控制所述输出束的辐射率。
如果快速扫描仪504的角度扫描速度是依赖性度角的(例如，因为该快扫描仪为谐振)，则定时生成器510相应地调整采样时钟518，以确保恒定的角采样周期126。
光束生成器522产生光束，并且通常响应于来自所述辐射率控制器520的光束功率信号，辐射率调制器524调制该光束的辐射率。实施选择如下所述。
脉冲持续时间应该匹配角采样周期126，以确保适当的重建。如果使用(相应高功率的)短脉冲，则可以光学地实现适当的重建，如下面针对图20所描述的。
如更早所述，所需光束功率通过将所需的辐射率134乘以5D采样周期(即1D时间采样周期114、2D空间采样周期120以及2D角采样周期126)以及将其除以该脉冲持续时间而获得。
脉冲持续时间通过将角采样周期126乘以快速扫描仪504的角度扫描速度而获得。如果角度扫描速度是依赖角度的(例如，因为该快扫描仪是谐振的)，则脉冲持续时间也是依赖角度的。
经扫描的输出光束500可以根据输出聚焦源526被聚焦。输出聚焦源526可包括聚焦值阵列，每个聚焦值与光束方向相关联，即对应于与光谱辐射率128相关联的采样焦点138。或者，它可包括可从一帧改变到下一帧(或以某一其它速率)的单个聚焦值。输出聚焦控制器528检索聚焦值(或下一个聚焦值，由来自定时生成器510的采样时钟518控制)，并产生信号来控制输出光束的聚焦。
输出焦点调制器530根据来自输出聚焦控制器528的信号调制该光束的焦点。实施选择如下所述。如果显示器200只被需要在定焦远场体系中操作，则输出焦点调制器530可以赋予光束固定聚焦，也就是说，它可以构成简单的定焦镜头。
显示元件210可选地包含多个光束生成器522和辐射率调制器524，以同时产生多个相邻的光束500。
光束生成器
光束生成器522可以是单色的，但是更有效地是多色的。图16示出了多色光束生成器和辐射率调制器组件540的框图，其取代图15的光束生成器522和辐射率调制器524。
多色光束生成器和辐射率调制器组件540包括红色光束生成器542和调制器辐射率544、绿色光束生成器546和调制器辐射率548以及蓝色光束生成器550和调制器辐射率552。每个辐射率调制器响应于来自图15中所示的辐射率控制器520相应信号。经调制的红色和绿色光束经光束组合器554组合。所得光束经由光束组合器556与调制的蓝色光束组合。光束组合器可以是能够以高效率组合不同波长的光束的分色(dichroic)光束组合器。为了使得可再现色域(reproducible gamut)最大化，红、绿和蓝光束生成器542、546和550理想地分别具有接近450nm、540nm和605nm原色波长的中心波长[Brill98]。
光束生成器522(或光束生成器542、546和550)可包括任何合适的光发射器，包括激光[Sveltol O]、激光二极管、光二极管(LED)、荧光灯以及白炽灯。除非发射器在本质上是窄带(例如，发射器是激光器、激光二极管或者LED)，所述光束生成器可包含颜色滤波器(未示出)。除非所发射的光在整个光束宽度上以足够均匀功率被准直(collimate)，该光束生成器可包括常规的准直光学器件、光束扩展光学器件和/或光束成形光学器件(未示出)。
辐射率调制器524可以是光束生成器522(或光束生成器542、546和550)内在特征。例如，光束生成器可以是半导体激光器，其允许其功率和脉冲持续时间直接通过调制其驱动电流而被调制。
如果辐射率调制器524不同于光束生成器，则光束生成器明显(或其光发射器)可在若干显示元件310之间共享。例如，一些显示元件可以共享一盏灯，或可以通过全息光束扩展器[Shechter 02，Simmonds 11]共享单一激光源。
每个颜色光发射器可以使用半导体激光器特别有效地实现，诸如垂直腔表面发射激光器(VCSEL)[Lu 09,Higuchi 10,Kasahara 11]。VCSEL产生低发散圆形光束，其只需要最低的光束扩散。
经由二次谐波产生(SHG)[Svelto 10]倍频提供了一种用于指导以目标波长发射激光的替代方式。
辐射率调制器
如果辐射率调制器524不同于光束生成器，则它可以由任何合适的高速光阀或调制器构成，包括声光调制器[Chang 96,Saleh 07]和电光调制器[Maserjian 89,Saleh 07]。在后一种情况下，它可以利用Franz-Keldysh(弗朗兹-凯尔迪什)效应或量子限制Stark(斯塔克)效应来调制的吸收，或者利用Pockels(泡克尔斯)效应或Kerr(克尔)效应来调制折射并因而调制偏转。辐射率调制器可以包括光学元件(未示出)以便在调制之前和/或后来操纵光束，即，以便优化光束和调制器的耦合(例如，如果在调制器之前和/或之后在调制器的实际光圈和光束宽度之间存在不匹配)。
如果调制是二进制，则中间辐射率可通过在时间上高频振动(dither)光束来选择，即通过在整个名义脉冲持续时间上以与所需的功率成正比的占空比伪随机地打开和关闭光阀。高频振动降低了重建光场中的人工因素(artifact)。
对于示例性显示器配置，所需辐射率调制速率为100MHz(或一个数量级以上，如果调制为二进制的话)。两个声光以及电光调制器支持这个速率，如光束生成器固有的调制器一样。
焦点调制器
输出焦点调制器530可以利用任何合适的变焦透镜，包括液晶透镜[Berreman 80,Kowel 86,Naumov 99,Lin 11]、液体透镜[Berge 07]、可变形薄膜反射镜[Nishio09]、可变形薄膜充液透镜[Fang 08]、可寻址透镜堆叠[Love 09]和电光透镜(例如利用该Pockels效应或Kerr效应来调制折射)[Shibaguchi92,Saleh 07,Jacob 07,Imai 11]。
可寻址透镜堆叠[Love 09]由一叠N个双折射透镜构成，其中每个具有不同光学能力(例如，是其前身光学能力的一半)，并各自前面有一个快速偏振旋转器(例如[Sharp 00])。二进制旋转器的2∧Ν个可能的设置产生相应数量的聚焦设置。例如，10个透镜得到1024个聚焦设置。
快偏振旋转器也可用于在一小部分变焦透镜中选择(如关于图14A和14B所述)。这样透镜由一叠N个变量焦双折射透镜构成，每个前面有一个快速偏振旋转器。在某一时刻启动一对旋转器来选择由该对旋转器所支撑(bracket)变焦透镜(第一转动体选择透镜；第二转动体取消选择后续透镜)。这使得即使在变焦透镜本身相对较慢的情况下也能够实现在可变焦点设置之间的快速切换。该堆叠中的每个变焦透镜随后可以被专用于一个显示通道(其可以是观众专用的或场景专用的)，并且这些旋转器可用于轮流地为迅速地每个显示通道选择合适的透镜的。该堆叠可选择性地包括最后一个透镜之后的附加旋转器以便例如在光学路径包含偏振敏感下游元件的情况下使得光束的最终偏振为恒定。
对于示例性显示器配置，所需焦点调制速率是支持每个样本(per-sample)焦点的100MHz、支持多个单焦点显示通道的适度多个100Hz(例如，用于多个观众)、以及支持单个观众视线定向焦点的大约4Hz。所有的上述变焦透镜的技术支持4Hz焦点调制率。利用偏振旋转器的透镜堆叠支持超过1kHz的调制速率。电光透镜支持超过100MHz的调制速率。
行和帧扫描仪
快速行扫描仪504和慢速帧扫描仪506每一个利用任何合适的扫描或光束控制机构，包括(微)机电扫描反射镜[Neukermans 97，Gerhard 00，Bernstein02，Yan06]、可寻址偏转器堆叠(“数字光偏转器”)[Titus 99]、声光扫描仪[Vallese 70,Kobayashi 91,Saleh 07]和电光扫描仪[Saleh 07,Naganuma 09,Nakamura 10]。
大多数扫描仪技术可以支持100Hz的示例性帧速率。快速扫描仪技术，诸如微机电共振扫描仪和电光扫描仪，可支持100kHz的示例性行速率。
如果快速行扫描仪504是谐振的，则它可以监视(或以其它方式确定)其自身的角度位置，并向定时生成器510提供角度位置的信息，以协助该定时生成器生成准确的采样时钟518。
微机电扫描仪提供扫描频率和视场的特别好的组合，并且稍后在本说明书中更详细地描述。
扫描光场相机元件
图17示出了光场相机220的光场相机元件230的扫描实施例的框图。
相机元件230在2D视场124上以二维光栅方式扫描光600的输入光束，并且对每个方向(a,b)对该光束进行采样以产生所述输入光场视点图像602中期望的辐射率134，所述输入光场视点图像602是一种光场视频110的视点图像122。
在(下面将讨论到的)单个的曝光的持续时间器件，光束600对应于图8B中的特定输入光束232，并且对应于图3B中的取样光束166。
光束600沿着行方向(以示例性行速率)被快速行扫描仪504扫描，并且，并且沿着垂直(帧)方向(100Hz的示例性帧速率)被缓慢帧扫描仪506扫描。
上面针对扫描显示元件210描述了对扫描仪的实施方式选择。
该扫描仪是由定时生成器510控制的，该定时生成器510本身是由其被其它相机单元230共享的外部帧同步信号512控制的。帧扫描仪506是通过从外部帧同步信号512导出的帧同步信号514控制的，而该行扫描仪504由行同步信号516来控制。
该辐射率传感器604感测的光束的辐射率，或更典型地，感测代表辐射率的量，诸如如光束能量(即，在时间上积分的光束功率)。实施选择如下所述。
由来自定时生成器510的采样时钟518控制的辐射率采样器606采样来自辐射率传感器604的辐射率-代表值(例如光束能量)，并且将其转换为线性或非线性的(例如，对数的)辐射率值134，将其写入所述输入视点图像602。实施选择如下所述。
如更早前所述，辐射率134可以通过将所采样的光束能量值除以5D样本大小(即，1D曝光持续时间、2D空间样本大小和2D角度样本大小)来获得。
标称最大样本曝光持续时间通过将角采样周期126除以快速扫描仪504的角度扫描速度而获得。如果角度扫描速度是依赖角度的(例如，因为该快扫描仪是谐振的)，则曝光持续时间也是依赖角度的。
为了提高所捕获辐射率134的信噪比，可以通过使用如下针对图23A和图23B描述的传感器阵列增加有效曝光持续时间以超过标称最大曝光持续时间。
为了确保适当的带宽限制，辐射率传感器604名义上有匹配角采样周期126的有效的(active)空间范围。但是，当与最大样本曝光持续时间耦合时，这会在快速扫描方向产生斑点。为了避免这种斑点，或者是曝光持续时间需要降低，或者是传感器604在快速扫描方向上的空间范围需要减小。后一种方法可以通过使用窄光电检测器的线性阵列实现传感器604来实现，如下面针对图23A和图23B所描述的那样。
被扫描的输入光束600可以根据输入的焦点点光源608被聚焦。输入焦点点光源608可包括聚焦值的阵列，每个聚焦值与光束方向相关联，即对应于与光谱辐射率128相关联的采样焦点138。或者，它可包括单个聚焦值，其可以在一帧到下一帧之间有不同(或以某些其它速率改变)。输入焦点控制器610检索聚焦值(或下一个聚焦值，由来自定时生成器510的采样时钟518控制)，并产生信号以控制所述输入光束的聚焦。
输入焦点调制器612根据来自输入焦点控制器610的信号调制该光束的焦点。用于输入焦点调制612的实施选择与如上所述用于输出焦点调制器530的实施选择相同。如果相机220只需要以定焦操作远场体系操作，则输入焦点调制器612可赋予这些光束固定聚焦，也就是说，它可以由简单的定焦镜头构成。
辐射率传感器
辐射率传感器604可以是单色的，但是更有用的是多色的。如果是多色的，它可以利用层叠颜色传感器[Merrill 05]，或具有滤色器的传感器阵列。
该传感器604可以包括任何合适的一个或多个光电检测器，包括在在光电导或光致电压模式下操作的光电二极管、光电晶体管以及光敏电阻器。
所述传感器604可包含模拟存储器和曝光控制电路[Fossum 04]。
辐射率采样器
辐射率取样606可包含具有合适的采样率和精度任何模拟-数字转换器(ADC)，通常具有流水线结构[Levinson 96,Bright 00,Xiaobo 10]。对于示例性显示器配置，采样率是100Msamples/s(100M样本/秒)，并且精度为12比特。采样器606可包含多个ADC以便并行地转换多个颜色信道，或者它可以通过单个ADC时分复用多个颜色信道的转换。它也可以利用多个ADC以支持特定的采样速率。
采样器606可包括可编程增益放大器(PGA)，以允许所感测的值在转换之前将被偏移和缩放。
所感测的值到辐射率134的转换可在模拟-数字转换之前或之后进行。
飞行时间测距
光场相机220可选地被配置来执行飞行时间(ToF)测距[Kolb 09]。随后相机包括一个或多个光发射器，用于采用ToF-编码的光照射场景。ToF-编码的光被场景反射并在每个采样周期被每个相机单元230检测和转换成深度。
该辐射率传感器604和辐射率采样器606可被配置成通过包含用来测量出射光的编码和入射光的编码之间的相位差来执行ToF测距[Kolb 09,Oggier11]。
当被配置为执行ToF测距时，采样器606每个采样周期将所估计的深度136写入输入视点图像602。
该ToF-编码光理想地是不可视的，如近红外(NIR)。传感器604可以使用也被用来感测可见光的光电检测器，或者传感器604可以包括用于ToF-编码光的专用光电检测器。
作为供一个或多个ToF-编码光发射器的替代相机提，每个相机元件230，如果还被配置成显示元件210(见下文)，可以发射其自己的ToF-编码光。光束生成器522可以包括用于ToF-编码光的光发射器，诸如NIR光发射器。
如果必要话，面部检测可以用来禁用对会发射ToF光进入眼睛的任何样本(x,y,a,b)的ToF测距。
扫描双向光场的显示元件
图18示出了双向光场显示器300的扫描双向光场显示元件310的框图。它组合了在图15和图17分别示出的光场显示元件210和光场相机元件230的功能。
在所述扫描双向光场显示元件310中，行扫描仪504、帧扫描仪506以及定时生成器510在显示器和元件的相机功能之间被共享。
光束分离器614用于分离输出和输入光路。它可以是任何合适的光束分离器，包括偏振光束分离器(以下进一步讨论)和半镀银(或形成图案)的反射镜。
在扫描双向光场显示元件310中，显示和捕获同时发生，除了当视场124在其可以在现实和捕获之间显著变化时是基于可视性之外(如稍后在本说明书中所讨论的)。
扫描双向光场显示元件的光学设计
图19A示出了扫描双向光场显示元件310的光学设计的平面图。被跟踪的射线显示来了操作的输出光路，即该元件产生输出光束500。图19B示出了相应的正视图。
双向元件的高度是空间采样周期120。双向元件310的宽度大约为空间采样周期120的两倍。
其中，该光学设计被示为具有特定组件选择，需要注意的是，它可以用其它等同组件来实现，诸如在前面章节中所述的组件。这包括使用反射组件代替发射组件，反之亦然。
用于输出光路的该设计目标是产生输出光束500，使其对于一个给定的方向(a,b)正确地重建所述(限带的)连续光场的对应4D切片。
激光700被用于产生宽度以尽可能接近与空间采样周期120的准直光束500。光束在被激光700生成后可以(通过未示出的附加组件)被扩展和/或成形。激光700实现了前面章节所描述的光束生成器522。
角度重建滤波器702被用来诱发在输出光束中等于角采样周期126的扩散。角度重建滤波器702将在下面针对图20更详细讨论。
变焦透镜704被用来控制输出光束的聚焦。它实现了输出焦点调制器530。
光束分离器706被用来分割输出和输入光路。它实现了光束分离器614。
固定反射镜708将输出光束偏转到在接下来的部分中描述的双轴扫描反射镜710。扫描反射镜710扫描横跨视场124的输出光束500。它同时实现了该行的扫描仪504和帧扫描仪506。
作为替代方案，该双轴扫描功能可以使用两个单独的单轴扫描反射镜来实现。在这种结构中，固定反射镜708被替换为快单轴扫描反射镜(它实现行扫描仪504)，而双轴扫描反射镜710被替换为相对较慢的单轴扫描反射镜(它实现帧扫描仪506)。
图19A示出了双轴扫描反射镜710，并因此示出了处于对应于视场124的中心和两个极端的三个不同角度的输出光束500。
角度重建滤波器702可使用(可能椭圆形的)扩散器[Qi05]、或使用如图20所示的小透镜730的阵列来实现。角度重建滤波器的目的是在输出光束中诱导等于角采样周期126的扩散，并且小透镜730的使用允许扩散角度得到精确控制。每个小透镜730作用在输入光束732上以产生一个聚焦输出子光束(beamlet)734。由于输入光束732被准直，所诱导的扩散角度是在小透镜的焦点处由小透镜730的直径对着的角度。为了解耦所诱导的扩散与由下游变焦透镜704所诱导的光束聚焦，小透镜730的焦点位置理想地被放置在变焦透镜704的(至少近似)第一主面。
小透镜730的数字越大，作为各个子光束734的总和的整体的输出光束越均匀。各小透镜730的直径越小，其诱导同一扩展角所需焦距就越短，因此角度重建滤波器702和变焦透镜704之间所需的间隙就越小。在实践中，小透镜730的阵列可以被模制成所述变焦透镜704的表面。
如果该输出脉冲的持续时间匹配角采样周期126(并且在快速扫描方向上扫描是连续的而不是离散的)，那么输出光束扩散角在快速扫描方向上已经是正确的，并扩散只需要在慢速扫描方向被诱导。在这种情况下，每个小透镜730可为沿着与慢速扫描方向垂直的方向定向的圆柱形透镜。
图21A示出了双向光场显示元件310的光学设计的平面图。所跟踪的射线显示了操作中的输入光路，即该元件正在采样输入光束600。图21B是出了相应的正视图。
用于输入光路的设计目标是采样输入光束600，使其对于一个给定的方向(a,b)正确地过滤连续光场的相应的4D切片。
该双轴扫描反射镜710(或一对单轴扫描反射镜)扫描穿过视场124的输入光束600，如上针对输出光路所述。
固定反射镜708和分光镜706将入射光束偏转到固定镜712，其偏转通过变焦透镜714的光束。
变焦透镜714用来控制输入光束的聚焦。它实现了输入焦点调制器612。
变焦透镜714在定焦镜头716之后，其经由孔径718将(名义上准直的)输入光束聚焦到光电检测器720上。光电探测器720实现了辐射率传感器604。
为颜色感测，光电检测器720可以由光电检测器堆叠[Merrill 05]或具有彩色滤波器的光电检测器阵列构成。
激光器700可以产生基本上偏振光束(即，因为包括偏振Brewster(布鲁斯特)窗口作为其出口反射镜)，在这种情况下，这对用于将正进行偏振的光束分离器706是非常有效，即基于偏振分离输出和输入光束[vonGunten 97]。
此外，如果该变焦透镜704和714是双折射的(例如，它们是液晶透镜)，则它们只需要作用于各自的光束偏振，并因此被简化。即使激光700本质上不产生高度偏振的光束，它也可包含或后面跟有用于此目的的偏振器(未示出)。
双轴扫描反射镜
单轴微机电(MEMS)扫描仪通常包括由一对完全弹性扭转铰链连接到框架上的反射镜，并且经由该反射镜和驱动器之间的静电、磁性或电容性耦合绕着铰链转动。在双轴MEMS扫描仪[Neukermans 97]中，保持所述反射镜的内框架经由垂直于反射镜铰链的另一对铰链连接于固定外框架，使内框架被驱动以便垂直于所述反射镜旋转。所述反射镜通常被谐振地驱动而内框架则不是。
在典型的双轴MEMS扫描仪中内框架和外框架包围所述反射镜，因此该反射镜的面积是该装置的覆盖面积(footprint)的一小部分。这使得这种装置对用于其中扫描仪的相对孔径重要的光场显示器中而言并非最优。这可以通过将反射镜提高到扫描机构之上得到改善，如在数字微镜设备(DMD)[Hornbeck 96，DiCarlo 06]中的做法一样。
图22A示出了示例双轴MEMS扫描仪710的平面图，其具有升高的反射镜，但除此之外，都是传统设计[Neukermans 97,Gerhard 00,Bernstein 02,Yan06]。中央平台740通过扭转铰链742连接到内部框架744。内框架744通过垂直布置的扭转铰链746连接到固定外框架748。中央平台740被驱动以绕铰链742旋转，而内框架744被驱动沿着垂直方向围绕铰链746旋转。，安装在平台740上的支柱750保持反射752(示出了轮廓)升高在扫描机构的上面。
图22B示出了双轴MEMS扫描仪710的剖视正视，示出了由支柱750升高到扫描机构上方的反射镜752。选择将反射镜752升高到扫描机构的上方是为了提供(accommodate)最大扫描角。
图22B没有示出的驱动机构，其可以是如上所述的任何常规设计。举例来说，中央平台740可以包括线圈，其用于传导交变电流，因此产生随时间变化的磁场，其与平台(未示出)下面的永久磁体的磁场相互作用，以产生所需的随时间变化的扭矩。同样地，内框架744可包含线圈，其场与永久磁体的磁场相互作用。
对于本发明的目的，为支持示例性行速率，中央平台740被谐振地驱动[Turner 05]，并实现了快速行扫描仪504，而内框架744被直接驱动并实现了慢速帧扫描仪506。
如前面所提到的，与扫描仪710相关联的控制逻辑可以监视(或以其它方式确定)中央平台740在谐振扫描方向的角度位置[Melville 97,Champion12]，以协助定时生成器510产生准确的采样时钟518。
使用光电检测器阵列的延伸曝光持续时间
在扫描过程中单个光场样本的标称曝光持续时间由角采样周期126限定，并因此可能会非常短。然而，也可以平行于快速扫描方向部署线性光电检测器阵列，以代替单个光电检测器720，以便延长曝光持续时间。
如上所述，图21A示出了扫描反射镜710，其扫描穿过视场124的移动输入光束600。等同地，通过不包括多余的光学部件的简化配置，图23A示出了所述扫描反射镜710，其扫描穿过光电检测器的对应于固定点光源224的静止光束760，在此，光电检测器由包括M光电检测器的线性光电检测器阵列762替代。
如果以静止光束760跨过它被扫描的精确速率从线性光电检测器阵列762获取样本，则来自M个光电检测器的M个时间连续的样本可以求和以便得到采样值，其具有比标称曝光持续时间长M倍的有效曝光持续时间。
如图23A所示，线性光电检测器阵列762覆盖了视场角M个样本宽，代表M个连续的采样时钟518的周期。在给定的时间t，这些样本对应于从时间t减去M/2到时间t加M/2范围的时间，而M个连续样本在任何给定的时间被并行累计。
为了在使用线性光电检测器阵列762时避免晕光(vignetting)，视场124必须减少M倍的角采样周期126。
尽管样本读出和求和可以使用数字逻辑进行，但是相对高的采样时钟速率518(例如，对示例性配置为100MHz)激发了模拟设计。
为此，图23B示出了光电检测器阵列762，其包括与模拟移位寄存器768耦接的模拟光电检测器阵列764。输入采样时钟518的每个周期，移位寄存器768都被上移，并且来自每个光电检测器766的值被添加到相应的移位寄存器级770。移入第一(底部)移位寄存器级770的值是零。移出最后一个(顶部)移位寄存器级770的值经由模拟-数字转换器(ADC)772被转换成光束能量数字采样值774。这反过来又被转换为如先前所描述的辐射率134。该ADC 772可以是如前所述的任何合适的ADC。
尽管模拟光电检测器阵列764和模拟移位寄存器768可以是不同的，但是在一些实际的实施方式中它们可以被紧密地集成在一起。例如，如果斗链式器件(BBD)[Sangster 77,Patel 78]被用作模拟移位寄存器768，则光电二极管766可以直接集成到其存储节点770中。并且如果线性电荷耦合器件(CCD)[Tompsett 78]被用作模拟光电探测器阵列764，则它也可以本质地被操作为模拟移位寄存器768。
模拟光电检测器阵列764与模拟移位寄存器实现768分开实现，例如作为有源象素传感器(APS)的标准阵列[Fossum 04]，并且模拟移位寄存器例如可以实现为标准斗链式设备(BBD)，其增加了第三时钟信号来控制电荷从所述光电检测器阵列764的转移。
有效曝光持续时间可以通过在慢扫描方向上累积样本而进一步提高。这是通过部署M'个线性光电检测器762的阵列实现，以同时捕获M'个相邻行的样本。在捕获期间，M'个样本值774随后在采样时钟518的每个周期产生，而不是在一个周期产生，并且每个这样的样本774(一旦被转换为辐射率)被添加到输入试图图像602中的与其对应的辐射率134。总辐射率134通过将其除以M'而被缩放到更长的曝光持续时间。
对于示例性显示器配置，设置值M＝M'＝100(即视场124的每个1/10)得到100us的曝光持续时间。
除了增加有效曝光持续时间，所述线性光电检测器阵列742还可用于通过每角采样周期126包含K倍个更窄的光电检测器746(和移位寄存器级770)以及对整个装置计时K倍个采样时钟518来捕获更清晰的样本。插入最后一个移位寄存器级770与ADC 772之间的附加的模拟存储节点随后用于累加K个连续模拟样本，其中组合的值被数字化并根据采样时钟518被读出。
正如辐射率传感器604(以及光电探测器720)可配置用于ToF测距，因此光电探测器阵列762也可以。例如，如果ToF测距是基于相位测量[Kolb 09，Oggier 11]，则光电检测器阵列762可以被配置为并行地累积相位样本。
双向光场显示元件的阵列
图24示出了在显示模式下操作的双向光场显示元件310的阵列的简化框图。2D扫描仪508代表1D行扫描仪504和1D帧扫描仪506。
图25A示出了在显示模式下操作的一行双向光场显示器300的光学设计的平面图。该显示器由双向光场显示元件310的阵列构成，其中每个产生输出光束500。该阵列显示为处于单个时间瞬间，每束光束指向同一方向上。每束光束具有相同的略微发散焦点。
图25B示出了显示器300的相应正视图。连续显示元件310旋转180度以提高输出的均匀性
图25C示出了旋转90度前部正视。
为清楚起见，图25A、25B和25C只示出了少数双向显示元件310。在实践中，双向光场显示器300可以包含任何数量的元件310，例如，数量为几千或几百万个。对于示例性配置，它包含了125,000个显示元件。
图26示出了显示器300的一行的平面图，如图25B所示被旋转，其中每个元件310因此在其扫描周期期间的不同时间产生对应于显示器背后的单个点光源的光束500。在输出中间隙是由于显示元件310相对于该空间采样周期120中双宽度导致的。
图27示出了显示器300的一行的平面图，如图25C所示被旋转，其中每个元件310在其扫描周期期间的不同时间产生对应于显示器背后一个点光源的光束500。在图26所示的输出的间隙现在基本上消除，因为显示元件310被旋转，使得它们的宽度匹配空间采样周期120。
图28示出了显示器300的一行的平面图，如图25B所示被旋转，其中每个元件310在其扫描周期的不同时间产生与在显示屏器前面的一个点光源204相对应的光束500。输出中的间隙又是由于显示元件310相对于该空间采样周期120中双宽度导致的。
图29示出了显示器300的一个行的平面图，如图25C所示被旋转，其中每个元件310因此在其扫描周期期间的不同时间产生与在显示屏的前面的一个点光源204对应的光束500。
图28中示出的输出中的间隙现在基本上消除，由于显示元件310被旋转，使得它们的宽度匹配了空间采样周期120。
图30示出了在相机模式下操作的双向光场显示元件310的阵列的简化框图。
图31A示出了在相机模式下运行的双向光场显示器300的一行的光学设计的平面图。该显示器由双向光场显示元件310的阵列构成，其中每个捕获输入光束600。该阵列显示为处于单个时间瞬间，每束光束指向同一方向。每束光束具有相同的略微收敛焦点。
图31示出了显示器300的相应正视图。连续显示元件310旋转180度，以提高输入的均匀性。
图31C示出了旋转90度正视图。
图32示出了显示器300的一个行的平面图，如图31B所示被旋转，每个元件310因此在其扫描周期期间的不同时间产生与在显示屏的前面的一个点光源224相对应的光束600。在输入中的间隙是由于显示元件310相对于该空间采样周期120中双宽度导致的。
图33示出了显示器300的一行的平面图，如图31C所示被旋转，其中每个元件310因此在其扫描周期期间的不同时间产生与在显示屏的前面的一个点光源224相对应的光束600。在图32所示的输入的间隙现在基本上消除，因为显示元件310被旋转使得它们的宽度匹配空间采样周期120。
振荡显示器
如关于图26、图28和图32所述，在输出和输入的间隙是由于显示元件310相对于该空间采样周期120中双宽度导致的。这可以通过在两个分开的具有一个空间采样周期120的距离的位置之间振荡双向显示元件310的阵列并且在每个位置显示和/或捕获半个光场帧116而得到改善。
更一般地，除了在两个位置之一处显示(或捕获)二分之一帧，还可以在一个空间维度或两个空间维度中在N个位置之一处显示(或捕捉)1/N帧。
在一般情况下，显示元件310的视场124受到由光束宽度与元件宽度之比的限制。相对于所述元件的宽度减少光束宽度允许更大视场124，但需要更高的N值。
图34A示出了双向光场显示器300的剖视侧视图，适合于垂直振动双向显示器元件的阵列310。
该显示器300包括可移动地连接到机架802上的显示面板800。显示面板800包括双向显示元件310的阵列。框架804被附连到所述机架802，该框架包围面板800并保持保护面板800的透明盖玻璃806。
显示板800通过离合杆簧(set spring)808可移动地连接到机架802上，每个离合杆簧连接于在面板800的背面的托架(bracket)810和机架802上的匹配托架812。
显示面板800经由驱动杆816的致动器814而垂直移动。所述杆816被连接到在面板800的背面的托架818并且致动器被连接到机架802上的匹配托架820。
致动器814可以是适合于以期望的速率(如100Hz)将所述面板800的重量(weight)移动期望的量(例如，2mm)的任何致动器。例如，它可以包括作用在嵌在杆816中的磁体上载流线圈[Petersen 82，Hirabayashi 95]。
图34B示出了双向光场显示器300的相同剖视侧视图，但在垂直方向包含两个相邻显示面板800而不是只有一个。
图34C和图34D示出了剖视后视图，分别对应于图34A和图34B。图34D示出了显示器300，装有四个相邻显示面板800中，每个维度2个。这图释了更大的显示器300可以如何以模块化的方式根据多个较小的面板800构造而成。
所述震荡的显示器300被设计成其使其面板800在一帧周期(即一个时间取样周期114)内在两个距离为一个空间采样周期120的分离垂直位置之间摆动。
在一种操作模式中，致动器814被用于直接确定面板800的垂直偏移。面板800随后尽可能快递从从一个极端垂直偏移位移动到另一个，并且一旦面板800就位就显示(或捕获)下半帧。显示占空比则是致动器的速度的函数。致动器越快，占空比越高。图35A中通过垂直偏移随时间变化的曲线图释了这种模式。
在操作中的另一种模式中，弹簧808的弹簧常数被选择，使它们与面板800形成具有期望频率的振荡器。致动器814然后被用于驱动具有期望频率的振荡器。与直接驱动相比，这需要不那么强大的致动器，并且在操作过程功耗更低。
谐波振荡的缺点是，显示器800遵循图35B中所示的正弦路径，并且因此只暂时固定在极端垂直偏移位。因此需要在占空比和垂直运动斑点之间进行一个折衷。占空比越低，斑点越低，尽管有利地，斑点比占空比由于正弦减小得更迅速。举例而言，图35B示出了67％的占空比，对应于50％的垂直运动，也就是，25％的运动斑点的直径。
如果该振荡是谐波并且显示元件310正在扫描，则快速扫描方向理想地是与振荡轴线对齐，以使得振荡和扫描之间的相互作用最小化。
谐波振荡器的频率与弹簧808的弹簧常数与面板800的质量比率的平方根成比例。因为弹簧常数和质量都是附加的(additive)，因此频率与创建显示器300的面板800的数目无关。
作为使用振荡来合并由单一显示器所产生的两个半帧的光场的替代方式，可以通过通过光束组合器(例如，半镀银玻璃板)来组合由两个显示器产生的光场。
光场的实时捕捉和显示
在一个重要使用情形(use-case)中，如图11和图12所示以及以上所述，光场显示器200实时地接收并显示来自(可能是远程的)光场相机220的光场。
如上所述，管理如何捕捉焦点部分依赖于可用焦点调制率。
图36示出了显示控制器342和相机控制器340的活动图，其基于所述观众的位置(以及可选择地观众视线方向)协作地控制聚焦。
所述的显示控制器342周期性地检测观众的(或几个观众中的每一个的)面部和眼睛(在步骤900处)，还可选择地估计观众的视线方向(在步骤902处)，并将所述眼睛的位置(以及可选择地观众视线方向)发送到相机控制器340(在步骤904处)。
相机控制器340接收到所述眼睛位置(以及可选择地观众视线方向)，并且相应地自动聚焦(在步骤906处)。自动聚焦可以依赖于基于由测距(如上所述)获得的深度清楚地设置焦点，或依赖于传统的自动聚焦技术，诸如在来自邻近摄像元件230的图像之间的相位检测，或依赖于两者的组合，该自动聚焦在希望的方向自适应地调整聚焦以使得图像清晰度最大化。
如果相机控制器340仅接收眼睛位置，则其可基于所述眼睛的位置推断出每个相机元件230一对可能的注视方向。这实现早前相对图10B所述的基于位置的观众专用聚焦模式。如果相机控制器340接收到视线方向的估计值，则其可以直接使用该估计值。这实现早前针对图10C和图10D所述的视线定向的观众专用聚焦模式。
如果相机支持每个样本自动对焦，则这最自然地基于每个样本深度136，并且眼睛位置或所估计的视线方向都不需要。如果相机支持每帧(或每个子帧)聚焦调制，则自动对焦可基于所估计的或所推断出的注视方向。
如先前所讨论的，如果眼睛的位置被用来推断每个相机元件230的可能的注视方向，则单独的显示通道(以及因此捕获通道)被理想地用于每只眼睛。
在一般情况下，由于自动对焦可能跨越多个帧，因此当有多个捕获通道时(例如，对应于多个观众或眼睛时)，对每个通道必须在几个帧上保留自动对焦环境(context)。
图37示出了用于显示控制器342和相机控制器340的活动图，其基于观众的注视点(或注视深度)协作地控制聚焦。这再次实现早前相对图10C和图10D所述的视线定向的观众专用聚焦模式。
所述的显示控制器342周期性地检测观众的(或几个观众中的每一个的)面部和眼睛(在步骤900处)，估计观众的注视点(或深度)(在步骤908处)，并将眼睛的位置和所述注视点(或深度)发送给相机控制器340(在步骤910处)。显示控制器342可结合在入射光场视频110中的样本深度136基于观众的视线方向、基于用户眼睛的聚散度(vergence)、或者基于两者的组合，估计注视点(或深度)。
图38示出了用于相机控制器340和显示控制器342的活动图，其协作地实时捕捉和显示光场帧116的序列。
相机控制器340周期性地捕获光场帧(在步骤920处)，并将其发送到显示控制器342(在步骤922处)。显示控制器342接收并任选地重新采样光场帧(在步骤924处)，并最后显示光场帧(在步骤926处)。在下面进一步讨论重新采样。
重新采样步骤924可选地使用本地捕获的光场帧，以便虚拟地(virtually)照亮远程捕获的光场帧所代表的场景。如果远程捕获的光场帧116包含深度136，这是通过射线追踪直接进行(以下讨论)。
先前捕获的光场视频的显示
在另一个重要使用情形中，双向光场显示器300显示先前捕获的光场图像。
图39示出了用于双向显示控制器322的活动图，其显示光场视频110。
图中示出了两个并行的活动：在左侧的面部检测活动和在右边的显示活动。
面部检测活动周期性地检测观众(或几个观众的每一个)的面部和眼睛(在步骤900处)，在数据存储器中930存储眼睛的位置，估计观众的注视点(或深度)(在步骤908处)，并在数据存储器932中存储该注视点(或深度)。控制器结合在源光场视频110中的样本深度136(存储在数据存储器934中)基于观众的注视方向或基于用户的眼睛的聚散度或者基于以上两者的组合，估计注视点(或深度)。
显示活动定期显示(在步骤926处)光场视频110的下一个光场帧116。它显示之前任意地重新采样光场(在步骤936处)，以便专门匹配到所估计的注视平面的聚焦。这又实现早前针对图10C和图10D所描述的视线定向观众专用聚焦模式。
显示活动选择性捕获光场帧116(在步骤920)，这使得随后的重新采样步骤(在步骤936处)使用所捕获的光场帧虚拟地(virtually)照亮光场视频所代表的场景。如果光场视频110包含深度136，这是通过射线追踪直接进行的。它允许入射在显示器300上的实际环境光照照亮视频中的场景，并允许双向显示器(包括观众)可见的真实物体能够通过虚拟对象被被反映在虚拟场景中。
两个平行的活动是异步的，并且通常具有不同的周期。例如，面部部检测活动可以在10Hz运行，而显示活动可以在100Hz上运行。这两个活动通过共享数据存储器通信。光场视频根据3D动画模型显示。
在又一个重要使用例子中，双向光场显示器300根据3D动画模型生成并显示光场视频。
图40示出了用于双向显示控制器322的活动图，其根据3D动画模型产生并显示光场视频110。
图中示出了两个并行的活动：在左侧的面部检测活动和在右边的显示活动。
面部检测活动周期性地检测(或几个观众的每一个)观众的面部和眼睛(在步骤900处)，在数据存储器中930存储眼睛的位置，估计观众的注视点(或深度)(在步骤908处)，并在数据存储器932中存储该注视点(或深度)。控制器结合根据3D动画模型确定的深度信息(存储在数据存储器938中)基于观众的注视方向或基于用户的眼睛的聚散度或者基于以上两者的组合，估计注视点(或深度)。
显示活动根据3动画模型周期性地渲染(在步骤940处)和显示(在步骤926处)下一个光场帧116。在渲染过程中，它匹配到估计固定平面焦点。这再次实现前面针对图10C和图10D所描述的视线定向观众专用聚焦模式。
渲染光场帧116通过射线追踪直接进行[Levoy 96,Levoy 00]。如图3B所示，每个光谱辐射率128可以通过从相应的(现在虚拟的)光传感器152开始跟踪对采样光束166进行采样的一组射线以及确定每条射线与3D模型的相互作用来生成[Glassner 89]。这些射线理想的的是被选择来4D随机地(stochastically)采样光束166，以避免与定期采样相关联的低频认为因素。射线密度也可自适应地匹配场景复杂度，以减少混叠(aliasing)。
两个平行的活动是异步的，并且通常具有不同的周期。例如，面部部检测活动可以在10Hz的运行，而显示活动可以在100Hz上运行。这两个活动通过共享数据存储而通信。
虽然渲染步骤940显示为由双向显示控制器322执行，它也可以通过与双向显示控制器322通信的一个单独计算装置执行
显示活动选择性地捕获(在步骤920处)光场帧116，允许随后的渲染步骤(在步骤940处)使用所捕获的光场帧虚拟地照亮了由3D动画模型代表的场景。这又是在射线追踪器件直接进行的。它允许入射在显示器300上的实际环境光照点亮虚拟场景，并且它允许双向显示器(包括观众)可见的的真实物体被虚拟对象反射在虚拟场景中。
观众的视线可以在其所遇到的每个虚拟表面被反射以获得实际的注视点262(如图10C所示)。注视点可以是虚拟或真实的，即分别在显示器之后或在显示器之前。如果该注视点是虚拟的，则注视点的深度通过经由进一步反射(如果有的话)跟踪到元件310的射线来确定。如果该该注视点是虚拟的，则捕获光束发散；如果该该注视点是真实的，则捕获光束会聚。这使得观众能够经由虚拟对象中的反射注视真实物体。
除了包括由双向显示器300捕获的光场视频110之外，3D动画模型可以包括从其他来源已经捕获的或现场光场视频。这包括来自与本双向光场显示器300背靠背安装的另一个双向光场显示器300的光场视频110，这使得虚拟物体能够叠加(以及在透明时折射)背面的向双向显示器300可见的真实物体。
功能分布
显示控制器342的功能可以通过与显示器20相关联或内置于显示器200中的专用控制器或与所述显示器200进行通信的一个或多个独立设备来执行。
同样地，相机控制器340的功能可以通过与相机220相关联或内置于相机220中的专用控制器或与所述相机220进行通信的一个或多个独立设备来执行。
光场重新采样
在显示之前，可能需要重新采样光场110。如果目标显示器200的时间采样周期114、空间采样周期120或角采样周期126不同于源光场110的相应采样周期；如果它们各自的频谱采样基础132不同；如果它们各自的采样焦点138不同；或者如果它们各自的光场边界102有所不同，例如一个相对另一个被旋转或平移(translated)或者它们具有不同的弯曲形状，重新采样光场是有必要的。
平移可以包括在z方向上的平移，例如以便在显示器前面显示虚拟对象。
除了光谱重新采样，光谱重映射可以用于将非可见波长(如紫外线和近红外线)映射到可见光波长。
如果正被显示的所捕获的(或合成)的光场110匹配的目标光场显示器200的特性，则不需要重新采样。例如，当成对的相同双向显示器300一起使用时，例如由图11所示每个显示器显示由另一显示器捕获的光场110时，在默认情况下没必要重新采样。然而，重新采样以平移(translate)光场视频110的光场边界以便补偿一对背靠背显示器300的空间分离，可以被用于实现对两个显示器之间的区域的实际不可视性。
光场重新采样涉及根据输入光场的视频110生成所重新采样的输出光场的视频110。如果时间采样体系不变，则其涉及根据输入光场的帧116，即一组输出光场视点图像122，生成重新采样的输出光场帧116，其中每个输出光场视点图像对应于输出光场帧116的空间采样网格上的位置(x，y)。光场最常见的用途之一是产生新的2D视图[Levoy 96,Levoy 00,Isaksen 00,Ng05a]。重新采样光场等同于生成一组新的2D视图。
如图3B所示，每个光谱辐射率128具有对应的(虚拟)光传感器152和采样光束166。计算再采样输出光谱辐射率128涉及：识别所有的与输入光场帧116相关联的撞击在与输出光谱辐射率对应的光传感器152上的采样光束166，以及计算各光束的相应输入光谱辐射率128的加权和。选择每个权重以便与光束和光传感器152之间的重叠成正比。
附加显示模式
光场显示器200的主显示模式是为了根据代表包含处于任意深度处的对象的场景的离散光场110重新构建连续光场。
除了此主显示模式外，其还有利于支持其中显示器200模拟常规2D显示器的显示模式。给定2D图像，这可以通过两种方式来实现。在第一种方法中，所述2D源图像被简单地嵌入3D中的方便的虚拟位置，并且相应的离散光场被渲染和显示。在这种情况下，2D图像被限制在位于显示器200的前方或后方，其受制于显示元件210的最小(负或正)焦距和视场124。那么2D源图像的样本计数由显示器200的角度样本数限制。
在第二种方法中，每个显示元件210的整个光场视点图像122被设定为恒定值，等于2D源图像中的空间上对应的像素的值，并且显示元件焦点被设定到其最小值(负或正)。然后2D源图像的样本计数由显示器200的空间样本计数限制。
其还可用于支持其中场景位于无限远的显示模式。在显示器200输出被准直的这种情况下，由每个显示元件210显示的视点图像122相同，并且输出焦点被设置为无穷大。所准直的源图像的所要求的样本计数等于显示器200的角度样本计数。
所准直的源图像可以利用光场相机220通过将其相机元件230聚焦在无穷远处以及选择一个视点图像122作为所准直的图像或者为了优越的图像(superior image)对来自多个相机元件230(并且在极限情况，来自所有的相机元件230)的若干视点图像122求平均值来捕获。所平均的图像是优越，因为其具有更好的信噪比并且因为其更好地抑制了不位于无穷远的场景内容。这个平均方法代表更一般的合成孔径方法的具体例子。
合成孔径
在捕获期间，由任意数量的相邻相机元件230所捕获的光场视点图像122可被平均，以模拟较大的相机孔径的效果[Wilburn 05]。在这个过程中，对应于相同的虚拟点光源224(如图8B所示)的光谱辐射率128被平均。这可能需要视点图像重新采样以确保与组合视点图像的4D采样网格对齐。
使用合成孔径导致更大的有效曝光，并因此获得改进的信噪比，但景深更浅。
交错元件定时
在捕获期间(以及随后的显示期间)，由不同相机元件230(与显示元件210)使用的帧同步信号的定时可被随机交错，以提供在时间域中更均匀的采样[Wilburnl 1]。这在光场视频110被显示时导致对运动的更平滑感觉，但如果使用合成孔径则有增加的运动斑点。
反射镜(mirror)模式
双向光场显示器300也可以被配置为充当反射镜，即其中所捕获的光场被实时地重新显示。如上所述管理捕获和显示焦点。
采用最简单的反射镜模式，每个双向元件重新显示其自己所捕获的视点图像。这可以通过采样缓冲器、行缓冲器或每个元件的完整视点图像缓冲器进行操作。
图像处理也可以对在捕获和重新显示之间的光场进行，例如执行图像增强、重新照明和频谱重新映射。
音频
光场显示器200可以通过包括安装在显示器外围(或以其他方式在其附近)的数字-模拟转换器(DAC)、放大器以及电声换能器(扬声器)被配置来再现与光场视频110相关联的多声道数字音频。
光场相机220可以通过包括安装在显示器外围(在其附近或以其他方式)的一组声音传感器(麦克风)以及模拟-数字转换器(ADC)被配置为捕获光场视频110的一部分的多声道数字音频。麦克风也可以并入每个相机元件230中。
每个音频信道可以被标记有被用来捕获音频的麦克风的物理偏移，以便允许进行音频的相控阵(phased-array)处理[VanVeen 88,Tashev 08]，例如用于降低环境噪音或隔离单个远程扬声器[Anguera 07](例如，在经由视线的选择之后)。
相控阵技术也可用于将所选择音频源(诸如远程扬声器)的再现聚焦在已经选择了源的本地观众处[Mizoguchi 04](例如，在经由视线的选择之后)。这允许多个观众注意到具有降低的干扰的不同音频源。
足够致密的扬声器阵列(例如，具有5cm或更小的周期)可以用来再现的声波场[deVries 99,Spors 08,Vetterli 09]，这使得音频与观众(即，听众)无关地被虚拟定位到其各种源。这确保了所显示的场景的听觉感知与其视觉感知相一致。相应地密集的麦克风阵列可用于捕获实际的声学波场，并且声学波场根据含有音频源的3D动画模型可被容易地合成。
因此光场视频110可扩展以包括随时间变化的离散声响波场，即由密集音频信道阵列构成。
一维扬声器阵列可被用于以一维方式再现声波场，例如，对应于由显示器200的观众所占据的水平平面。二维扬声器阵列可被用于二维地再现声学波场。
双向显示控制器架构
图41示出了早前关于图11和图12所述的双向显示控制器322的框图。
所述显示控制器342应被视为等效于在显示模式下操作的双向显示控制器322，并且反之亦然。相机控制器340应被视为等效于在相机模式下操作的双向显示控制器，并且反之亦然。
双向显示控制器322包括双向面板控制器950，其协调单个双向显示面板800的显示和捕获功能。当双向显示器300包含多个面板800时，它们可以由多个面板控制器950以模块化的方式来控制。
每个单独的双向显示元件310的显示和捕获功能是由相应的双向元件控制器952来控制的。该元件控制器952利用视点图像数据存储器954，其保有用于显示的输出视点图像502和所捕获的输入视点图像602(如先前关于图15、图17和图18所描述的)。
在显示期间，显示元件310从输出视点图像502中读取连续辐射率的样本134，而在同一时间，面板控制器950将新的辐射率样本134写入到输出视点图像502。该视点图像数据存储器954只需要容纳部分的输出视点图像502，如果阅读和写作良好同步的话。
在捕获期间，面板控制器950从输入视点图像602中读取连续辐射率样本134，而在同一时间，显示元件310将新的辐射率样本134写入到输入视点图像602。该视点图像数据存储954只需要适应部分的输入视点图像602，如果阅读和写作良好同步的话。
对于示例性显示器配置，假设全部(而不是部分)视点图像，显示器每个具有用于显示和捕获6E11字节(600GB)的总存储器需求。
该元件控制器952支持两种显示模式：标准光场显示(来自视点图像数据存储器954中的输出视点图像502)和恒定颜色显示(来自恒定颜色寄存器)。
双向显示元件控制器块956，由双向元件控制器952和其视点图像数据存储954器构成，重复于每个双向显示元件310中。
面板控制器950和/或元件的控制器952可以被配置为在捕获期间或之后的显示和光场压缩过程之前或期间执行光场解压缩。下面进一步讨论光场交换格式和压缩。
面板控制器950和元件控制器952中的每个可以包括与指令和数据存储器相关联的一个或多个通用可编程处理单元、与指令和数据存储器相关联的一个或多个图形处理单元[Moreton 05]以及诸如音频处理、图像/视频处理和压缩/解压缩逻辑的专用逻辑[Hamadani 98]，所有这些都具有足够的处理能力和吞吐量，以支持特定的双向显示配置。
虽然图41示出了每个显示元件310一个元件控制器952，但是元件控制器952可以被配置来控制多个显示元件310。
面板控制器950利用2D图像数据存储器958来保存2D图像用于显示。如前面所述，可以通过配置每个显示元件310来显示恒定颜色来显示2D图像。在这种模式下，面板控制器950将2D图像的每一个象素写到相应元件控制器952的恒定颜色寄存器。可替代地，所述2D图像可以通过合成光场帧116而被显示。在这种模式下，面板控制器950使用用于2D图像的3D位置和定向合成光场帧116，并且将每个产生的输出视点图像122写入其相应的视点图像数据存储器954。
当在平行模式下工作时，面板控制器950利用所准直的(collimated)视点图像数据存储器960，该存储器保存所准直的输出视点图像和所准直的输入视点图像。正如前面所述，在准直的显示模式中，每个显示单元310显示相同的输出视点图像122。面板控制器950可以在显示期间将该准直的输出视点图像广播到元件控制器952，或者在显示之前该准直的输出视点图像可以被写入到各个视点图像数据存储器954。
还如前面所述，在准直捕获模式中，所准直输出视点图像可通过对多个输入视点图像602进行平均而获得。面板控制器950可以在捕获期间或捕获之后执行该平均。
网络接口962允许面板控制器950与外部设备交换配置数据和光场视频110，并且可以包括多种常规的网络接口，以提供必要的吞吐量来支持光场视频110。例如，它可以包括耦合到光纤或电线的多个10Gbps的或10OGbps千兆以太网(GbE)接口。
输入视频接口964允许外部设备经由2D数据存储器958将标准格式视频写入用于2D显示的显示器300中，使显示器300被用作常规2D显示。
当显示器300在准直显示模式下操作时，输入视频接口964还允许外部装置经由准直视点图像数据存储器960将准直光场视频110作为标准格式视频写入显示器用于显示。
当显示器300以准直捕捉模式运行时，输出视频接口966允许其它设备从该显示器读取准直光场视频110作为标准格式视频。这使得准直光场视频110能够使用一对标准视频互连方便地在一对双向光场显示器300之间被交换。
显示定时生成器968生成用于控制显示和捕获(如分别针对图15和图17所述)的全局帧同步信号512。
如果显示器被设计成如针对图24A-24D所述的振荡，面板运动控制器970驱动致动器814并监控活塞816的位置。
双向显示控制器322的各种组件经由高速数据总线972进行通信。虽然各种数据传输是如上所述由面板控制器950执行，但是在实践中，它们可以由面板控制器(或其他组件)来启动但由DMA逻辑(未示出)执行。数据总线972可以包括多个总线。
尽管各种数据存储器显示为不同的，它们可以被实现为一个或多个存储器阵列的固定大小或可变大小的区域。
光场交换格式和压缩
尽管光场视频110可以以未压缩形式在兼容设备(包括光场相机220、光场显示器200以及其他设备)之间进行交换，但是光场视频的吞吐量(和存储器)需求通常推动使用压缩。示例性显示配置有4E13个样本/秒(5e14个位/秒、500×100GbE链接(link))的吞吐量，并且需要6E11字节(600GB)的的帧存储器。
压缩可利用光场视频110的时间间隔内的全部5D冗余(即，包括视点间的冗余[Chang 06])或光场帧116内的4D冗余[Levoy 96，Levoy 00，Girod 03]。它还可在每个(随时间变化的)光场视点图像122上利用诸如采用各种JPEG和MPEG标准实施的传统图像或视频压缩技术。基于4D冗余的100:1压缩是典型的[Levoy 96,Levoy 00]。
由3D电视和视频(3DV)系统所使用的立体和多视点视频含有少量的稀疏(sparse)视点，并且由于向传统的单视点视频的通常空间和时间预测加入视点间预测[Vetro 11]，H.264/MPEG-4(经由其多视点视频编码(MVC)简档)支持5D压缩。MVC 5D压缩可以被应用到密集的光场视频110。
当任选的光场深度136可用时，可以使用基于深度的压缩技术。在3DV系统中使用的基于深度的表征包括多视点视频加深度(MVD)、基于表面的几何表征(例如纹理网)以及体积表征(例如，点云)[Alatan 07,Muller 11]。
采用MVD，与标准视点间预测(即没有深度的MVC)相比，使用深度信息能够根据一组更稀疏视点进行有效视点间预测，因此，MVD使得致密组的视点可以更有效地根据一组稀疏视点被合成，从而至少部分地从显示器的视点密度解耦交换格式的视点密度[Muller 11]。
通过支持3DV格式，显示器300也变得能够与其他3DV设备和系统交换3D视频流。
基于可视性的双向显示控制器架构
如图42A所示，每个双向显示器元件310具有视场980(对应于光场视场124)，其中只有一小部分982是通过观众的眼睛240看见的。
因此，仅捕获、发送、重新采样、渲染和显示每个元件的视野(合适地被扩展以允许帧之间的眼睛运动)的子集982是有效的，因为这减少了所需的通信和处理带宽以及所需要的功率。这种选择性的捕获、处理和显示依赖于面部检测。
如果双向显示元件310是一个扫描元件，则在扫描受限于可见场982的情况下可以减小在一个或两个方向上扫描的扫描时间。
假定在眼睛处最小视距为200mm并且可见场982为10mm宽，则(每观众的)示例性显示器配置的(单向)吞吐量降低两个数量级到4E11个样本/s(5E12比特/秒；未压缩的46×100GbE链接；具有46:1压缩的1×100GbE链接)，并且对存储器的要求降低到6E9字节(6GB)。
进一步如图42B所示，只有少数显示元件210与眼睛240的视网膜的中央凹区域的凸起984相交。因此，可使用在该区域外侧的减小的角度采样速率(适当地被扩展以允许在帧之间的眼睛运动)有效捕捉、发送、重新采样、渲染和显示光场。这种选择性的捕获、处理和显示依赖于凝视估计。
图43示出了优化用于基于可视性的显示和捕获的双向显示控制器322的框图。
每个全视野图像122(存储在图41的视点图像数据存储器954中)被替换为更小的局部视点图像122(存储在图43的局部视点图像数据存储器986中)。每个局部视点图像只覆盖相应的元件的眼睛专用局部视场982(如图41所示)。
局部视点图像的最大所需尺寸是最小受支持视距的函数。
如果显示器300以观众专用模式支持多个观众(例如，通过多个显示通道)，则该局部视点图像数据存储器986的容量可相应增加。至少，为了显示过程中支持单个观众和在捕捉过程中支持单个观众，局部视点图像数据存储器986可容纳四个局部视点图像，即，每个观众眼睛240一个。
此外，如上面关于图42B所述，每个局部视点图像可被二次采样(subsample)，然后在对应的显示元件310落入所述中央凹的突起内时被非二次采样的局部视点图像替换。这可以使得每个局部视点图像的尺寸的数量级进一步降低。在该方法中，一些非二次采样的局部视点图像被存储在局部凹视点图像数据存储器988中，并且中央凹的突起内的每个显示元件310被配置为使用(在数据存储器988内的)指定的局部凹视点图像代替(在数据存储器986内的)其自身的二次采样局部视点图像。
中心凹视点图像的最大所需数目是在其处中心凹显示受到支持的最大视距的函数。
假设对于中心凹的观看最大视距为5000毫米，并且中心凹场984为2度，则(每观众的)示例性显示器配置的(单向)吞吐量被进一步降低因子6到7E10个样本/秒(8E11比特/秒；具有未压缩的8×100GbE链接；具有8:1压缩的有1×100GbE链接；具有80:1压缩的1×10GbE链接)，并且存储器需求被减低到1E9字节(1GB)。
当多个观众的中心凹的区域不重叠时，可以在单个显示扫描通道期间支持每个观众的中心凹区域内的观众专用焦点。
基于可视性的捕获以相同方式工作，不同之处在于，基于可视性的显示是响应于所述显示的一个或多个本地观众的位置或视线，基于可视性的捕获是响应于观看远程显示器上所捕获的光场的一个或多个观众观的位置或视线。
采用基于可视性的二次采样，元件控制器952支持两个附加的显示模式：采用辐射率样本134的内插的显示(根据在局部视点图像数据存储器986中的二次采样输出视点图像)以及中心凹显示(根据局部凹图象数据存储器988中的指定的局部凹输出视点图像)。
概述
虽然本发明已经参照多个实施例进行了描述，但是本领域的普通技术人员将认识到本发明也容许有许多替代实施例，并且本发明的范围仅由权利要求限制。
引用文献
本说明书中提到的下列出版物内容在此通过引用并入本文。
[Anguera 07]X.安格拉等人，“用于扬声器的声波聚束的会议日志”，关于音频、语音和语言处理的IEEE学报，15(7)，2007年9月([Anguera 07]X.Anguera et al,"Acoustic Beamforming for Speaker Diarization of Meetings",IEEE Transactions on Audio,Speech,and Language Processing,15(7),September2007)。
[Alatan 07]A.A.阿拉坦等人，“用于3DTV的场景表征技术-调查”，关于电路与系统视频技术的IEEE学报，17(11)，2007年11月([Alatan 07]A.A.Alatan et al,"Scene Representation Technologies for 3DTV-A Survey",IEEETransactions on Circuits and Systems for Video Technology,,November 2007)。
[Amir 03]A.阿米尔(A.Amir)等人，“校准-自由眼视线跟踪(Calibration-Free Eye Gaze Tracking)”，美国专利US6578962，2003年6月17日)。
[Aziz 10]H.阿齐兹J.A.科根(H.Aziz and J.A.Coggan)，“堆叠式OLED构件(Stacked OLED Structure)”，美国专利号US7750561，2010年7月6日
[Adelson 91]E.H.阿德尔森和JR卑尔根，“早期视觉的全光功能和元素”，计算模型的视觉处理，M.兰迪和JA Movshon(eds)，麻省理工学院出版社，1991年，pp.3-20([Adelson 91]E.H.Adelson and J.R.Bergen,"The PlenopticFunction and the Elements of Early Vision",Computational Models of VisualProcessing,M.Landy and J.A.Movshon(eds),MIT Press,1991,pp.3-20)。
[Balogh 06]T.巴洛格(T.Balogh)“显示3D图像的方法和设备(Method andApparatus for Displaying 3D Images)”，美国专利号US 6999071，2006年2月14日。
[Barabasi 1]J.巴拉巴斯等人，“真实场景的衍射特定相干全景图”，SPIE年报，第7957卷，2011年论文集([Barabasi 1]J.Barabas et al,"DiffractionSpecific Coherent Panoramagrams of Real Scenes",Proceedings of SPIE,Vol7957,2011)。
[Benzie 07]P.本齐等，“3DTV显示器的调查：技术与工艺“，关于视频技术的电路与系统的IEEE学报，17(1)，2007年11月([Benzie07]P.Benzie etal,"A Survey of 3DTV Displays:Techniques and Technologies",IEEETransactions on Circuits and Systems for Video Technology,17(11),November2007)
[Berge 07]B.贝格(Berge)和J.珀瑟(Peseux)，“变焦镜头(Lens withVariable Focus)”，美国专利号RE39,874，2007年10月9日。
[Bernstein 02]J.伯恩斯坦(Bernstein)，“多轴磁力驱动的装置(Multi-AxisMagnetically Actuated Device)”，美国专利号US6388789，2002年5月14日。
[Berreman 80]D.W.布瑞曼(Berreman)，“变焦液晶镜头系统”，美国专利号US4190330，1980年2月26日。
[Betke 00]M.贝特克等人，“眼巩膜的实时主动检测”，关于人体建模、分析与合成的的IEEE CVPR研讨会，2000年([Betke 00]M.Betke et al,"ActiveDetection of Eye Scleras in Real Time",IEEE CVPR Workshop on HumanModeling,Analysis and Synthesis,2000)。
[Brill 98]M.H.布里尔(Brill)等，“原色和彩色成像”，第六届彩色成像大会：颜色科学、系统和应用，1998年11月17-20日，IS&T([Brill 98]M.H.Brill et al,"Prime Colors and Color Imaging",The Sixth Color ImagingConference:Color Science,Systems and Applications,November 17-20,1998,IS&T)。
[Bright 00]W.J.布赖特(Bright)，“采用双采样的管线模拟-数字转换系统以及操作方法(Pipeline Analog-to-Digital Conversion System Using DoubleSampling and Method of Operation)”，美国专利号US6166675，2000年12月26日。
[Champion 12]M.尚普兰(Champion)等，“扫描反射镜位置确定(Scanning Mirror Position Determination)”，美国专利号US8173947，2012年5月8日。
[Chang 96]I-C.张(Chang)。“声光布拉格单元(Acousto-Optic BraggCell)”，美国专利号US5576880，1996年11月19日。
[Chang 06]C-L.张(Chang)等，“使用视差-补偿提升和塑造适应的光场压缩”，关于图像处理的IEEE学报，15(4)，2006年4月([Chang 06]C-L.Chang et al,"Light Field Connpression Using Disparity-Compensated Lifting andShape Adaptation",IEEE Transactions on Image Processing,15(4),April 2006)。
[Connor11]R.A.康纳(Connor)，“采用旋转发光元件的全息观察(TM)3D成像(Holovision(TM)3D Imaging with Rotating Light-EmittingMembers)”，美国专利号US7978407，2011年7月12日。
[deVries 99]D.德弗里斯和M.M.布恩，“利用阵列技术的波场的合成和分析”，关于对音频和声学的信号处理的应用的1999年IEEE研讨会的论文集，1999年10月17-20日([deVries 99]D.de Vries and M.M.Boone,"Wave FieldSynthesis and Analysis Using Array Technology",Proceedings of the 1999IEEEWorkshop on Applications of Signal Processing to Audio and Acoustics,17-20October 1999)。
[DiCarlo 06]A.迪卡洛(DiCarlo)等，“无轭隐型铰链数字微镜器件(Yokeless Hidden Hinge Digital Micromirror Device)”，美国专利第US7,011,415，2006年3月14日。
[Duchowski 07]A.杜奇奥斯基，眼睛跟踪方法-论与实践，第二版，施普林格出版社，2007年。([Duchowski07]A.Duchowski,Eye TrackingMethodology-Theory and Practice,Second Edition,Springer 2007)。
[Fossum 04]E.R.福萨姆(Fossum)等人，“具有像素内电荷转移的有源像素传感器(Active Pixel Sensor with Intra-Pixel Charge Transfer)”，美国专利号US6744068，2004年6月1日。
[Fang08]J.方(Fang)等人，“广角变焦镜头系统(Wide-Angle Variable FocalLength Lens System)”，美国专利号US7359124，2008年4月15日。
[Georgiev 06]T.格奥尔基等人，“在积分摄影中的时空角分辨率权衡”，关于渲染的欧洲图形学会研讨会，2006年([Georgiev 06]T.Georgiev et al,"Spatio-Angular Resolution Tradeoff in Integral Photography",EurographicsSymposium on Rendering,2006)。
[Georgiev 09]T.格奥尔基(Georgiev)等人，“全光相机(PlenopticCamera)”，美国专利号US7620309，2009年11月17日。
[Gerhard 00]G.J.杰哈德(Gerhard)等人，“具有拼接、定时和失真校正的扫描显示(Scanned Display with Pinch,Timing and Distortion Correction)”，美国专利号US6140979，2000年10月31日。
[Girod 03]B.吉罗德等人，“使用视差补偿提升的光场压缩”，关于多媒体和博览会的2003年IEEE国际会议，2003年7月([Girod 03]B.Girod et al,"Light Field Compression Using Disparity-Compensated Lifting",2003IEEEInternational Conference on Multimedia and Expo,July 2003)。
[Glassner 89]A.S.格拉斯纳(编辑)，光线追踪介绍，学术出版社，1989年([Glassner 89]A.S.Glassner(ed.),An Introduction to Ray Tracing,AcademicPress,1989)。
[Hamadani 98]M.哈马丹尼(Hamadani)和R-S.Kao，“用于多媒体应用的MPEG编码及解码系统(MPEG Encoding and Decoding System forMultimedia Applications)”，美国专利号US5845083，1998年12月1日。
[Hansen 10]D.W.汉森和Q.齐“在旁观者眼中：眼睛和凝视的模型理论”，关于模式分析和机器智能的IEEE学报，32(3)，2010年3月([HansenI O]D.W.Hansen and Q.Ji,"In the Eye of the Beholder:A Survey of Models for Eyes andGaze",IEEE Transactions on Pattern Analysis and Machine Intelligence,32(3),March 2010)。
[Hartridge 22]H.哈特里奇，“眼的视敏度及分辨能力”，生理学杂志，57(1-2)，1922年12月22日([Hartridge 22]H.Hartridge,"Visual Acuity and theResolving Power of the Eye",The Journal of Physiology,57(1-2),December 22,1922)。
[Higuchi 10]Y.火口(Higuchi)和K.大前(Omae)，“氮化物半导体发光元件的制造方法和氮化物半导体发光元件(Method of Manufacturing NitrideSemiconductor Light Emitting Element and Nitride Semiconductor Light EmittingElement)”，美国专利申请公开号US2010/0098127，2010年4月22日。
[Hirabayashi95]Y.平林(Hirabayashi)等人，“动磁式执行机构(MovingMagnet-Type Actuator)”，美国专利号US5434549，1995年7月18日。
[Hoffman 08]D.M.霍夫曼等人，“辐辏-适应性调节冲突阻碍视觉功能并造成视觉疲劳”，杂志视觉，8(3):33，2008年3月28日([Hoffman 08]D.M.Hoffman et al,"Vergence-Accommodation Conflicts Hinder Visual Performanceand Cause Visual Fatigue",Journal of Vision,8(3):33,28March 2008)。
[Hornbeck 96]L.J.霍恩贝克(Hornbeck)，“有源轭隐形铰链数字微镜器件(Active Yoke Hidden Hinge Digital Micromirror Device)”，美国专利号US5535047，1996年7月9日。
[Hua 11]G.华(Hua)等人，“使用差别化训练的垂直张量投射的面部部识别(Face Recognition Using Discriminatively Trained Orthogonal TensorProjections)”，美国专利US7936906，2011年5月3日。
[Imai1 1]T.今井(Imai)等人的“变焦距镜头(Variable-Focal Length Lens)”，美国专利号US8014061，2011年9月6日。
[Isaksen 00]A.伊萨克森等，“动态重新参数化的光场”，关于计算机图形和交互技术党的第27届年会的论文集，ACM，2000年([Isaksen 00]A.Isaksenet al,"Dynamically Reparameterized Light Fields",Proceedings of the 27thAnnualConference on Computer Graphics and Interactive Techniques,ACM,2000)。
[Jacob 07]S.A.雅各布(Jacob)，“变焦距电光透镜(Variable Focal LengthElectro-Optic Lens)”，美国专利申请公开US2007/0070491，2007年3月29日。
[Jones 03]M.J.琼斯和P.维奥拉，“快速多视点面部检测”，三菱电机研究实验室TR2003-96，2003年8月([Jones 03]M.J.Jones and P.Viola,"FastMulti-View Face Detection",Mitsubishi Electric Research LaboratoriesTR2003-96,August 2003)。
[Jones 06]M.J.琼斯(Jones)和P.维奥拉(Viola)，“用于在数字图像检测目标的方法和系统(Method and System for Object Detection in DigitalImages)”，美国专利US7099510，2006年8月29日。
[Kasahara 11]D.笠原等人，“在室温下采用电流注入的蓝色和绿色基于GaN的垂直腔面发射激光器的论证”，应用物理快报，4(7)，2011年7月([Kasahara 11]D.Kasahara et al,"Demonstration of Blue and Green GaN-BasedVertical-Cavity Surface-Emitting Lasers by Current Injection at RoomTemperature",Applied Physics Express,4(7),July 2011)
[Kolb 09]A.科尔布等“计算机图形学中的飞行时间传感器”，欧洲图形学会会议，2009年([Kolb 09]A.Kolb et al,"Time-of-Flight Sensors in ComputerGraphics",Eurographics Conference 2009)。
[Kobayashi 91]K.小林(Kobayashi)，“激光束扫描系统(Laser BeamScanning System)”，美国专利号US4992858，1991年2月12日。
[Koike 08]T.小池(Koike)等人，“三维显示设备(Three-DimensionalDisplay Device)”，美国专利申请公开US2008/0036759，2008年2月14日。
[Kowel 86]G.T.考威尔(Kowel)等人的“自适应液晶透镜(Adaptive LiquidCrystal Lens)”，美国专利US4572616，1986年2月25日。
[Lazaros 08]N.Lazaros等人，“立体视觉算法的回顾：从软件到硬件”，光机电一体化国际杂志，2008年2月([Lazaros 08]N.Lazaros et al,"Review ofStereo Vision Algorithms:from Software to Hardware",International Journal ofOptomechatronics,2,2008)。
[Levinson 96]R.A.莱文森(Levinson)和S.吴(Ngo)“管线化的模拟到数字转换器“，美国专利号US5572212，1996年11月5日。
[Levoy 96]M.莱沃和P.汉拉汉，“光场渲染”，关于计算机图形和交互技术的第23届年会的论文集，ACM，1996年([Levoy 96]M.Levoy and P.Hanrahan,"Light Field Rendering",Proceedings of the 23rd Annual Conferenceon Computer Graphics and Interactive Techniques,ACM,1996)。
[Levoy 00]M.莱沃(Levoy)和P.汉拉汉(Hanrahan)，“用于光场渲染的方法和系统(Method and System for Light Field Rendering)”，美国专利号US6097394，2000年8月1日。
[Lin 11]H-C.林等人，“可电调聚焦液晶透镜的回顾”，电气和电子材料学会，12(6)，2011年12月25日([Lin 11]H-C.Lin et al,"A Review of ElectricallyTunable Focusing Liquid Crystal Lenses",Transactions on Electrical andElectronic Materials,12(6),25December 2011)。
[Lienhart 03]2003-R.列昂哈特等人，“用于实时目标检测与跟踪的提升的分类器的探测器树”，关于多媒体和展览会的2003年国际会议论文集，第1卷([Lienhart 03]R.Lienhart et al,"A Detector Tree of Boosted Classifiers forReal-Time Object Detection and Tracking",Proceedings of the 2003InternationalConference on Multimedia and Expo-Volume 1,2003)。
[Love 09]G.D.洛维等人，“高速可切换透镜促进体积立体显示器的发展”光学快报，17(18)，2009年8月31日([Love09]G.D.Love et al,"High-SpeedSwitchable Lens Enables the Development of a Volumetric Stereoscopic Display",Optics Express 17(18),31August 2009)。
[Lu 09]T-C.鲁等人，“基于GaN的垂直腔表面发射激光器的发展”，在量子电子学中的选题的IEEE杂志，15(3)，2009年5月/6月([Lu09]T-C.Luet al,"Development of GaN-Based Vertical cavity Surface-Emitting Lasers",IEEE Journal of Selected Topics in Quantum Electronics,15(3),May/June 2009)。
[Maserjian 89]J.梅瑟吉安(Maserjian)，“多量子阱光调制器(MultipleQuantum Well Optical Modulator)”，美国专利号US4818079，1989年4月4日。
[Melville 97]C.D.梅尔维尔，“机械共振扫描反射镜的位置检测(PositionDetection of Mechanical Resonant Scanner Mirror)”，美国专利号US5694237。
[Merrill 05]R.B.美林(Merrill)和R.A.马丁(Martin)，“垂直颜色滤波传感器组和制造其的半导体集成电路制造方法(Vertical Color Filter SensorGroup and Semiconductor Integrated Circuit Fabrication Method for FabricatingSame)”，美国专利号US6894265，2005年5月17日。
[Mizoguchi 04]H.沟口等人，“基于面部跟踪的视觉上可控制的声束形成系统和扬声器阵列”，第17届模式识别国际会议论文集，2004年8月23-26日([Mizoguchi 04]H.Mizoguchi et al,"Visually Steerable Sound BeamForming System Based On Face Tracking and Speaker Array",Proceedings of the17th International Conference on Pattern Recognition,23-26August 2004)。
[Moreton 05]H.P.摩顿(Moreton)等人，“用户可编程几何引擎(UserProgrammable Geometry Engine)”，美国专利号US6900810，2005年5月31日。
[Muller 11]K.穆勒等人，“使用深度图的3-D视频表示”，IEEE论文集，99(4)，2011年4月([Muller 11]K.Muller et al,"3-D Video Representation)using Depth Maps",Proceedings of the IEEE,99(4),April 2011)。
[Naganuma 09]K.长沼等人，“高分辨率KTN光学光束扫描仪”，NTT技术回顾7(12)，2009年12月12日([Naganuma 09]K.Naganuma et al,"High-Resolution KTN Optical Beam Scanner",NTT Technical Review 7(12),12December 2009)。
[Nakamural O]K.中村(Nakamura)等人，“电光装置(ElectroopticDevice)”，美国专利US7764302，2010年7月27日。
[Naumov 99]A.F.诺莫夫等人，“球面模态液晶镜头的控制优化”，光学快报4(9)，1999年4月([Naumov99]A.F.Naumov et al,"Control Optimization ofSpherical Modal Liquid Crystal Lenses",Optics Express 4(9),April 1999)。
[Neukermans 97]A.P.纽克曼斯(Neukermans)和T.G.斯莱特(Slater)，“微机械扭转扫描仪(Micromachined Torsional Scanner)”，美国专利号US5629790，1997年5月13日。
[Ng 05a]R.伍等，“采用手持式全光相机的光场摄影”，斯坦福技术报告CTSR 2005-02，2005年([Ng 05a]R.Ng et al,"Light Field Photography with aHand-held Plenoptic Camera",Stanford Tech Report CTSR 2005-02,2005)。
[Ng 05b]R.伍，“傅立叶切片摄影”，关于图形的ACM学报，24(3)，2005年7月([Ng 05b]R.Ng,"Fourier Slice Photography",ACM Transactions onGraphics,24(3),July 2005)。
[Nishio 09]M.西尾(Nishio)和K.村上(Murakami)，“可变形反射镜(Deformable Mirror)”，美国专利号US7474455，2009年1月6日。
[Oggier l1]T.奥格杰(Oggier)等人，“像素输出的芯片上基于时间的数字化转换(On-Chip Time-Based Digital Conversion of Pixel Outputs)”，美国专利号US7889257，2011年2月15日。
[Ong 93]E.昂等，“先天性眼球震颤的静态适应性调节”，调查眼科及视觉科学，34(1)，1993年1月([Ong93]E.Ong et al,"Static Accommodation inCongenital Nystagmus",Investigative Ophthalmology&Visual Science,34(1),January 1993)。
[Palmer 99]S.E.帕尔默，视觉科学-光子现象，麻省理工学院出版社，1999年([Palmer99]S.E.Palmer,Vision Science-Photons to Phenomenology,MITPress,1999)。
[Patel 78]M.P.帕特尔(Patel)，“斗链式电路(Bucket Brigade Circuit)”，美国专利号US4130766，1978年12月19日。
[Petersen82]C.C.彼得森(Petersen)，“直线电机(Linear Motor)”，美国专利号US4363980，1982年12月14日。
[Plainis 05]S.普雷尼斯等人，“眼像差对稳态误差的调节反应的影响”，视觉杂志，5(5):7，2005年5月23日([Plainis 05]S.Plainis et al,"The Effect ofOcular Aberrations on Steady-State Errors of Accommodative Response",Journalof Vision,5(5):7,23May 2005)。
[Qi 05]J.齐等人，“用于LCD应用的剪裁的椭圆全息扩散器”，SID杂志，13(9)，2005年([Qi 05]J.Qi et al,"Tailored Elliptical Holographic Diffusers forLCD Applications",Journal of the SID,13(9),2005)。
[Saleh 07]B.E.A.萨利赫和M.C.泰希，光子学基础(第二版)，威力出版社，2007年([Saleh 07]B.E.A.Saleh and M.C.Teich,Fundamentals of Photonics(Second Edition),Wiley,2007)
[Sangster77]F.L.J.桑斯特(Sangster)，“电荷传输装置(Charge TransferDevice)”，美国专利US4001,862，1977年1月4日。
[Schwerdtner 06]A.希维德勒(Schwerdtner)等人，“用于三维场景的全息重建(Device for Holographic Reconstruction of Three-Dimensional Scenes)”，美国专利申请公开号US2006/0250671，2006年11月9日。
[Seitz 06]S.M.塞茨等人，“多视点立体重建算法的比较和评价”，关于计算机视觉和模式识别的IEEE计算机协会会议，2006年6月17-22日([Seitz 06]S.M.Seitz et al,"A Comparison and Evaluation of Multi-View StereoReconstruction Algorithms",IEEE Computer Society Conference on ComputerVision and Pattern Recognition,17-22June,2006)。
[Shechter 02]R.舍希特等人，“具有线性光栅的紧凑型光束扩展器”，应用光学，41(7)，2002年3月1日([Shechter 02]R.Shechter et al,"Compact BeamExpander with Linear Gratings",Applied Optics 41(7),1March 2002)。
[Sharp 00]G.D.夏普(Sharp)，“可切换消色差偏振旋转器(SwitchableAchromatic Polarization Rotator)”，美国专利号US6097461，2000年8月1日。
[Shibaguchi 92]T.芝口(Shibaguchi)“电光装置(Electrooptic Device)”，美国专利号US5140454，1992年8月18日。
[Shih 00]S-W.史与J.刘，“无校准视线跟踪技术”，关于模式识别的第15届国际会议论文集，3-7，2000年9月([Shih 00]S-W.Shih and J.Liu,"ACalibration-Free Gaze Tracking Technique",Proceedings of the 15th InternationalConference on Pattern Recognition,3-7September 2000)。
[Simmonds 11]M.D.西蒙兹(Simmonds)和R.K.霍华德(Howard)，“投影显示器(Projection Display)”，美国专利号US7907342，2011年3月15日。
[Spors08]S.史伯斯等人，“波场合成理论再探”，音频工程协会的第124次会议，2008年5月17-20日([Spors08]S.Spors et al,"The Theory of WaveField Synthesis Revisited",124th Convention of the Audio Engineering Society,17-20May 2008)
[Svelto 10]O.斯韦尔托，激光原理(第五版)，施普林格，2010年([SveltolO]O.Svelto,Principles of Lasers(Fifth Edition),Springer,2010)。
[Szeliski 99]R.S.斯泽里斯基(Szeliski)和P.加兰德(Golland)，“执行立体声匹配以恢复表面元素的深度、颜色和不透明度的方法(Method forPerforming Stereo Matching to Recover Depths,Colors and Opacities of SurfaceElements)”，美国专利号US5917937，1999年6月29日。
[Tashev 08]I.塔谢夫(Tashev)和H.马尔瓦(Malvar)，“使用麦克风阵列形成波束的系统和方法(System and Method for Beamforming Using aMicrophone Array)”，美国专利US7,415,117日，2008年8月19日.
[Titus 99]C.M.泰特斯等人，“高效、准确的液晶数字光导流板”，国际光学工程学会会议记录，第3633卷，衍射和全息技术、系统和空间光调制器VI，1999年6月([Titus 99]CM.Titus et al,"Efficient,Accurate Liquid CrystalDigital Light Deflector",Proc.SPIE Vol.3633,Diffractive and HolographicTechnologies,Systems,and Spatial Light Modulators VI,June 1999)。
[Tompsett 78]M.F.汤普塞特(Tompsett)，“电荷转移成像设备(ChargeTransfer Imaging Devices)”，美国专利号US4085456，1978年4月18日。
[Turk 92]M.特克(Turk)和AP彭特兰(Pentland)，“面部识别系统(FaceRecognition System)”，美国专利US5164992，1992年11月17日。
[Turner 05]A.M.特纳(Turner)等人，“谐振MEMS器件的脉冲驱动(PulseDrive of Resonant MEMS Devices)”，美国专利号US6965177，2005年11月15日。
[Urey 11]H.尤列(Urey)和M.赛因特(Sayinta)，“用于显示3D图像的装置(Apparatus for Displaying 3D Images)”，美国专利申请公开号US201 1/0001804，2011年1月6日。
[Vallese 70]L.M.巴雷泽(Vallese)，“光扫描设备(Light ScanningDevice)”，美国专利号US3502879，1970年3月24日。
[VanVeen 88]B.D.范文和K.M.巴克利(Buckley)，“波束形成：空间滤波的多功能方法”，IEEE ASSP杂志，1988年4月([VanVeen 88]B.D.Van Veenand K.M.Buckley,"Beamforming:A Versatile Approach to Spatial Filtering",IEEE ASSP Magazine,April 1988)。
[Vetro 11]A.维特罗等人，“H.264/MPEG-4AVC标准的立体声和多视点视频编码扩展的的概览”，IEEE论文集，99(4)，2011年4月([Vetro 11]A.Vetro et al,"Overview of the Stereo and Multiview Video Coding Extensions ofthe H.264/MPEG-4AVC Standard",Proceedings of the IEEE,99(4),April 2011)。
[Vetterli 09]M.维特利(Vetterli)和F.P.C.平托(Pinto)，“音频波场编码(Audio Wave Field Encoding)”，美国专利申请公开US2009/0248425，2009年10月1日。
[vonGunten 97]M.K.冯·贡腾(von Gunten)和P.贝维斯(Bevis)，“宽带偏振分束器(Broad Band Polarizing Beam Splitter)”，美国专利号US5625491，1997年4月29日。
[Watanabe96]M.渡边，“根据散焦为被动深度设置的最少算子”，关于计算机视觉和模式识别的IEEE计算机协会会议论文集，1996年6月18-20日([Watanabe96]M.Watanabe,"Minimal Operator Set for Passive Depth fromDefocus",Proceedings of the IEEE Computer Society Conference on ComputerVision and Pattern Recognition,18-20June,1996)
[Wilburn 05]B.威尔伯恩等，“用大相机阵列的高性能成像”，关于图形的ACM学报-ACM论文集，计算机绘图专业组，2005年([Wilburn05]B.Wilburn et al,"High Performance Imaging Using Large Camera Arrays",ACMTransactions on Graphics-Proceedings of ACM SIGGRAPH 2005)
[Wilburn l1]B.威尔伯恩(Wilburn)等人，“使用密集相机阵列交错触发捕获场景的仪器和方法(Apparatus and Method for Capturing a Scene UsingStaggered Triggering of Dense Camera Arrays)”，美国专利号US8027531，2011年9月27日。
[Xiaobo 10]C.晓波等人，“无需校准的12比特100MS/s管线化模拟到数字转换器”，杂志半导体31(11)，2010年11月([Xiaobo 10]C.Xiaobo et al,“A12bit 100MS/s pipelined analog to digital converter without calibration”Journalof Semiconductors 31(11),November 2010).
[Yan 06]J.严(Yan)等人，“具有磁力双电容和驱动的MEMS扫描仪(MEMS Scanner with Dual Magnetic and Capacitive Drive)”，美国专利US7071,594，2006年7月4日。
[Yaras 10]F.亚拉斯等人，“全息显示领域的状态”，显示技术杂志，6(10)，2010年10月([Yaras 10]F.Yaras et al,“State of the Art in Holographic Dsiplays”,Journal of Display Technology,6(10),October 2010)。

Claims (20)

1.一种双向光场相机和显示设备，包括双向光场相机和显示元件的阵列，每个双向元件包括：
(a)扫描仪，用于扫描在二维视场上的输入光束和输出光束；
(b)输入焦点调制器，用于随着时间调制输入光束的焦点；
(c)辐射率传感器，用于随着时间感测输入光束的辐射率；
(d)辐射率采样器，用于在离散时间处采样输入光束的辐射率；
(e)光束生成器，用于产生输出光束；
(f)辐射率调制器，用于随着时间调制该输出光束的辐射率；以及
(g)输出焦点调制器，用于随着时间调制所述输出光束的焦点。
2.根据权利要求1所述的设备，其中所述扫描仪从以下组中选择，该组包括：机电扫描反射镜、可寻址偏转器堆栈、声光扫描仪以及电光扫描仪。
3.根据权利要求1所述的设备，其中所述扫描仪包括具有选自以下一组中的至少一种驱动机构的双轴机电扫描反射镜，该组包括：静电驱动机构、磁驱动机构以及容性驱动机构。
4.根据权利要求1所述的设备，其中，所述扫描仪包括双轴机电扫描反射镜，该双轴机电扫描反射镜包括：反射镜、平台、内框架和外框架，所述反射镜经由柱连接到所述平台，所述平台经由第一对铰链连接到内框架，并且所述内框架经由第二对铰链连接到外框架，第一对铰链设置成基本上垂直于第二对铰链，由此容许反射镜的双轴运动。
5.根据权利要求1所述的设备，其中所述扫描仪包括：第一扫描仪，用于沿第一方向扫描所述输入光束和输出光束；第二扫描仪，用于沿第二方向同时扫描输入光束和输出光束，所述第二方向基本上垂直于第一方向。
6.根据权利要求5所述的设备，其中，第一和第二扫描仪器选自于以下一组，该组包括：机电扫描反射镜、可寻址偏转器堆栈、声光扫描仪以及电光扫描仪。
7.根据权利要求1所述的设备，其中所述输入焦点调制器选自于以下一组，该组包括：液晶透镜、液体透镜、可变形薄膜反射镜、可变形薄膜充液透镜、可寻址透镜堆栈以及电光透镜。
8.如权利要求1所述的装置，其中所述辐射率传感器被选自于以下一组，该组包括：单色辐射率传感器以及多色辐射率传感器。
9.根据权利要求1所述的设备，其中辐射率传感器包括至少一个选自于以下一组的光电检测器，该组包括：在光电导模式下运行的光电二极管、在光致电压模式下运行的光电二极管、光敏晶体管以及光敏电阻器。
10.根据权利要求1所述的设备，其中所述辐射率传感器包括多个光电检测器，每个光电检测器适配为具有不同的光谱响应。
11.根据权利要求1所述设备，其中，所述辐射率采样器包括至少一个模数转换器(ADC)。
12.根据权利要求1所述的设备，其中，所述光束生成器包括至少一个选自于以下一组的光发射器，该组包括：激光器、激光二极管、发光二极管、荧光灯以及白炽灯。
13.根据权利要求1所述的设备，其中所述光束生成器包括多个光发射器，每个光发射器具有不同的发射光谱，并且每个光发射器选自于以下一组，该组包括：激光器、激光二极管、发光二极管、荧光灯以及白炽灯。
14.根据权利要求1所述的设备，其中，所述辐射率调制器是所述光束生成器所固有的。
15.根据权利要求1所述的设备，其中所述辐射率调制器选自于以下一组，该组包括：声光调制器、吸收性电光调制器以及折射电光调制器。
16.根据权利要求1所述的设备，还包括作用于输出光束的角度重建滤波器。
17.根据权利要求1所述的设备，其中，所述输出焦点调制器选自于以下一组，该组包括：液晶透镜、液体透镜、可变形薄膜反射镜、可变形薄膜充液透镜、可寻址透镜堆栈以及电光透镜。
18.根据权利要求1所述的设备，还包括至少一个致动器，用于使得所述阵列在至少两个位置之间摆动。
19.一种用于捕获输入光场并显示输出光场的方法，该方法对于位置的阵列的每个包括如下步骤：
(a)扫描在二维视场上的输入光束和输出光束；
(b)随着时间调制输入光束的焦点；
(c)随着时间感测输入光束的辐射率；
(d)在离散时间处采样输入光束的辐射率；
(e)生成输出光束；
(f)随着时间调制该输出光束的辐射率；以及
(g)随着时间调制所述输出光束的焦点。
20.根据权利要求19所述的方法，其中步骤(b)包括根据与视场内的所扫描的输入光束的位置和瞬时方向对应的指定输入深度值调制所述输入光束的焦点，以及步骤(g)包括根据与视场内的所扫描的输出光束的位置和瞬时方向对应的指定输出深度值调制所述输出光束的焦点。
CN201380052016.0A 2012-08-04 2013-08-05 扫描双向光场相机和显示器 Active CN104704821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/567,010 2012-08-04
US13/567,010 US8754829B2 (en) 2012-08-04 2012-08-04 Scanning light field camera and display
PCT/IB2013/056412 WO2014024121A1 (en) 2012-08-04 2013-08-05 Scanning two-way light field camera and display

Publications (2)

Publication Number Publication Date
CN104704821A true CN104704821A (zh) 2015-06-10
CN104704821B CN104704821B (zh) 2017-10-24

Family

ID=50025045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380052016.0A Active CN104704821B (zh) 2012-08-04 2013-08-05 扫描双向光场相机和显示器

Country Status (5)

Country Link
US (12) US8754829B2 (zh)
EP (1) EP2880864A4 (zh)
CN (1) CN104704821B (zh)
AU (1) AU2013301200B2 (zh)
WO (1) WO2014024121A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206902A (zh) * 2016-12-16 2018-06-26 深圳超多维光电子有限公司 一种光场相机
CN108206901A (zh) * 2016-12-16 2018-06-26 深圳超多维光电子有限公司 一种光场相机
CN108370411A (zh) * 2015-09-29 2018-08-03 汤姆逊许可公司 重新聚焦由全光照相机捕捉的图像的方法和基于音频的重新聚焦图像系统
CN109074674A (zh) * 2016-02-26 2018-12-21 南加州大学 具有选择性体积照射和光场检测的优化容积成像
CN109564689A (zh) * 2016-08-12 2019-04-02 微视公司 用于可调整分辨率深度映射的设备和方法
CN109601013A (zh) * 2016-07-15 2019-04-09 光场实验室公司 用于二维、光场和全息能量的传播的能量中继器和横向安德森局域化
CN110050200A (zh) * 2016-11-10 2019-07-23 莱卡地球系统公开股份有限公司 激光扫描仪
CN110208267A (zh) * 2019-06-21 2019-09-06 中国海洋大学 一种适应不同透射率目标的海洋生物双向光场原位观测方法
CN110235046A (zh) * 2017-03-07 2019-09-13 歌尔股份有限公司 一种激光投影装置和一种激光投影系统
CN110506418A (zh) * 2017-04-13 2019-11-26 奥崔迪合作公司 联合双边滤波器的有效实施
CN110651218A (zh) * 2017-04-04 2020-01-03 恩耐公司 用于检流计扫描仪校准的光学基准生成
CN111051962A (zh) * 2017-07-12 2020-04-21 罗伯特·博世有限公司 用于数据眼镜的投影设备、数据眼镜和用于操作投影设备的方法
CN111771157A (zh) * 2019-02-01 2020-10-13 京东方科技集团股份有限公司 与显示面板集成以进行tof 3d空间定位的设备
WO2021073346A1 (zh) * 2019-10-14 2021-04-22 Oppo广东移动通信有限公司 摄像头模组和终端设备
CN112967369A (zh) * 2021-04-20 2021-06-15 北京天空卫士网络安全技术有限公司 一种光线展示方法和装置
US11179807B2 (en) 2015-11-23 2021-11-23 Nlight, Inc. Fine-scale temporal control for laser material processing
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置
CN114160960A (zh) * 2021-06-15 2022-03-11 苏州创鑫激光科技有限公司 一种激光加工方法及其装置
US11331756B2 (en) 2015-11-23 2022-05-17 Nlight, Inc. Fine-scale temporal control for laser material processing
CN114730081A (zh) * 2019-09-03 2022-07-08 光场实验室公司 用于游戏环境的光场显示系统
US11465232B2 (en) 2014-06-05 2022-10-11 Nlight, Inc. Laser patterning skew correction
US11886052B2 (en) 2016-09-29 2024-01-30 Nlight, Inc Adjustable beam characteristics

Families Citing this family (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN108333767A (zh) 2012-01-24 2018-07-27 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
KR20150084784A (ko) * 2012-09-04 2015-07-22 솔리디디디 코포레이션 무안경 입체 비디오 디스플레이를 위한 스위칭가능 렌티큘러 어레이
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
US9874760B2 (en) 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
TWI508524B (zh) * 2012-10-26 2015-11-11 Quanta Comp Inc 裸視立體顯示裝置之自動調校方法及系統
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9225969B2 (en) * 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US9477087B2 (en) * 2013-03-12 2016-10-25 3DIcon Corporation Holoform 3D projection display
TWI625551B (zh) * 2013-03-15 2018-06-01 傲思丹度科技公司 具有改良之視角深度及解析度之三維光場顯示器及方法
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
KR102093341B1 (ko) * 2013-06-24 2020-03-25 삼성전자주식회사 광학적 어드레싱 공간 광변조기 기반 홀로그래픽 디스플레이
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9594247B2 (en) * 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9841599B2 (en) * 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
CA2938262C (en) 2014-01-31 2021-01-19 Magic Leap, Inc. Multi-focal display system and method
NZ724518A (en) 2014-03-05 2021-12-24 Univ Arizona Wearable 3d augmented reality display
US10417824B2 (en) 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9414087B2 (en) * 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9672387B2 (en) * 2014-04-28 2017-06-06 Sony Corporation Operating a display of a user equipment
CN103990998B (zh) * 2014-05-20 2017-01-25 广东工业大学 基于应力刚化原理的刚度频率可调二维微动平台
CA3141963A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
AU2015266585B2 (en) 2014-05-30 2020-05-21 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
KR101638412B1 (ko) * 2014-08-19 2016-07-21 한국과학기술연구원 레이저 빔 스캐닝 방식의 투사광학계를 이용한 3차원 영상표시장치
KR102281690B1 (ko) * 2014-12-01 2021-07-26 삼성전자주식회사 3 차원 이미지 생성 방법 및 장치
JP6738336B2 (ja) 2014-12-29 2020-08-12 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 音響光学制御装置を使用する光投影器
US9883007B2 (en) * 2015-01-20 2018-01-30 Microsoft Technology Licensing, Llc Downloading an application to an apparatus
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
CN111781726B (zh) 2015-01-26 2022-05-10 奇跃公司 具有改进的衍射光栅结构的虚拟和增强现实系统和方法
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
CN106034232B (zh) * 2015-03-12 2018-03-23 北京智谷睿拓技术服务有限公司 显示控制方法和装置
EP3070942B1 (en) * 2015-03-17 2023-11-22 InterDigital CE Patent Holdings Method and apparatus for displaying light field video data
WO2016154026A2 (en) 2015-03-20 2016-09-29 Castar, Inc. Retroreflective light field display
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
EP3286596B1 (en) 2015-04-21 2022-11-02 University of Rochester Cloaking systems and methods
CN107431797B (zh) 2015-04-23 2019-10-11 奥斯坦多科技公司 用于全视差光场显示系统的方法和装置
WO2016172385A1 (en) 2015-04-23 2016-10-27 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
JP6837003B2 (ja) 2015-04-30 2021-03-03 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 眼と異なるレンズの位置を補正する、実際のシーンを見るための仮想眼鏡セット
KR102580771B1 (ko) 2015-05-04 2023-09-19 매직 립, 인코포레이티드 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
EP3304172A4 (en) * 2015-05-28 2019-01-02 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
EP3099079A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method for displaying, in a vehicle, a content from 4d light field data associated with a scene
EP3099077B1 (en) 2015-05-29 2020-07-15 InterDigital CE Patent Holdings Method for displaying a content from 4d light field data
EP3099076B1 (en) * 2015-05-29 2019-08-07 InterDigital CE Patent Holdings Method for displaying a content from 4d light field data
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
NZ752336A (en) * 2015-08-18 2023-06-30 Magic Leap Inc Virtual and augmented reality systems and methods
JP6663193B2 (ja) * 2015-09-10 2020-03-11 キヤノン株式会社 撮像装置およびその制御方法
EP3144879A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a light field
EP3350769B1 (en) * 2015-09-17 2024-11-13 InterDigital VC Holdings, Inc. Light field data representation
EP3144885A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Light field data representation
US9787963B2 (en) * 2015-10-08 2017-10-10 Soraa Laser Diode, Inc. Laser lighting having selective resolution
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
KR102701209B1 (ko) 2015-10-20 2024-08-29 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
NZ742532A (en) 2015-11-04 2019-05-31 Magic Leap Inc Light field display metrology
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
CN108780222B (zh) * 2015-12-08 2021-07-06 密歇根大学董事会 用于实时横截面显微内镜的3d mems扫描仪
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10440307B2 (en) * 2015-12-22 2019-10-08 Casio Computer Co., Ltd. Image processing device, image processing method and medium
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
CN106254857B (zh) * 2015-12-31 2018-05-04 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254804B (zh) * 2016-01-18 2019-03-29 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
EP4418070A3 (en) 2016-03-31 2024-11-13 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US11067797B2 (en) 2016-04-07 2021-07-20 Magic Leap, Inc. Systems and methods for augmented reality
JP6911045B2 (ja) 2016-04-12 2021-07-28 クイッディエント・エルエルシー 日常シーン復元エンジン
US10838484B2 (en) * 2016-04-21 2020-11-17 Magic Leap, Inc. Visual aura around field of view
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US10453431B2 (en) * 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
AU2017266933B2 (en) 2016-05-20 2023-01-12 Magic Leap, Inc. Contextual awareness of user interface menus
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3264759A1 (en) 2016-06-30 2018-01-03 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
EP3264755A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
KR101894375B1 (ko) * 2016-07-13 2018-09-04 이화여자대학교 산학협력단 스캐닝 마이크로 미러
US10215983B2 (en) 2016-07-19 2019-02-26 The Board Of Trustees Of The University Of Illinois Method and system for near-eye three dimensional display
EP3493538B1 (en) * 2016-07-27 2023-05-03 Toppan Printing Co., Ltd. Color calibration device, color calibration system, color calibration hologram, color calibration method, and program
EP3494457A1 (en) 2016-08-05 2019-06-12 University of Rochester Virtual window
US10496238B2 (en) 2016-08-22 2019-12-03 University Of Rochester 3D display ray principles and methods, zooming, and real-time demonstration
US10091496B2 (en) * 2016-11-28 2018-10-02 X Development Llc Systems, devices, and methods for calibrating a light field projection system
WO2018098436A1 (en) 2016-11-28 2018-05-31 Spy Eye, Llc Unobtrusive eye mounted display
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10088686B2 (en) 2016-12-16 2018-10-02 Microsoft Technology Licensing, Llc MEMS laser scanner having enlarged FOV
US10685492B2 (en) 2016-12-22 2020-06-16 Choi Enterprise, LLC Switchable virtual reality and augmented/mixed reality display device, and light field methods
US10448824B2 (en) * 2016-12-29 2019-10-22 Intel Corporation Focus adjustment method and apparatus
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
WO2018165117A1 (en) 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics
EP3593196B1 (en) * 2017-03-09 2023-11-01 Arizona Board of Regents on behalf of the University of Arizona Head-mounted light field display with integral imaging and waveguide prism
US10593718B2 (en) 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10768693B2 (en) 2017-04-19 2020-09-08 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US9958684B1 (en) 2017-04-28 2018-05-01 Microsoft Technology Licensing, Llc Compact display engine with MEMS scanners
US9971150B1 (en) 2017-04-28 2018-05-15 Microsoft Technology Licensing, Llc Compact display engine with MEMS scanners
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN110325897B (zh) * 2017-05-26 2021-10-22 谷歌有限责任公司 具有扩展的调节范围调整的近眼显示器
US10855977B2 (en) * 2017-05-26 2020-12-01 Google Llc Near-eye display with extended accommodation range adjustment
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
EP3416371A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10489383B1 (en) * 2017-06-30 2019-11-26 Quantcast Corporation Identifying variance in distributed systems
US10388026B1 (en) * 2017-07-07 2019-08-20 Facebook Technologies, Llc Fast scanning large field-of-view devices for depth sensing
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
KR102447101B1 (ko) * 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10776995B2 (en) 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
KR102395792B1 (ko) 2017-10-18 2022-05-11 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10616562B2 (en) * 2017-12-21 2020-04-07 X Development Llc Directional light emitters and electronic displays featuring the same
CN112105975A (zh) 2018-01-14 2020-12-18 光场实验室公司 用于能量中继器中使用有序结构进行横向能量局域化的系统和方法
US11092930B2 (en) 2018-01-14 2021-08-17 Light Field Lab, Inc. Holographic and diffractive optical encoding systems
US11579465B2 (en) 2018-01-14 2023-02-14 Light Field Lab, Inc. Four dimensional energy-field package assembly
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10580349B2 (en) 2018-02-09 2020-03-03 Tectus Corporation Backplane for eye-mounted display
KR102561101B1 (ko) * 2018-02-19 2023-07-28 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치
CN108508281B (zh) * 2018-03-19 2020-04-17 江苏伏波海洋探测科技有限公司 舰船静电场的基于点电源频域法的深度换算方法
US11546575B2 (en) 2018-03-22 2023-01-03 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods of rendering light field images for integral-imaging-based light field display
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
CN112470191B (zh) 2018-05-02 2024-10-01 奎蒂安特有限公司 用于处理具有几乎无限细节的场景的编解码器
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
US10996769B2 (en) 2018-06-11 2021-05-04 Tectus Corporation Contact lens-based eye tracking
US10867198B2 (en) * 2018-07-03 2020-12-15 Gingy Technology Inc. Image capturing device and image capturing module
TWM570473U (zh) * 2018-07-03 2018-11-21 金佶科技股份有限公司 取像模組
CN108921908B (zh) * 2018-07-03 2020-07-28 百度在线网络技术（北京）有限公司 表面光场的采集方法、装置及电子设备
US20200018962A1 (en) * 2018-07-11 2020-01-16 Facebook Technologies, Llc Adaptive lenses for near-eye displays
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
EP3598730A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Light field capturing system and corresponding calibration device, method and computer program product
WO2020023669A1 (en) 2018-07-25 2020-01-30 Light Field Lab, Inc. Light field display system based amusement park attraction
US10529107B1 (en) 2018-09-11 2020-01-07 Tectus Corporation Projector alignment in a contact lens
US10979681B2 (en) * 2018-09-13 2021-04-13 Varjo Technologies Oy Display apparatus and method of displaying using light source and beam scanning arrangement
WO2020061714A1 (en) * 2018-09-28 2020-04-02 Peckham Jordan Direct projection light field display
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
CN109361794B (zh) * 2018-11-19 2021-04-20 Oppo广东移动通信有限公司 移动终端的变焦控制方法、装置、存储介质及移动终端
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
CN109212771A (zh) * 2018-11-27 2019-01-15 上海天马微电子有限公司 一种三维显示装置及显示方法
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
RU191844U1 (ru) * 2019-01-24 2019-08-23 Андрей Игоревич Бурсов Фузионный тренажер
JP7201486B2 (ja) * 2019-03-13 2023-01-10 日立建機株式会社 作業機械
US11212514B2 (en) 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
EP3949422A1 (en) * 2019-03-26 2022-02-09 PCMS Holdings, Inc. System and method for multiplexed rendering of light fields
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11428933B2 (en) * 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
CN110275288B (zh) * 2019-06-21 2021-06-22 无锡迅杰光远科技有限公司 一种多向mems扫描装置
CN114365026B (zh) * 2019-07-01 2024-08-13 Pcms控股公司 用于基于光束转向对3d显示器进行连续校准的方法和系统
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens
EP4010756A4 (en) 2019-08-09 2023-09-20 Light Field Lab, Inc. DIGITAL SIGNAL SYSTEM BASED ON A LIGHT FIELD DISPLAY SYSTEM
KR102645824B1 (ko) 2019-08-14 2024-03-07 아발론 홀로그래픽스 인크. 광 필드 프로젝터 장치
KR20220054619A (ko) 2019-09-03 2022-05-03 라이트 필드 랩 인코포레이티드 모바일 장치를 위한 라이트필드 디스플레이
WO2021076424A1 (en) 2019-10-15 2021-04-22 Pcms Holdings, Inc. Method for projecting an expanded virtual image with a small light field display
CA3157637A1 (en) 2019-12-03 2021-06-10 Brendan Elwood BEVENSEE Light field display system for video games and electronic sports
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11579520B2 (en) 2020-05-05 2023-02-14 The University Of British Columbia Light field display
CN111610634B (zh) * 2020-06-23 2022-05-27 京东方科技集团股份有限公司 一种基于四维光场的显示系统及其显示方法
CN111736420A (zh) * 2020-06-28 2020-10-02 瑞声通讯科技(常州)有限公司 三维成像模组及其制作方法
WO2022040237A1 (en) * 2020-08-17 2022-02-24 LiquidView Corp Virtual window apparatus and system
CN111781734B (zh) * 2020-08-30 2023-08-15 成都航空职业技术学院 基于双显示屏的双视3d显示装置及方法
CN114167605A (zh) 2020-09-11 2022-03-11 中强光电股份有限公司 近眼光场显示装置
WO2022063728A1 (en) * 2020-09-25 2022-03-31 Interdigital Ce Patent Holdings, Sas Light field display
CN112445006A (zh) * 2020-09-28 2021-03-05 南京工程学院 一种可2d/3d同屏显示的不规则菱形透镜阵列及制备方法
US12101579B1 (en) 2020-10-16 2024-09-24 Julian P. Quist Live projected display panel system
US11961240B2 (en) 2021-06-11 2024-04-16 Mechanical Solutions Inc. Systems and methods for improved observation and detection using time video synchronization and synchronous time averaging
US11967335B2 (en) 2021-09-03 2024-04-23 Google Llc Foveated beamforming for augmented reality devices and wearables
KR102421512B1 (ko) * 2022-03-14 2022-07-15 정현인 휴대용 입체촬영 카메라 및 시스템
WO2024176749A1 (ja) * 2023-02-20 2024-08-29 ソニーグループ株式会社 情報処理装置、立体映像表示システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269103A (zh) * 1997-06-28 2000-10-04 英国国防部 自动立体显示器
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20070242237A1 (en) * 2006-04-17 2007-10-18 Thomas Clarence E System and Methods for Angular Slice True 3-D Display
CN101518096A (zh) * 2006-09-20 2009-08-26 苹果公司 三维显示系统

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488862A (en) * 1993-10-18 1996-02-06 Armand P. Neukermans Monolithic silicon rate-gyro with integrated sensors
US5629790A (en) * 1993-10-18 1997-05-13 Neukermans; Armand P. Micromachined torsional scanner
US5535047A (en) 1995-04-18 1996-07-09 Texas Instruments Incorporated Active yoke hidden hinge digital micromirror device
JP3787939B2 (ja) * 1997-02-27 2006-06-21 コニカミノルタホールディングス株式会社 立体映像表示装置
US6201629B1 (en) 1997-08-27 2001-03-13 Microoptical Corporation Torsional micro-mechanical mirror system
US6140979A (en) 1998-08-05 2000-10-31 Microvision, Inc. Scanned display with pinch, timing, and distortion correction
US6317169B1 (en) * 1999-04-28 2001-11-13 Intel Corporation Mechanically oscillated projection display
US6525310B2 (en) * 1999-08-05 2003-02-25 Microvision, Inc. Frequency tunable resonant scanner
ES2227200T3 (es) 2000-05-19 2005-04-01 Tibor Balogh Metodo y aparato para presentar imagenes 3d.
US7072086B2 (en) * 2001-10-19 2006-07-04 Batchko Robert G Digital focus lens system
US7170480B2 (en) * 2000-11-01 2007-01-30 Visioneered Image Systems, Inc. Video display apparatus
US20020117605A1 (en) * 2001-01-08 2002-08-29 Alden Ray M. Three-dimensional receiving and displaying process and apparatus with military application
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
US7034939B2 (en) * 2002-03-11 2006-04-25 Spectir Corporation Calibration system and method for calibration of various types of polarimeters
US6803938B2 (en) * 2002-05-07 2004-10-12 Texas Instruments Incorporated Dynamic laser printer scanning alignment using a torsional hinge mirror
US7071594B1 (en) * 2002-11-04 2006-07-04 Microvision, Inc. MEMS scanner with dual magnetic and capacitive drive
JP4003129B2 (ja) 2003-01-22 2007-11-07 ソニー株式会社 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法
US20060192869A1 (en) 2005-02-28 2006-08-31 Kazutora Yoshino Multi-dimensional input, transfer, optional memory, and output method
US7408145B2 (en) * 2003-09-23 2008-08-05 Kyle Holland Light sensing instrument with modulated polychromatic source
KR20070064319A (ko) * 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
BRPI0612417A2 (pt) 2005-05-06 2010-11-09 Seereal Technologies Gmbh dispositivo para a reconstrução de cenas tridimensionais com hologramas de vìdeo
JP2007086145A (ja) * 2005-09-20 2007-04-05 Sony Corp ３次元表示装置
US7312917B2 (en) * 2005-09-23 2007-12-25 Hewlett-Packard Development Company, L.P. Variable focal length electro-optic lens
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US20110149018A1 (en) * 2006-10-26 2011-06-23 Seereal Technologies S.A. Holographic display device comprising magneto-optical spatial light modulator
US20080239061A1 (en) * 2007-03-30 2008-10-02 Cok Ronald S First portable communication device
US20090015956A1 (en) * 2007-07-10 2009-01-15 Motorola, Inc. Method and Apparatus for Coupling a Microelectromechanical System Scanner Mirror to a Frame
GB0716776D0 (en) * 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
US8403490B2 (en) * 2007-09-26 2013-03-26 Panasonic Corporation Beam scanning-type display device, method, program and integrated circuit
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
WO2009136218A1 (en) 2008-05-06 2009-11-12 Microvision Inc. An apparatus for displaying 3 d images
US20100098323A1 (en) * 2008-07-18 2010-04-22 Agrawal Amit K Method and Apparatus for Determining 3D Shapes of Objects
US8704822B2 (en) * 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US8416289B2 (en) * 2009-04-28 2013-04-09 Microsoft Corporation Light-field display
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8218014B2 (en) * 2009-07-30 2012-07-10 Microvision, Inc. Electromagnetic scanner having variable coil width
EP2470965A4 (en) * 2009-08-25 2013-02-27 Lg Electronics Inc APPARATUS AND METHOD FOR RECONSTRUCTING A HOLOGRAM
WO2011071958A2 (en) * 2009-12-07 2011-06-16 William Marsh Rice University Apparatus and method for compressive imaging and sensing through multiplexed modulation
EP2398235A3 (en) 2010-02-08 2013-08-21 Bronstein Bronstein Kimmel Technologies Ltd. Imaging and projection devices and methods
US8072664B1 (en) 2010-05-26 2011-12-06 Hong Kong Applied Science & Technology Research Institute, Ltd. Biaxial scanning mirror having resonant frequency adjustment
US9007444B2 (en) * 2010-10-07 2015-04-14 Massachusetts Institute Of Technology Array directed light-field display for autostereoscopic viewing
KR101670927B1 (ko) * 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
US8628193B2 (en) * 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
KR101807691B1 (ko) * 2011-01-11 2017-12-12 삼성전자주식회사 3차원 디스플레이장치
US9641823B2 (en) * 2011-01-31 2017-05-02 Hewlett-Packard Development Company, L.P. Embedded light field display architecture to process and display three-dimensional light field data
US20120200829A1 (en) * 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US8651678B2 (en) * 2011-11-29 2014-02-18 Massachusetts Institute Of Technology Polarization fields for dynamic light field display
US8848006B2 (en) * 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
US8690321B2 (en) * 2012-04-21 2014-04-08 Paul Lapstun Fixation-based control of electroactive spectacles
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269103A (zh) * 1997-06-28 2000-10-04 英国国防部 自动立体显示器
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20070242237A1 (en) * 2006-04-17 2007-10-18 Thomas Clarence E System and Methods for Angular Slice True 3-D Display
CN101518096A (zh) * 2006-09-20 2009-08-26 苹果公司 三维显示系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465232B2 (en) 2014-06-05 2022-10-11 Nlight, Inc. Laser patterning skew correction
US10880466B2 (en) 2015-09-29 2020-12-29 Interdigital Ce Patent Holdings Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
CN108370411A (zh) * 2015-09-29 2018-08-03 汤姆逊许可公司 重新聚焦由全光照相机捕捉的图像的方法和基于音频的重新聚焦图像系统
US11331756B2 (en) 2015-11-23 2022-05-17 Nlight, Inc. Fine-scale temporal control for laser material processing
US11794282B2 (en) 2015-11-23 2023-10-24 Nlight, Inc. Fine-scale temporal control for laser material processing
US11179807B2 (en) 2015-11-23 2021-11-23 Nlight, Inc. Fine-scale temporal control for laser material processing
CN109074674A (zh) * 2016-02-26 2018-12-21 南加州大学 具有选择性体积照射和光场检测的优化容积成像
CN109074674B (zh) * 2016-02-26 2023-10-24 南加州大学 具有选择性体积照射和光场检测的优化容积成像
CN109601013A (zh) * 2016-07-15 2019-04-09 光场实验室公司 用于二维、光场和全息能量的传播的能量中继器和横向安德森局域化
CN109564689A (zh) * 2016-08-12 2019-04-02 微视公司 用于可调整分辨率深度映射的设备和方法
US11886052B2 (en) 2016-09-29 2024-01-30 Nlight, Inc Adjustable beam characteristics
CN110050200A (zh) * 2016-11-10 2019-07-23 莱卡地球系统公开股份有限公司 激光扫描仪
US11703597B2 (en) 2016-11-10 2023-07-18 Leica Geosystems Ag Laser scanner
CN108206901B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
CN108206902B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
CN108206901A (zh) * 2016-12-16 2018-06-26 深圳超多维光电子有限公司 一种光场相机
CN108206902A (zh) * 2016-12-16 2018-06-26 深圳超多维光电子有限公司 一种光场相机
CN110235046A (zh) * 2017-03-07 2019-09-13 歌尔股份有限公司 一种激光投影装置和一种激光投影系统
CN110651218A (zh) * 2017-04-04 2020-01-03 恩耐公司 用于检流计扫描仪校准的光学基准生成
US11173548B2 (en) 2017-04-04 2021-11-16 Nlight, Inc. Optical fiducial generation for galvanometric scanner calibration
CN110506418A (zh) * 2017-04-13 2019-11-26 奥崔迪合作公司 联合双边滤波器的有效实施
CN110506418B (zh) * 2017-04-13 2021-05-25 奥崔迪合作公司 联合双边滤波器的有效实施
CN111051962A (zh) * 2017-07-12 2020-04-21 罗伯特·博世有限公司 用于数据眼镜的投影设备、数据眼镜和用于操作投影设备的方法
CN111051962B (zh) * 2017-07-12 2022-08-12 罗伯特·博世有限公司 用于数据眼镜的投影设备、数据眼镜和用于操作投影设备的方法
CN111771157A (zh) * 2019-02-01 2020-10-13 京东方科技集团股份有限公司 与显示面板集成以进行tof 3d空间定位的设备
CN110208267A (zh) * 2019-06-21 2019-09-06 中国海洋大学 一种适应不同透射率目标的海洋生物双向光场原位观测方法
CN114730081A (zh) * 2019-09-03 2022-07-08 光场实验室公司 用于游戏环境的光场显示系统
WO2021073346A1 (zh) * 2019-10-14 2021-04-22 Oppo广东移动通信有限公司 摄像头模组和终端设备
CN112967369A (zh) * 2021-04-20 2021-06-15 北京天空卫士网络安全技术有限公司 一种光线展示方法和装置
CN114160960A (zh) * 2021-06-15 2022-03-11 苏州创鑫激光科技有限公司 一种激光加工方法及其装置
CN114078153B (zh) * 2021-11-18 2022-06-14 清华大学 面向散射场景的光场编码摄像方法及装置
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置

Also Published As

Publication number Publication date
CN104704821B (zh) 2017-10-24
US8933862B2 (en) 2015-01-13
US10733924B2 (en) 2020-08-04
US10909892B2 (en) 2021-02-02
US20140253993A1 (en) 2014-09-11
US20190259319A1 (en) 2019-08-22
US20140035959A1 (en) 2014-02-06
US20150116528A1 (en) 2015-04-30
AU2013301200A1 (en) 2015-03-19
US20150319429A1 (en) 2015-11-05
US9456116B2 (en) 2016-09-27
US20170004750A1 (en) 2017-01-05
EP2880864A1 (en) 2015-06-10
EP2880864A4 (en) 2016-06-08
US8754829B2 (en) 2014-06-17
US20140292620A1 (en) 2014-10-02
US10311768B2 (en) 2019-06-04
WO2014024121A1 (en) 2014-02-13
US20150319344A1 (en) 2015-11-05
US20150319355A1 (en) 2015-11-05
US20190259320A1 (en) 2019-08-22
US10008141B2 (en) 2018-06-26
US20150319430A1 (en) 2015-11-05
AU2013301200B2 (en) 2017-09-14
US9965982B2 (en) 2018-05-08
US20140240809A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
US11700364B2 (en) Light field display
US10948712B2 (en) Augmented reality light field display
CN104704821B (zh) 扫描双向光场相机和显示器
US10432919B2 (en) Shuttered waveguide light field display
US9860522B2 (en) Head-mounted light field display
US9841563B2 (en) Shuttered waveguide light field display
CN105934902A (zh) 虚拟和增强现实系统与方法
US20230045982A1 (en) Shuttered Light Field Display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210519

Address after: New South Wales, Australia

Patentee after: Convergence research Pte. Ltd.

Address before: New South Wales, Australia

Patentee before: Paul Rapston

TR01 Transfer of patent right