Nothing Special   »   [go: up one dir, main page]

KR102556320B1 - Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 - Google Patents

Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 Download PDF

Info

Publication number
KR102556320B1
KR102556320B1 KR1020227006658A KR20227006658A KR102556320B1 KR 102556320 B1 KR102556320 B1 KR 102556320B1 KR 1020227006658 A KR1020227006658 A KR 1020227006658A KR 20227006658 A KR20227006658 A KR 20227006658A KR 102556320 B1 KR102556320 B1 KR 102556320B1
Authority
KR
South Korea
Prior art keywords
display
user
display system
reducing
change
Prior art date
Application number
KR1020227006658A
Other languages
English (en)
Other versions
KR20220027303A (ko
Inventor
탈 모르
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020237023562A priority Critical patent/KR20230109789A/ko
Publication of KR20220027303A publication Critical patent/KR20220027303A/ko
Application granted granted Critical
Publication of KR102556320B1 publication Critical patent/KR102556320B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3648Control of matrices with row and column drivers using an active matrix
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of El Displays (AREA)
  • Electronic Switches (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

일부 실시예들에서, 눈 추적은 디스플레이 시스템의 사용자가 깜빡이고 있는지 그렇지 않으면, 볼 수 없는지를 결정하기 위해, AR 또는 VR 디스플레이 시스템 상에서 사용된다. 이에 응답하여, 디스플레이 시스템과 연관된 디스플레이의 전류 드레인 또는 전력 사용은, 예를 들어, 디스플레이와 연관된 광 소스를 디밍 또는 턴 오프함으로써, 또는 지정된 수의 프레임들을 스킵하거나 지정된 시간 기간 동안 리프레시 레이트를 감소시키도록 그래픽 드라이버를 구성함으로써 감소될 수 있다.

Description

AR/VR 디스플레이 시스템들에서의 전류 드레인 감소{CURRENT DRAIN REDUCTION IN AR/VR DISPLAY SYSTEMS}
[0001] 본 출원은, 2016년 3월 4일자로 출원된 미국 가출원 제62/304,098호를 우선권으로 주장하며, 그리하여 상기 출원은 그 전체가 인용에 의해 본원에 통합된다.
[0002] 본 개시내용은 가상 현실 및 증강 현실 이미징 및 시각화 시스템들에 관한 것으로, 보다 구체적으로는, 가상 현실 및 증강 현실 시스템들의 전력 관리에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004] 본 개시내용의 시스템들, 방법들, 및 디바이스들 각각은 여러 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 단독으로 담당하지 않는다. 다양한 예시적인 시스템들 및 방법들이 아래에 제공된다.
[0005] 실시예 1: 감소된 전력 사용을 갖는 디스플레이 시스템으로서,
내향 센서;
디스플레이; 및
내향 센서 및 디스플레이와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는,
내향 센서를 이용하여 사용자의 눈 상태의 변화를 검출하고, 그리고
사용자의 눈 상태의 변화가 검출될 때에 기초하여 디스플레이 시스템의 전류 드레인(current drain)을 감소시키도록 구성된다.
[0006] 실시예 2 : 실시예 1의 디스플레이 시스템에 있어서, 사용자의 눈 상태의 변화는 깜빡임(blink) 또는 단속적 운동(saccade)이다.
[0007] 실시예 3: 실시예 1 또는 실시예 2의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 디스플레이의 광 소스를 디밍(dimming)하는 것을 포함한다.
[0008] 실시예 4: 실시예 1 또는 실시예 2의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 포함한다.
[0009] 실시예 5: 실시예 1 내지 실시예 4 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이의 전류 드레인을 감소시키는 것은, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함한다.
[0010] 실시예 6: 실시예 5의 디스플레이 시스템에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵(skip)하도록 구성되며, 지정된 수의 프레임들은 눈이 깜빡이거나 단속적 운동하는 시간의 길이에 기초한다.
[0011] 실시예 7: 실시예 1 내지 실시예 6 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0012] 실시예 8: 실시예 1 내지 실시예 7 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0013] 실시예 9: 실시예 1 내지 실시예 8 중 임의의 실시예의 디스플레이 시스템에 있어서, 내향 센서는 카메라를 포함한다.
[0014] 실시예 10: 실시예 1 내지 실시예 9 중 임의의 실시예의 디스플레이 시스템에 있어서, 내향 센서는 눈-추적 카메라를 포함한다.
[0015] 실시예 11: 실시예 1 내지 실시예 10 중 임의의 실시예의 디스플레이 시스템에 있어서, 프로세싱 전자기기는 디스플레이와 연관된 리프레시 레이트(refresh rate)를 감소시킴으로써 디스플레이의 전류 드레인을 감소시키도록 구성된다.
[0016] 실시예 12: 실시예 1 내지 실시예 11 중 임의의 실시예의 디스플레이 시스템에 있어서, 그래픽 드라이버를 더 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 것은 그래픽 드라이버의 전력 소비를 감소시키는 것을 포함한다.
[0017] 실시예 13: 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법으로서,
내향 센서를 이용하여 사용자의 눈 상태의 변화를 검출하는 단계, 및
사용자의 눈 상태의 변화가 검출될 때에 기초하여 디스플레이 시스템의 전류 드레인을 감소시키는 단계를 포함한다.
[0018] 실시예 14: 실시예 13의 방법에 있어서, 사용자의 눈 상태의 변화는 깜빡임 또는 단속적 운동이다.
[0019] 실시예 15: 실시예 13 또는 실시예 14에 있어서, 디스플레이 시스템은 광 소스를 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이 시스템의 광 소스를 디밍하는 단계를 포함한다.
[0020] 실시예 16: 실시예 13 또는 실시예 14의 방법에 있어서, 디스플레이 시스템은 광 소스를 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이의 광 소스를 차단하는 단계를 포함한다.
[0021] 실시예 17: 실시예 13 내지 실시예 16 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는, 디스플레이 시스템에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이 시스템과 연관된 그래픽 드라이버를 구성하는 단계를 포함한다.
[0022] 실시예 18: 실시예 17의 방법에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이 또는 눈이 볼 수 없는 시간의 길이에 기초한다.
[0023] 실시예 19: 실시예 17의 방법에 있어서, 그래픽 드라이버는 깜빡임의 길이 또는 눈이 볼 수 없는 시간의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이 시스템에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0024] 실시예 20: 실시예 13 내지 실시예 19 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 LCD 디스플레이를 포함한다.
[0025] 실시예 21: 실시예 13 내지 실시예 20 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0026] 실시예 22: 실시예 13 내지 실시예 21 중 임의의 실시예의 방법에 있어서, 내향 센서는 눈-추적 카메라를 포함한다.
[0027] 실시예 23: 실시예 13 내지 실시예 22 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이와 연관된 리프레시 레이트를 감소시키는 단계를 포함한다.
[0028] 실시예 24: 실시예 13 내지 실시예 23 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 그래픽 드라이버의 전력 소비를 감소시키는 단계를 포함한다.
[0029] 실시예 25: 디스플레이 시스템으로서,
내향 카메라;
디스플레이; 및
내향 카메라 및 디스플레이와 통신하는 하드웨어 프로세싱 전자기기를 포함하고, 하드웨어 프로세싱 전자기기는,
디스플레이의 사용자가 깜빡일 때를 결정하기 위해 카메라를 사용하고; 그리고
사용자가 깜빡인다는 결정에 대한 응답으로, 디스플레이 시스템의 전류 드레인을 감소시키도록 프로그래밍된다.
[0030] 실시예 26: 실시예 25의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 디스플레이의 광 소스를 디밍하는 것을 포함한다.
[0031] 실시예 27: 실시예 25 또는 실시예 26의 디스플레이 시스템에 있어서, 광 소스는 백라이트를 포함한다.
[0032] 실시예 28: 실시예 25 내지 실시예 27 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이의 전류 드레인을 감소시키는 것은, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함한다.
[0033] 실시예 29: 실시예 28의 디스플레이 시스템에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이에 기초한다.
[0034] 실시예 30: 실시예 28의 디스플레이 시스템에 있어서, 그래픽 드라이버는 깜빡임의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0035] 실시예 31: 실시예 25 내지 실시예 30 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0036] 실시예 32: 실시예 25 내지 실시예 31 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0037] 실시예 33: 디스플레이에서 전류 드레인을 감소시키기 위한 방법으로서,
디스플레이 시스템의 사용자가 깜빡일 때를 결정하기 위해 내향 카메라를 사용하는 단계; 및
사용자가 깜빡인다는 결정에 대한 응답으로, 디스플레이의 전류 드레인을 감소시키는 단계를 포함한다.
[0038] 실시예 34: 실시예 33의 방법에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 단계는 디스플레이의 광 소스를 디밍하는 단계를 포함한다.
[0039] 실시예 35: 실시예 34의 방법에 있어서, 광 소스는 백라이트를 포함한다.
[0040] 실시예 36: 실시예 33 내지 실시예 35 중 임의의 실시예의 방법에 있어서, 디스플레이의 전류 드레인을 감소시키는 단계는, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 단계를 포함한다.
[0041] 실시예 37: 실시예 36의 방법에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이에 기초한다.
[0042] 실시예 38: 실시예 36의 방법에 있어서, 그래픽 드라이버는 깜빡임의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0043] 실시예 39: 실시예 33 내지 실시예 38 중 임의의 실시예의 방법에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0044] 실시예 40: 실시예 33 내지 실시예 39 중 임의의 실시예의 방법에 있어서, 디스플레이는 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0045] 실시예 41: 실시예 33 내지 실시예 40 중 임의의 실시예의 방법에 있어서, 카메라는 눈-추적 카메라를 포함한다.
[0046] 실시예 42: 실시예 25 내지 실시예 32 중 임의의 실시예의 디스플레이 시스템에 있어서, 카메라는 눈-추적 카메라를 포함한다.
[0047] 실시예 43: 실시예 1 내지 실시예 12 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 머리 장착 디스플레이를 포함한다.
[0048] 실시예 44: 실시예 1 내지 실시예 12, 또는 실시예 43 중 임의의 실시예의 디스플레이 시스템에 있어서, 사용자의 눈앞에서 디스플레이를 지지하도록 구성된 프레임을 더 포함한다.
[0049] 실시예 45: 실시예 1 내지 실시예 12, 또는 실시예 43 또는 실시예 44 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 이미지 콘텐츠가 상이한 깊이들에 로케이팅된 것으로 사용자에게 나타나도록 상이한 양의 발산을 사용자에 대한 이미지 콘텐츠에 제공하도록 구성되는 AR 또는 VR 시스템을 포함한다.
[0050] 실시예 46: 실시예 13 내지 실시예 23 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 머리 장착 디스플레이를 포함한다.
[0051] 실시예 47: 실시예 13 내지 실시예 23 또는 실시예 46 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 사용자의 눈 앞에서 디스플레이를 지지하도록 구성된 프레임을 더 포함한다.
[0052] 실시예 48: 실시예 13 내지 실시예 23 또는 실시예 46 또는 실시예 47 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 이미지 콘텐츠가 상이한 깊이들에 로케이팅된 것으로 사용자에게 나타나도록 상이한 양의 발산을 사용자에 대한 이미지 콘텐츠에 제공하도록 구성되는 AR 또는 VR 시스템을 포함한다.
[0053] 도 1은 AR(augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0054] 도 2는 착용 가능 디스플레이 시스템의 예를 예시한다.
[0055] 도 3은 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0056] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0057] 도 5a 내지 도 5c는 곡률의 반경과 초점 반경 간의 관계들을 예시한다.
[0058] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0059] 도 7은 도파관에 의해 출력된 퇴장 빔들의 예를 예시한다.
[0060] 도 8은 디스플레이 시스템의 전류 드레인을 감소시키기 위한 프로세스의 흐름도를 예시한다.
[0061] 도면들은 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니라는 것이 인지될 것이다. 동일한 참조 번호들은 전반에 걸쳐 동일한 특징들을 지칭한다.
예시적인 디스플레이 시스템들
[0062] 도 1을 참조하면, 증강 현실 장면(100)이 도시된다. 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했다는 것이 인지될 것이며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 도 1은 이러한 장면의 예를 도시하며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 피처링(featuring)하는 실세계 공원-형 세팅(110)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들(130, 150)은 실세계에 존재하지 않는다. 인간 시각 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 용이하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0063] 도 2는 착용 가능 디스플레이 시스템(200)의 예를 예시한다. 디스플레이 시스템(200)은 디스플레이(208), 및 그 디스플레이(208)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(208)는, 디스플레이 시스템 사용자 또는 뷰어(201)에 의해 착용 가능하고 그리고 사용자(201)의 눈들의 전면에 디스플레이(208)를 포지셔닝하도록 구성된 프레임(212)에 커플링될 수 있다. 디스플레이(208)는 일부 실시예들에서, 아이웨어(eyewear)로 간주될 수 있다. 일부 실시예들에서, 스피커(216)는 프레임(212)에 커플링되고 사용자(201)의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능(shapeable) 사운드 제어를 제공함). 일부 실시예들에서, 디스플레이 시스템은 또한 하나 또는 그 초과의 마이크로폰들(도시되지 않음) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(200)에 입력들 또는 커맨드들(예를 들어, 음성 메뉴 커맨드들의 선택, 자연어 질문 등)을 제공하도록 허용하게 구성되고, 그리고/또는 다른 사람들(예를 들어, 유사한 디스플레이 시스템들의 다른 사용자들)과의 오디오 통신을 허용할 수 있다.
[0064] 도 2를 계속 참조하면, 디스플레이(208)는, 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(212)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(201)에게 제거 가능하게 부착되는 (예를 들어, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(224)에 예컨대, 유선 리드 또는 무선 연결성에 의해, 동작 가능하게 커플링된다. 로컬 프로세싱 및 데이터 모듈(224)은 하드웨어 프로세서 또는 프로세싱 전자기기 또는 회로뿐 아니라, 디지털 메모리 예컨대, 비-휘발성 메모리(예를 들어, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예를 들어 프레임(212)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(201)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(228) 및/또는 원격 데이터 리포지토리(repository)(232)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(208)에 전달하기 위한) 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(224)은 통신 링크들(236, 240)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(228) 및 원격 데이터 리포지토리(232)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(228, 232)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(224)에 대한 자원들로서 이용 가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(224)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 또는 그 초과를 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 또는 그 초과는 프레임(212)에 부착될 수 있거나, 또는 유선 또는 무선 통신 통로들에 의해 로컬 프로세싱 및 데이터 모듈(224)과 통신하는 자립형 구조들일 수 있다.
[0065] 도 2를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(228)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들 또는 프로세싱 전자기기 또는 회로를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(232)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(232)는 정보, 예를 들어, 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)에 제공하는 하나 또는 그 초과의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0066] "3-차원" 또는 "3-D"로서 이미지의 지각은 뷰어의 각각의 눈에 이미지의 약간 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 도 3은 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 2개의 별개의 이미지들(306 및 308)(각각의 눈(302 및 304)에 대해 하나씩)이 사용자에게 출력된다. 이미지들(306, 308)은 뷰어의 시선과 평행한 광학 또는 z-축을 따라 거리(310) 만큼 눈들(302, 304)로부터 이격된다. 이미지들(306, 308)은 편평하고 눈들(302, 304)은 단일 원근조절된 상태를 가정함으로써 이미지들에 포커싱될 수 있다. 그러한 시스템들은 결합된 이미지에 대한 깊이의 지각을 제공하기 위하여 이미지들(306, 308)을 결합하기 위한 인간 시각 시스템에 의존한다.
[0067] 그러나, 인간 시각 시스템은 더 복잡하고 현실적인 깊이의 지각을 제공하는 것이 더 어렵다는 것이 인지될 것이다. 예를 들어, 이론에 의해 제한됨이 없이, 객체의 뷰어들은 이접운동 및 원근조절의 결합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 관련하여 2개의 눈들의 이접운동 움직임들(즉, 객체 상에 고정시키도록 눈들의 시선들을 수렴하기 위하여 서로를 향하는 또는 서로 멀어지는 동공들의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들하에서, 상이한 거리에 있는 하나의 객체로부터 다른 객체로 주의를 시프트할 때 눈들의 이접운동에서의 변화들은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계 하에서, 눈들의 원근조절, 또는 눈들의 렌즈들의 포커스의 매칭하는 변화를 자동으로 유발할 것이다. 마찬가지로, 원근조절의 변화는 정상 조건들하에서, 이접운동의 매칭하는 변화를 트리거할 것이다. 본원에서 언급되는 바와 같이, 다수의 스테레오스코픽 또는 "3-D" 디스플레이 시스템들은, 3-차원 원근투시가 인간 시각 시스템에 의해 지각되도록 각각의 눈에 약간 상이한 프리젠테이션들(그리고 따라서, 약간 상이한 이미지들)을 사용하여 장면을 디스플레이한다. 그러나, 그러한 시스템들은 많은 뷰어들에게 불편할 수 있는데, 그 이유는 다른 것들 중에서, 그러한 시스템들이 단순히 장면의 상이한 프리젠테이션들을 제공하지만, 눈들이 단일 원근조절된 상태에서 모든 이미지 정보를 보고, 그리고 "원근조절-이접운동 반사"에 반하여 작동하기 때문이다. 원근조절과 이접운동 간의 더 양호한 매칭을 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0068] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. z-축 상에서 눈들(302, 304)로부터의 다양한 거리들에 있는 객체들은, 이들 객체들이 인 포커싱(in focus)되도록 눈들(302, 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들에 포커싱을 맞추게 하는 특정 원근조절된 상태들을 가정한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(402) 중 특정 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 인 포커싱된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302, 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302, 304)의 시야들은 예를 들어, z-축을 따른 거리가 증가함에 따라 겹쳐질 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 피처들은 특정 원근조절된 상태에서 눈과 인 포커싱된다는 것이 인지될 것이다.
[0069] 객체와 눈(302 또는 304) 간의 거리는 또한, 그 눈으로 볼 때, 그 객체로부터 광의 발산(divergence)의 양을 변화시킬 수 있다. 도 5a 내지 도 5c는 광선들의 거리와 발산 간의 관계들을 예시한다. 객체와 눈(302) 간의 거리는, 거리가 감소하는 순서로 R1, R2 및 R3에 의해 표현된다. 도 5a 내지 도 5c에 도시된 바와 같이, 광선들은, 객체에 대한 거리가 감소함에 따라 더 많이 발산하게 된다. 거리가 증가함에 따라, 광선들은 더욱 시준된다. 다른 말로 하면, 포인트(객체 또는 객체의 일부)에 의해 생성된 광 필드가 구체 파면 곡률을 가지는 것으로 말해질 수 있고, 구체 파면 곡률은, 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수이다. 곡률은 객체와 눈(302) 간의 거리가 감소함에 따라 증가한다. 결과적으로, 상이한 깊이 평면들에서, 광선들의 발산 정도는 또한 상이하고, 발산 정도는, 깊이 평면들과 뷰어의 눈(302) 간의 거리가 감소함에 따라 증가한다. 단지 하나의 눈(302)이 도 5a 내지 도 5c 및 본원의 다른 도면들에서 예시의 명확성을 위해 예시되지만, 눈(302)에 대한 논의들이 뷰어의 양쪽 눈들(302 및 304)에 적용될 수 있다는 것이 인지될 것이다.
[0070] 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 상이한 프리제테이션들이 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 그리하여, 상이한 깊이 평면 상에 로케이팅되는 장면에 대한 상이한 이미지 피처들에 포커스를 맞추도록 요구되는 눈의 원근조절에 기초하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 피처들이 아웃 포커스(out of focus)되는 것을 관찰하는 것에 기초하여 깊이 단서들을 사용자에게 제공하는 것을 돕는다.
[0071] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(600)은 복수의 도파관들(620, 622, 624, 626, 628)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(605)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(600)은 도 2의 시스템(200)이고, 도 6은 그 시스템(200)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예를 들어, 도파관 어셈블리(605)는 도 2의 디스플레이(208)의 부분일 수 있다.
[0072] 도 6을 계속 참조하면, 도파관 어셈블리(1240)는 또한 도파관들 사이에 복수의 피처들(630, 632, 634, 636)을 포함할 수 있다. 일부 실시예들에서, 피처들(630, 632, 634, 636)은 렌즈들일 수 있다. 도파관들(620, 622, 624, 626, 628) 및/또는 복수의 렌즈들(630, 632, 634, 636)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 도파관들에 대한 광의 소스로서 기능할 수 있고, 이미지 정보를 도파관들(620, 622, 624, 626, 628)에 주입하기 위하여 활용될 수 있으며, 도파관들 각각은, 본원에 설명된 바와 같이, 눈(302)을 향하여 출력하기 위해 각각의 개별 도파관에 걸쳐 인입 광을 분산시키도록 구성될 수 있다. 상이한 소스들을 사용함으로써, 광 소스들 그 자체는 원하는 대로 각각의 깊이 평면에 대한 조명을 스위칭 온 또는 스위칭 오프함으로써 깊이 평면들을 스위칭하도록 작동한다. 광은 이미지 주입 디바이스들(640, 642, 644, 646, 648)의 출력 표면(650, 652, 654, 656, 658)을 나가고 도파관들(620, 622, 624, 626, 628)의 대응하는 입력 표면(670, 672, 674, 676, 678)에 주입된다. 일부 실시예들에서, 입력 표면들(670, 672, 674, 676, 678) 각각은 대응하는 도파관의 에지일 수 있거나, 또는 대응하는 도파관의 주 표면의 일부일 수 있다(즉, 도파관 표면들 중 하나는 직접적으로 세계(610) 또는 뷰어의 눈(302)을 향함). 일부 실시예들에서, 단일 광 빔(예를 들어, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(302)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648) 중 하나의 이미지 주입 디바이스가 복수(예를 들어, 3개)의 도파관들(620, 622, 624, 626, 628)과 연관되고 그에 광을 주입할 수 있다.
[0073] 일부 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 각각 대응하는 도파관(620, 622, 624, 626, 628)에 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 실시예들에서, 예를 들어, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스들을 포함한다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 예를 들어, 이미지 정보를 하나 또는 그 초과의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(640, 642, 644, 646, 648)의 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다. 이미지 주입 디바이스들(640, 642, 644, 646, 648)에 의해 제공되는 이미지 정보는 상이한 파장들 또는 컬러들(예를 들어, 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인지될 것이다.
[0074] 일부 실시예들에서, 도파관들(620, 622, 624, 626, 628) 내로 주입된 광은 백라이트(614b)와 같은 광 소스를 포함할 수 있는 광 출력 모듈(614)에 의해 제공된다. 백라이트(614b)는 하나 또는 그 초과의 LED(light emitting diode)들과 같은 하나 또는 그 초과의 이미터들을 포함할 수 있다. 백라이트(614b)로부터의 광은 광 변조기(614a), 예를 들어, 공간 광 변조기에 의해 수정될 수 있다. 광 변조기(614a)는 도파관들(620, 622, 624, 626, 628) 내로 주입되는 광의 지각된 세기를 변화시키도록 구성될 수 있다. 공간 광 변조기들의 예들은, LCD(liquid crystal display)들 및 DLP(digital light processing) 디스플레이들을 포함한다. 일부 실시예들에서, 광 출력 모듈은 (예를 들어, 광을 투과 및/또는 반사시킴으로써) 이미터로부터 광 변조기(614a)로 광을 지향시키도록 구성된 하나 또는 그 초과의 광 가이드들, 광 파이프들 또는 반사기들을 포함할 수 있다.
[0075] 제어기(612)는 이미지 주입 디바이스들(640, 642, 644, 646, 648), 광 이미터(614b) 및/또는 광 변조기(614a)의 동작을 포함한, 스택된 도파관 어셈블리(1240)의 하나 또는 그 초과의 도파관들의 동작을 제어한다. 일부 실시예들에서, 제어기(612)는 로컬 데이터 프로세싱 모듈(224)의 부분이다. 제어기(612)는 예를 들어, 본원에 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(620, 622, 624, 626, 628)에 대한 이미지 정보의 타이밍 및 제공을 조절하는 프로그래밍(예를 들어, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(612)는 사용자의 눈을 이미징하는 하나 또는 그 초과의 카메라들 또는 센서들(예를 들어, 내향 카메라)로부터의 수신된 입력 및/또는 동작들을 제어하도록 구성될 수 있으며, 여기서 광 이미터(614b) 및/또는 광 변조기(614a)의 동작은, 언제 눈이 깜빡이는지 또는 움직이는지에 관한 결정과 같이 눈의 이미지들 및/또는 연관된 이미지 데이터에 적어도 부분적으로 기초할 수 있다. 일부 실시예들에서, 제어기는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(612)는 일부 실시예들에서, 프로세싱 모듈들 또는 전자기기들(224 또는 228)(도 2) 및/또는 다른 프로세싱 전자기기 및 회로의 부분일 수 있다.
[0076] 도 6을 계속 참조하면, 도파관들(620, 622, 624, 626, 628, 190)은 TIR(total internal reflection)에 의해 각각의 개별 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(620, 622, 624, 626, 628)은 각각 평면형이거나 다른 형상(예를 들어, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(620, 622, 624, 626, 628)은 이미지 정보를 눈(4)에 출력하기 위해 각각의 개별 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관 밖으로 광을 추출하도록 구성된 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 아웃커플링 광학 엘리먼트들은 또한 광 추출 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력될 수 있다. 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 예를 들어, 본원에서 추가로 논의되는 바와 같이, 회절성 광학 피처들을 포함하는 격자들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(620, 622, 624, 626, 628)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 본원에서 추가로 논의되는 바와 같이, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(620, 622, 624, 626, 628)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 도파관들(620, 622, 624, 626, 628)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(620, 622, 624, 626, 628)은 재료의 모놀리식 피스(piece)일 수 있고 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0077] 도 6을 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(620, 622, 624, 626, 628)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예를 들어, 눈에 가장 가까운 도파관(620)은, 그러한 도파관(620)에 주입된 시준된 광을 눈(302)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위의 다음 도파관(622)은, 시준된 광이 눈(302)에 도달할 수 있기 전에 제1 렌즈(630)(예를 들어, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그러한 제1 렌즈(630)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위의 다음 도파관(622)으로부터 오는 광을, 광학적 무한대로부터 눈(302)을 향하여 안쪽으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 위의 제3 도파관(624)은 자신의 출력 광을 눈(302)에 도달하기 전에 제1(630) 및 제2(632) 렌즈들 둘 모두를 통과시키고; 제1(630) 및 제2(632) 렌즈들의 결합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(624)으로부터 오는 광을, 위의 다음 도파관(622)으로부터의 광보다는 광학적 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0078] 다른 도파관 층들(626, 628) 및 렌즈들(634, 636)은 유사하게 구성되는데, 스택에서 가장 높은 도파관(628)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 어그리게이트 초점 전력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(605)의 다른 측 상에서 세계(610)로부터 오는 광을 보거나/해석할 때 렌즈들(630, 632, 634, 636)의 스택을 보상하기 위하여, 보상 렌즈 층(638)은 아래의 렌즈 스택(630, 632, 634, 636)의 어그리게이트 전력(aggregate power)을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 아웃커플링 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적(즉, 동적이거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0079] 일부 실시예들에서, 도파관들(620, 622, 624, 626, 628) 중 둘 또는 그 초과는 동일한 연관된 깊이 평면을 가질 수 있다. 예를 들어, 다수의 도파관들(620, 622, 624, 626, 628)은 동일한 깊이 평면으로 세팅된 이미지들을 출력하도록 구성될 수 있거나, 또는 도파관들(620, 622, 624, 626, 628)의 다수의 서브세트들은 동일한 복수의 깊이 평면들로 세팅된 이미지들(각각의 깊이 평면에 대해 하나의 이미지가 세팅됨)을 출력하도록 구성될 수 있다. 이는 그러한 깊이 평면들에서 확장된 시야를 제공하기 위해 타일 이미지(tiled image)를 형성하는 이점들을 제공할 수 있다.
[0080] 도 6을 계속 참조하면, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 자신의 개별 도파관들 밖으로 광을 재지향하고 그리고 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)을 가질 수 있고, 이러한 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(660, 662, 664, 666, 628)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예를 들어, 광 추출 광학 엘리먼트들(660, 662, 664, 666, 628)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(630, 632, 634, 636)은 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예를 들어, 공기 갭들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0081] 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 회절 패턴 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)를 형성하는 회절 피처들이다. 다양한 실시예들에서, DOE들은 충분히 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차로 인해 눈(302)을 향하여 멀리 편향되지만, 나머지는 TIR(total internal reflection)을 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 퇴장 빔들로 분할되고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(302)을 향하는 상당히 균일한 퇴장 방출 패턴이다.
[0082] 일부 실시예들에서, 하나 또는 그 초과의 DOE들은, 그것들이 활발하게 회절시키는 "온" 상태들과 그것들이 크게 회절시키지 않는 "오프" 상태들 간에 스위칭 가능할 수 있다. 예를 들어, 스위칭 가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 것에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활발하게 회절시킴).
[0083] 도 7은 도파관에 의해 출력된 퇴장 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(605) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(605)는 다수의 도파관들을 포함한다. 광(700)은 도파관(620)의 입력 표면(670)에서 도파관(620)으로 주입되고 TIR에 의해 도파관(620) 내에서 전파된다. 광(700)이 DOE(660)에 충돌하는 지점들에서, 광의 일부는 퇴장 빔들(702)로서 도파관을 나간다. 퇴장 빔들(7)은 실질적으로 평행한 것으로 예시되지만, 본원에 논의된 바와 같이, 이들 퇴장 빔들(7)은 또한 도파관(620)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(302)으로 전파되도록 재지향될 수 있다(예를 들어, 발산하는 퇴장 빔들을 형성함). 실질적으로 평행한 퇴장 빔들은, 눈(302)으로부터 먼 거리(예를 들어, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 보이는 이미지들을 형성하도록 광을 아웃커플링하는 아웃커플링 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 아웃커플링 광학 엘리먼트들의 다른 세트들은 더 발산하는 퇴장 빔 패턴을 출력할 수 있고, 이는 눈(302)이 망막 상에 포커싱을 맞추게 하기 위해 더 가까운 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(302)에 더 가까운 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
전류 드레인의 감소
[0084] 일부 실시예들에서, 위에서 논의된 바와 같은 디스플레이 시스템(600)은 배터리에 의해 전력이 공급될 수 있다. 전류 드레인 감소 또는 전력 감소는 배터리로부터 더 많은 실행 시간을 제공하거나 또는 디바이스의 가열을 감소시키기 위해 바람직할 수 있다. 일부 실시예들에서, 디스플레이 시스템(200)에서의 전류는 (예를 들어, 백라이트(614b), 이미지 주입 디바이스들(640, 642, 644, 646, 648), 예컨대, 가능하게는, 하나 또는 그 초과의 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스 등을 사용하여) 디스플레이 시스템(620)의 디스플레이를 조명하는 데 드로우(draw)될 수 있다. 또한, 디스플레이(예를 들어, 제어기(612)의 그래픽 프로세서 또는 드라이버)를 제어하기 위해 전류가 사용된다.
[0085] 본원에서 설명된 바와 같이, 일부 전류 드레인 감소 또는 전력 감소는 예를 들어, 사용자 상호작용의 결여에 기초하여 타임-아웃 기간(time-out period) 이후에, 디스플레이를 디밍(dimming) 또는 턴 오프(예를 들어, 디스플레이 백라이트를 디밍 또는 턴 오프)시키거나, 디스플레이 업데이트 또는 리프레시 레이트(refresh rate)를 감소시키거나, 디스플레이를 디밍 또는 정지(shutting off)시킴으로써 달성될 수 있다.
[0086] 예컨대, 본원에서 설명된 증강 현실 또는 가상 현실 디바이스들의 일부 실시예들에서, 카메라(또는 다른 방법)가 눈 움직임을 추적하는 데 사용될 수 있다. 디스플레이 시스템(600)은 사용자의 얼굴로 그리고 특히 사용자의 눈(예를 들어, 눈(302))을 향해 안쪽으로 지향되는 내향 카메라(616)를 포함할 수 있다. 일부 경우들에, 이 눈 추적은, 예를 들어, 디스플레이 시스템(600)에 의해 디스플레이되는 뷰(view)를 조정하기 위해 행해질 수 있다. 예를 들어, 카메라(616)는 눈 동공 또는 홍채의 상태 또는 포지션이 추적될 수 있는 눈(302)의 이미지들을 캡처하는데 사용될 수 있다. 눈 동공 또는 홍채의 상태 또는 포지션은 디스플레이가 상응하게 조정되는 것을 허용하도록 디바이스의 사용자가 바라보는 곳을 결정하기 위해 사용될 수 있다.
[0087] 일부 실시예들에서, 눈 추적은 사용자의 눈이, 사용자가 일시적으로 볼 수 없는 상태에 있는지를 결정하는 데 사용될 수 있다. 예를 들어, 사용자는 사용자가 깜빡일 때 볼 수 없을 수 있다. 또한, 사용자는 사용자의 눈들이 단속적 운동(saccade)(예를 들어, 고정 지점들 사이에서 눈들의 빠른 움직임)을 겪고 있을 때 볼 수 없을 수 있다.
[0088] 일부 실시예들에서, 눈 추적 카메라 또는 내향 카메라(또는 다른 센서 또는 센서 시스템)는 사용자의 동공 또는 홍채가 뷰로부터 부분적으로 또는 완전히 차단되는지를 결정함으로써 사용자가 깜빡이는지를 결정하는 데 사용될 수 있다. 예를 들어, 카메라는 배경(예를 들어, 사용자의 눈 흰자) 내의 어두운 원으로서 사용자의 눈의 홍채를 추적할 수 있다. 대안적으로, 카메라는 홍채 내의 어두운 원으로서 사용자의 동공을 추적할 수 있다. 사용자가 깜빡일 때 홍채 또는 동공에 의해 정의된 원의 일부 또는 전부가 가려지거나 차단될 수 있다. 제어기(612)는 사용자의 홍채 또는 동공에 대응하는 원 패턴이 부분적으로 또는 완전히 없어진 것에 대한 응답으로 깜빡임을 "그래픽적으로" 검출할 수 있다. 예를 들어, 일부 실시예들에서, 원 패턴 중 얼마만큼이 가시적인지가 임계 값에 대해 비교될 수 있으며, 여기서 가시적인 (예를 들어, 원) 패턴의 양이 임계 값을 만족시키지 않는 경우 사용자는 깜빡이는 것으로 결정된다. 일부 실시예들에서, 임계 값은 사용자 시도들에 기초하여 미리 구성될 수 있다.
[0089] 일부 실시예들에서, 제어기(612)는 카메라(616)의 뷰로부터 계산된 콘트라스트의 양에 기초하여 사용자가 깜빡이는지를 검출할 수 있다. 예를 들어, 콘트라스트가 임계 값을 만족시키는지에 관한 결정이 내려질 수 있다. 일부 실시예들에서, 사용자의 눈이 떠져 사용자의 홍채 또는 동공이 가시적일 때, (예를 들어, 눈, 또는 눈과 눈꺼풀의 결합으로부터) 역으로 반사되어 카메라에 의해 캡처된 이미지들에서 높은 양의 콘트라스트가 있을 수 있다. 다른 한편, 사용자의 눈이 감겨져 있을 때(예를 들어, 사용자의 눈꺼풀이 눈을 덮고 있을 때), 사용자의 눈이 떠져(예를 들어, 적어도 부분적으로 떠져 있음) 있을 때와 비교하여 콘트라스트 양이 훨씬 더 낮을 수 있다. 따라서, 제어기(612)는 콘트라스트가 임계 값보다 낮을 때 깜빡임을 검출할 수 있다.
[0090] 일부 실시예들에서, 제어기(612)가 사용자의 홍채 또는 동공의 포지션을 검출할 수 없는 경우가 있다. 예를 들어, 제어기(612)는 사용자의 홍채 또는 동공이 검출될 수 없는 경우에 "에러" 상태를 생성할 수 있으며, 이는 또한 깜빡임 검출로서 역할을 할 수 있다.
[0091] 일부 실시예들에서, 제어기(612)는 사용자에 의한 단속적 운동을 검출할 수 있다. 사용자의 눈이 단속적 운동의 상태에 있을 때, 사용자는 사용자의 눈이 떠져 있음에도 불구하고 어떠한 시각 정보도 지각하지 못할 수 있다. 일부 실시예들에서, 제어기(612)는 (예를 들어, 위에서 논의된 바와 같이 어두운 원으로서) 사용자의 홍채 또는 동공의 위치를 추적하도록 내향 카메라(616)를 사용함으로써 단속적 운동을 검출할 수 있다. 소정의 레이트보다 높은 사용자의 홍채 또는 동공의 움직임이 검출되는 경우, 사용자는 단속적 운동 상태에 있는 것으로 간주될 수 있다.
[0092] 일부 실시예들에서, 깜빡임 또는 단속적 운동의 시간 기간은 미리 결정된 시간 기간일 수 있다. 미리 결정된 시간 기간은 사용자 연구들로부터의 경험적 데이터에 기초하여 결정될 수 있다. 일부 실시예들에서, 깜빡임 또는 단속적 운동에 대한 시간 기간은 위에서 논의된 바와 같이 눈 뜸/감음 기준들 또는 안구 움직임 기준들에 기초하여 디스플레이 시스템(600)의 하나 또는 그 초과의 센서들(예를 들어, 내향 카메라(616))에 의해 측정될 수 있다. 눈이 일정 시간 기간 동안 감거나 단속적 운동을 경험하고 있는 경우, 시스템은 전력을 보존하기 위해 더 낮은 에너지 상태로 세팅될 수 있다.
[0093] 위의 논의가 주로, 사용자가 (예를 들어, 깜빡임 또는 단속적 운동으로 인해) 볼 수 없는 상태를 결정하는 데 카메라를 사용하는 것을 지칭하지만, 사용자 눈의 상태를 검출하는 데 사용될 수 있는 임의의 유형의 하드웨어, 예컨대, 다른 유형들의 센서 시스템들이 사용될 수 있다. 일부 경우들에서, 새로운 하드웨어의 부가에 의해 소비될 전력 소비를 감소시키기 위해, 디스플레이 시스템(600)과 이미 통합된 하드웨어(예를 들어, 디스플레이 시스템(600)에서 다른 목적들을 제공하기 위해 설계된 하드웨어)를 활용하는 것이 바람직할 수 있다. 카메라 또는 다른 유형의 센서 시스템은 가시광을 사용하는 것으로 제한되지 않고 IR(infrared) 광을 사용할 수 있다.
[0094] 일부 실시예들에서, 디스플레이 시스템(600)은 사용자가 (예를 들어, 깜빡임이나 단속적 운동으로 인해) 볼 수 없는 기간 동안 그의 전류 또는 전력 드레인을 감소시킬 수 있다. 예를 들어, 디스플레이의 전류 드레인 또는 전력 사용은 디스플레이와 연관된 디스플레이에 대한 광 소스(예를 들어, 백라이트)를 디밍 또는 턴 오프하는 것을 포함할 수 있는, 하나 또는 그 초과의 전류 드레인 또는 전력 감소 기술들을 이용함으로써 감소될 수 있다. 일부 실시예들에서, 디스플레이 시스템(600)의 광 소스(예를 들어, 백라이트)(614b)는 디밍 또는 턴 오프될 수 있다. 다른 실시예들(예를 들어, 백라이트를 갖지 않는 OLED 디스플레이들을 사용하는 디스플레이 시스템)에서, 전류 드레인 또는 전력 사용은 디스플레이의 하나 또는 그 초과의 활성 픽셀들을 디밍 또는 턴 오프함으로써 감소될 수 있다. 눈이 볼 수 없을 때(예를 들어, 깜빡임 또는 단속적 운동 동안) 다른 유형의 디스플레이 컴포넌트들 또는 디스플레이들이 턴 오프되거나, 디밍되거나, 또는 더 낮은 전력 소비 모드로 세팅될 수 있다.
[0095] 대안 또는 결합에서, 그래픽 드라이버 또는 프로세서 또는 디스플레이와 연관된 프로세싱 전자기기는 다수의 프레임들을 "스킵(skip)"하거나 지정된 시간 기간 동안 대기하며, 여기서 그래픽 드라이버는 새로운 이미지를 제공하거나 이미지들을 리프레시하는 경우보다 전력이 덜 소비되게 하는 상태에 있다. 예를 들어, 그래픽 드라이버는 그래픽 프로세서가, 디스플레이된 이미지를 리프레시하는 것을 유예시키거나 디스플레이의 리프레시 레이트를 감소시키게 할 수 있고, 이에 따라 정상 동작에 비해 전력을 덜 소비한다. 일부 구현들에서, 전류 드레인이 감소되는 시간 기간 또는 프레임들의 수는 깜빡임 또는 단속적 운동의 길이에 대응하도록 구성될 수 있다. 예를 들어, 깜빡임에 대한 시간 기간은 통상적으로 100 내지 400mSec이다.
[0096] 본원에서 논의된 전류 드레인 감소 기술들 중 임의의 것은 독립적으로 또는 서로 결합하여 수행될 수 있다는 것이 이해된다. 예를 들어, 일부 실시예들에서, 깜빡임 또는 단속적 운동의 검출에 대한 응답으로, 제어기(612)는 백라이트(614b)를 디밍하는 것은 물론, 그래픽 드라이브가 지정된 수의 프레임들을 스킵하게 할 수 있다. 다른 실시예들에서, 제어기(612)는 그래픽 드라이버가 백라이트(614b)를 디밍하지 않고 지정된 수의 프레임들을 스킵하게 할 수 있거나, 또는 그 반대도 가능하다.
[0097] 도 8은 일부 실시예들에 따라, 전류 드레인 또는 전력 사용을 감소시키기 위한 예시적인 프로세스의 흐름도를 예시한다. 이 흐름도의 임의의 부분은 프로세싱 전자기기 또는 회로와 같은 전자기기에 의해 실행될 수 있다. 블록(802)에서, 디스플레이 시스템의 사용자가 볼 수 없는 상태(예를 들어, 사용자에 의한 깜빡임 또는 단속적 운동)가 검출되는지에 관한 결정이 내려진다. 일부 실시예들에서, 이는, 사용자의 동공 또는 홍채가 뷰로부터 차단되는지 또는 빠른 움직임을 경험하는지를 결정하는 눈 추적 또는 내향 카메라 또는 다른 센서 또는 센서 시스템을 사용하여 행해질 수 있다. 깜빡임 또는 단속적 운동이 검출되는 경우, 프로세스는 블록(804)으로 진행될 수 있다. 그렇지 않으면, 프로세스는 예를 들어, 디스플레이 시스템의 사용자에 의한 깜빡임 또는 단속적 운동을 검출하도록 눈을 계속 모니터링할 수 있다.
[0098] 블록(804)에서, 디스플레이와 연관된 광 소스가 디밍되거나 턴 오프된다. 예를 들어, 광 소스는 저전력 모드에 진입하거나 디스에이블되도록 구성될 수 있다. 일부 실시예들에서, 광 소스는 백라이트(614b)를 포함할 수 있다. 다른 실시예들에서, 광 소스는 디스플레이의(예를 들어, OLED 디스플레이의) 복수의 활성 픽셀들을 포함할 수 있다. 다른 광 소스들 및 디스플레이 구성들이 가능하다.
[0099] 블록(806)에서, 디스플레이 시스템과 연관된 그래픽 드라이버는 소비되는 전력의 양을 감소시킬 수 있다. 예를 들어, 그래픽 드라이버는 X개의 프레임들을 스킵하거나 Y의 시간 기간을 대기할 수 있으며, 여기서 X 및 Y는 깜빡임(예를 들어, 100 내지 400 mSec) 또는 단속적 운동의 기간에 기초하여 결정된다. 일부 실시예들에서, 그래픽 드라이버는 디스플레이의 리프레시 레이트를 감소시킬 수 있다.
[0100] 블록(808)에서, 디스플레이와 연관된 광 소스(예를 들어, 백라이트(614b), 디스플레이의 활성 픽셀들 등) 또는 디스플레이의 다른 컴포넌트들이 다시 턴 온되거나 디밍-해제되고(un-dimmed) 디스플레이 시스템이 정상 동작을 재개한다. 이 흐름도에 예시된 프로세스는 예이며, 단계들은 배제, 부가 및/또는 재순서화될 수 있다는 것이 이해된다.
[0101] 도 8은, 디스플레이와 연관된 광 소스를 디밍/턴 오프하는 것(블록 804, 808) 및 그래픽 드라이버 또는 프로세서의 전력 소비를 감소시키는 것(블록 806) 둘 모두를 예시하지만, 다른 실시예들에서, 디스플레이 시스템(600)은 전류 드레인 또는 전력 감소 기술들의 임의의 결합을 수행할 수 있다는 것이 이해된다. 예를 들어, 일부 실시예들에서, 디스플레이 시스템(600)은 디스플레이의 광 소스를 디밍/턴 오프하는 것만, 그래픽 드라이버 또는 프로세서의 전력 소비를 감소시키는 것(예를 들어, 프레임들을 스킵하는 것, 리프레시 레이트를 감소시키는 것 등)만, 또는 둘 모두를 수행할 수 있다. 전력 보존은 또한 다른 컴포넌트들로부터 발생할 수 있다. 예를 들어, 공간 광 변조기 또는 하나 또는 그 초과의 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스들을 더 낮은 전력 상태로 세팅하는 것은 전력 소비를 또한 감소시킬 수 있다.
[0102] 평균적인 사람은 대략 매 2 내지 10초 마다 한 번씩 100 내지 400 msec의 기간 동안 깜빡인다. 따라서 덜 빈번한 시나리오에서, 눈들은 그 시간의 약 1% 동안 감긴다. 보다 통상적인 시나리오의 경우, 눈들은 그 시간의 2% 내지 5%의 시간 동안 감긴다. 따라서, 광 소스(예를 들어, 백라이트 또는 활성 픽셀들) 및/또는 그래픽 드라이버/프로세서를 사용하여 디스플레이를 조명하는 것과 연관된 전류 드레인에서 몇 퍼센트의 감소가 아마도 달성될 수 있다.
[0103] 본 발명의 다양한 예시적 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은, 본 발명의 더 넓게 적용 가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 발명의 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 예를 들어, 다수의 깊이 평면들에 걸쳐 이미지들을 제공하는 AR 디스플레이들과 함께 유리하게 활용되지만, 본원에서 개시된 증강 현실 콘텐츠는 또한 단일 깊이 평면 상에 이미지들을 제공하는 시스템들에 의해 디스플레이될 수 있다.
[0104] 다수의 수정들은, 특정 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 사상 또는 범위를 벗어나지 않으면서 다른 여러개의 실시예들 중 임의의 실시예의 특징들로부터 쉽게 분리될 수 있거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인지될 것이다. 그러한 모든 수정들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[0105] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 사용자에 의해 수행될 수 있다. 즉, “제공하는” 동작은 단지, 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업(power-up) 또는 다른 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들 뿐만 아니라 인용된 순서의 이벤트들에서 수행될 수 있다.
[0106] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기술되었다. 본 발명의 다른 세부사항들에 대해, 이들은, 당업자들에 의해 일반적으로 알려지거나 인지된 특허들 및 공개공보들과 관련하여 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 대해 동일하게 적용될 수 있다.
[0107] 부가적으로, 본 발명이 다양한 피처들을 선택적으로 포함하는 여러개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (본원에서 인용되었거나 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 값들의 범위가 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 발명 내에 포함되는 것으로 해석된다.
[0108] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 또는 그 초과에 독립적으로 또는 그에 결합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "네거티브" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[0109] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있거나, 또는 피처의 부가는 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[0110] 본 발명의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.

Claims (18)

  1. 감소된 전력 사용을 갖는 디스플레이 시스템으로서,
    상기 디스플레이 시스템은:
    내향 센서;
    헤드-마운트 디스플레이(head-mounted display) ― 상기 헤드-마운트 디스플레이는 사용자에 의해 착용되도록 구성되고 그리고 상기 디스플레이를 상부에 지지하도록 구성된 프레임 상에 배치되고, 상기 디스플레이는 상기 사용자의 시야에 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되고, 상기 디스플레이의 적어도 일부는 투명하고 그리고 상기 사용자가 상기 프레임을 착용할 때 상기 사용자의 눈 앞의 위치에 배치되어, 투명한 부분이 상기 사용자 및 상기 헤드-마운트 디스플레이의 앞의 환경의 일부로부터의 광을 상기 사용자의 눈으로 투과(transmit)하여 상기 사용자 및 상기 헤드-마운트 디스플레이의 앞의 상기 환경의 일부의 뷰를 제공함 ―; 및
    상기 내향 센서 및 상기 디스플레이와 통신하는 프로세싱 전자기기를 포함하고,
    상기 프로세싱 전자기기는:
    상기 내향 센서를 이용하여 사용자의 눈 상태의 제 1 변화를 검출하고 ― 상기 제 1 변화는 상기 사용자의 눈들의 감긴 상태와 연관된 표시를 포함함 ―,
    상기 사용자의 눈 상태의 제 2 변화를 검출하고 ― 상기 제 2 변화는 상기 사용자의 눈들의 뜬 상태와 연관된 표시를 포함함 ―, 그리고
    상기 사용자의 눈 상태의 제 1 변화에 응답하여 상기 디스플레이 시스템의 전류 드레인(current drain)을 감소시키도록
    구성되고,
    상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이를 턴 오프하지 않고 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함하고, 그리고
    상기 디스플레이를 턴 오프하지 않고 상기 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것은 지정된 수의 프레임들을 스킵(skip)하는 것을 포함하고, 상기 지정된 수의 프레임들은 상기 사용자가 볼 수 없는 시간의 길이에 기초하는, 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 디스플레이는 광 소스를 포함하는, 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이의 상기 광 소스를 디밍(dimming)하는 것을 더 포함하는, 디스플레이 시스템.
  4. 제2항에 있어서,
    상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 더 포함하는, 디스플레이 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세싱 전자기기는 상기 디스플레이의 리프레시 레이트(refresh rate)를 감소시킴으로써 상기 디스플레이 시스템의 전류 드레인을 감소시키도록 구성되는, 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 사용자의 눈 상태의 상기 제 1 변화 및 상기 제 2 변화는 깜빡임(blink)에 대응하는, 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 사용자의 눈 상태의 상기 제 1 변화를 결정하는 것은 상기 내향 센서에 의해 획득되는 홍채 또는 동공의 이미지들을 모니터링하는 것 또는 상기 내향 센서에 의해 획득되는 상기 사용자의 눈의 이미지들의 콘트라스트를 모니터링하는 것을 포함하는, 디스플레이 시스템.
  9. 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법으로서,
    내향 센서를 이용하여 사용자의 눈 상태의 제 1 변화를 검출하는 단계 ― 상기 제 1 변화는 상기 사용자의 눈들의 감긴 상태와 연관된 표시를 포함함 ―,
    상기 사용자의 눈 상태의 제 2 변화를 검출하는 단계 ― 상기 제 2 변화는 상기 사용자의 눈의 뜬 상태와 연관된 표시를 포함함 ―,
    상기 사용자의 눈 상태의 제 1 변화를 검출하는 것에 응답하여 상기 디스플레이 시스템의 전류 드레인을 감소시키는 단계 ― 상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 디스플레이를 턴 오프하지 않고 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함하고, 그리고 상기 디스플레이를 턴 오프하지 않고 상기 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것은 지정된 수의 프레임들을 스킵하는 것을 포함하고, 상기 지정된 수의 프레임들은 상기 사용자가 볼 수 없는 시간의 길이에 기초함 ―, 및
    상기 사용자의 눈 상태의 제 2 변화를 검출하는 것에 응답하여 상기 디스플레이 시스템의 전류 드레인을 증가시키는 단계를 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  10. 제9항에 있어서,
    상기 사용자의 눈 상태의 상기 제 1 변화 및 상기 제 2 변화는 깜빡임에 대응하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  11. 제9항에 있어서,
    상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  12. 제9항에 있어서,
    상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이의 광 소스를 디밍하는 것을 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 그래픽 드라이버는 상기 디스플레이의 리프레시 레이트를 감소시킴으로써 상기 디스플레이 시스템의 전류 드레인을 추가로 감소시키도록 구성되는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  15. 제9항에 있어서,
    상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것은 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것을 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  16. 제9항에 있어서,
    상기 사용자의 눈 상태의 상기 제 1 변화를 결정하는 것은 상기 내향 센서에 의해 획득되는 홍채 또는 동공의 이미지들을 모니터링하는 것 또는 상기 내향 센서에 의해 획득되는 상기 사용자의 눈의 이미지들의 콘트라스트를 모니터링하는 것을 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
  17. 제1항에 있어서,
    상기 시스템은, 이미지 콘텐츠가 상이한 깊이들에 로케이팅되는 것으로 상기 사용자에게 나타나도록, 상이한 양들의 발산(divergence)으로 상기 사용자에게 상기 이미지 콘텐츠를 제공하도록 구성되는, 디스플레이 시스템.
  18. 제9항에 있어서,
    이미지 콘텐츠가 상이한 깊이들에 로케이팅되는 것으로 상기 사용자에게 나타나도록, 상이한 양들의 발산으로 상기 사용자에게 상기 이미지 콘텐츠를 제공하는 단계를 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
KR1020227006658A 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 KR102556320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237023562A KR20230109789A (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662304098P 2016-03-04 2016-03-04
US62/304,098 2016-03-04
KR1020187028590A KR102370445B1 (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
PCT/US2017/020522 WO2017151974A1 (en) 2016-03-04 2017-03-02 Current drain reduction in ar/vr display systems

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028590A Division KR102370445B1 (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237023562A Division KR20230109789A (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Publications (2)

Publication Number Publication Date
KR20220027303A KR20220027303A (ko) 2022-03-07
KR102556320B1 true KR102556320B1 (ko) 2023-07-14

Family

ID=59722695

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187028590A KR102370445B1 (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
KR1020227006658A KR102556320B1 (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
KR1020237023562A KR20230109789A (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187028590A KR102370445B1 (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237023562A KR20230109789A (ko) 2016-03-04 2017-03-02 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소

Country Status (10)

Country Link
US (5) US11320900B2 (ko)
EP (1) EP3424038A4 (ko)
JP (6) JP7190903B2 (ko)
KR (3) KR102370445B1 (ko)
CN (2) CN114690881A (ko)
AU (2) AU2017225977C1 (ko)
CA (1) CA3016032C (ko)
IL (3) IL307287A (ko)
NZ (2) NZ756561A (ko)
WO (1) WO2017151974A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
GB2566013B (en) * 2017-08-24 2022-12-07 Displaylink Uk Ltd Compressing image data for transmission to a display
GB2607455B (en) * 2017-08-24 2023-02-15 Displaylink Uk Ltd Compressing image data for transmission to a display
US10986270B2 (en) 2018-06-18 2021-04-20 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
US20200073465A1 (en) * 2018-08-30 2020-03-05 Qualcomm Incorporated Load reduction in a visual rendering system
WO2020150649A1 (en) 2019-01-18 2020-07-23 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
CN112445315B (zh) * 2019-08-28 2024-11-05 北京小米移动软件有限公司 屏幕刷新帧率的控制方法、装置及存储介质
CN110658904A (zh) * 2019-09-19 2020-01-07 Oppo广东移动通信有限公司 控制终端电流的方法、装置、终端及存储介质
US11568242B2 (en) 2019-12-05 2023-01-31 International Business Machines Corporation Optimization framework for real-time rendering of media using machine learning techniques
US11960345B2 (en) 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
KR20240074487A (ko) 2022-11-21 2024-05-28 가온그룹 주식회사 로컬디밍 기반의 xr 디바이스 절전 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187132A (ja) 2009-02-10 2010-08-26 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2013162407A (ja) * 2012-02-07 2013-08-19 Sharp Corp 画像表示装置
JP2015205114A (ja) * 2014-04-23 2015-11-19 アルプス電気株式会社 眼鏡型電子機器
WO2016018487A2 (en) * 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3563459B2 (ja) * 1994-10-31 2004-09-08 大正製薬株式会社 瞬き検出システム
JPH08271953A (ja) * 1995-03-30 1996-10-18 Olympus Optical Co Ltd ファインダ装置
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH09105853A (ja) 1995-10-06 1997-04-22 Canon Inc 光学装置及び撮影装置
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JPH11249064A (ja) * 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
EP1483909B1 (en) 2002-03-13 2010-04-28 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
JP4088282B2 (ja) 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
US7656853B2 (en) 2004-12-27 2010-02-02 Microsoft Corporation Reducing power consumption of a wireless device
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
JP2009267733A (ja) 2008-04-24 2009-11-12 Sharp Corp 撮像装置および撮像制御方法
CN102119530B (zh) * 2008-08-22 2013-08-21 索尼公司 图像显示设备、控制方法
US8514215B2 (en) * 2008-11-12 2013-08-20 International Business Machines Corporation Dynamically managing power consumption of a computer with graphics adapter configurations
EP2373924B2 (en) 2008-12-12 2022-01-05 BAE Systems PLC Improvements in or relating to waveguides
WO2011008793A1 (en) 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5308305B2 (ja) 2009-10-20 2013-10-09 株式会社トーメーコーポレーション 網膜電位測定装置
US20110106025A1 (en) 2009-10-29 2011-05-05 Hall Gary S Ophthalmic fluid pump
US8345984B2 (en) 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9766381B2 (en) 2010-03-12 2017-09-19 Nokia Technologies Oy Light-guiding structures
JP2012022150A (ja) 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
JP2012109810A (ja) * 2010-11-17 2012-06-07 Panasonic Corp 表示装置、表示制御方法、携帯電話及び半導体装置
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ, インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
AU2012253797B2 (en) 2011-05-06 2017-06-22 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
KR102440195B1 (ko) 2011-11-23 2022-09-02 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
JP6238974B2 (ja) 2012-06-11 2017-11-29 マジック リープ, インコーポレイテッドMagic Leap,Inc. 導波路リフレクタアレイプロジェクタを用いる複数の深度平面3次元ディスプレイ
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US8437513B1 (en) 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US9207760B1 (en) 2012-09-28 2015-12-08 Google Inc. Input detection
CA3102710A1 (en) 2012-10-18 2014-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
AU2014207545B2 (en) 2013-01-15 2018-03-15 Magic Leap, Inc. Ultra-high resolution scanning fiber display
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9389683B2 (en) * 2013-08-28 2016-07-12 Lg Electronics Inc. Wearable display and method of controlling therefor
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
JP5620562B1 (ja) 2013-10-23 2014-11-05 株式会社光波 単結晶蛍光体及び発光装置
CN105934902B (zh) 2013-11-27 2018-11-23 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
EP3100099B1 (en) 2014-01-31 2020-07-01 Magic Leap, Inc. Multi-focal display system and method
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
KR20150098162A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 멀티미디어 데이터와 관련된 동작 제어 방법 및 장치
US10534900B2 (en) 2014-02-21 2020-01-14 Samsung Electronics Co., Ltd. Electronic device
WO2015130849A1 (en) 2014-02-25 2015-09-03 Eyeverify Eye gaze tracking
KR102539365B1 (ko) 2014-03-05 2023-06-01 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 가변 초점 및/또는 객체 인식 기능을 가진 웨어러블 3d 증강 현실 디스플레이
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ764905A (en) 2014-05-30 2022-05-27 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
NZ764950A (en) * 2014-05-30 2022-07-01 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US9606622B1 (en) 2014-06-26 2017-03-28 Audible, Inc. Gaze-based modification to content presentation
JP2014222909A (ja) 2014-07-02 2014-11-27 パナソニック株式会社 表示装置、表示制御方法及び半導体装置
JP6573755B2 (ja) 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9946361B2 (en) 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US20160131904A1 (en) 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US9760167B2 (en) 2014-11-07 2017-09-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
NZ773841A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
EP3109689A1 (en) 2015-06-22 2016-12-28 Nokia Technologies Oy Transition from a display power mode to a different display power mode
JP2017058853A (ja) 2015-09-15 2017-03-23 株式会社コーエーテクモゲームス 情報処理装置、動作制御方法、及び動作制御プログラム
CN108886612B (zh) 2016-02-11 2021-05-25 奇跃公司 减少深度平面之间切换的多深度平面显示系统
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2017177187A1 (en) 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining. analyzing, and generating vision performance data and modifying media based on the data
KR20240009543A (ko) 2016-08-02 2024-01-22 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109147715A (zh) 2018-08-28 2019-01-04 武汉华星光电技术有限公司 用于降低显示面板功耗的方法及低功耗的显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187132A (ja) 2009-02-10 2010-08-26 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2013162407A (ja) * 2012-02-07 2013-08-19 Sharp Corp 画像表示装置
JP2015205114A (ja) * 2014-04-23 2015-11-19 アルプス電気株式会社 眼鏡型電子機器
WO2016018487A2 (en) * 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Also Published As

Publication number Publication date
KR102370445B1 (ko) 2022-03-03
JP2022173311A (ja) 2022-11-18
CN114690881A (zh) 2022-07-01
NZ756561A (en) 2023-04-28
WO2017151974A1 (en) 2017-09-08
AU2017225977B2 (en) 2023-02-02
JP7280922B2 (ja) 2023-05-24
IL291915B2 (en) 2024-03-01
US20200379553A1 (en) 2020-12-03
NZ745738A (en) 2020-01-31
JP2021185409A (ja) 2021-12-09
IL291915A (en) 2022-06-01
IL291915B1 (en) 2023-11-01
EP3424038A1 (en) 2019-01-09
KR20220027303A (ko) 2022-03-07
US10649527B2 (en) 2020-05-12
CN109074785B (zh) 2022-05-10
AU2017225977A1 (en) 2018-09-13
US11402898B2 (en) 2022-08-02
JP2019510412A (ja) 2019-04-11
JP7387843B2 (ja) 2023-11-28
KR20180118203A (ko) 2018-10-30
US20190369724A1 (en) 2019-12-05
IL261394B (en) 2022-05-01
AU2017225977C1 (en) 2023-08-03
US20170255259A1 (en) 2017-09-07
US20220261077A1 (en) 2022-08-18
IL261394A (en) 2018-10-31
AU2023202546B2 (en) 2024-05-09
CA3016032C (en) 2024-05-21
AU2023202546A1 (en) 2023-05-11
JP7274435B2 (ja) 2023-05-16
JP2020109522A (ja) 2020-07-16
JP2024020401A (ja) 2024-02-14
KR20230109789A (ko) 2023-07-20
IL307287A (en) 2023-11-01
US11320900B2 (en) 2022-05-03
EP3424038A4 (en) 2019-10-23
CN109074785A (zh) 2018-12-21
JP2024120919A (ja) 2024-09-05
JP7190903B2 (ja) 2022-12-16
CA3016032A1 (en) 2017-09-08
US11775062B2 (en) 2023-10-03
US20230333647A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US11775062B2 (en) Current drain reduction in AR/VR display systems
JP7511070B2 (ja) 周囲光源からの光を操作するためのシステムおよび方法
KR102547307B1 (ko) 음향-광학 제어 디바이스를 사용하는 광 프로젝터
CN113728267A (zh) 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant