KR102556320B1 - Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 - Google Patents
Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 Download PDFInfo
- Publication number
- KR102556320B1 KR102556320B1 KR1020227006658A KR20227006658A KR102556320B1 KR 102556320 B1 KR102556320 B1 KR 102556320B1 KR 1020227006658 A KR1020227006658 A KR 1020227006658A KR 20227006658 A KR20227006658 A KR 20227006658A KR 102556320 B1 KR102556320 B1 KR 102556320B1
- Authority
- KR
- South Korea
- Prior art keywords
- display
- user
- display system
- reducing
- change
- Prior art date
Links
- 230000009467 reduction Effects 0.000 title description 8
- 230000004397 blinking Effects 0.000 claims abstract description 12
- 230000002829 reductive effect Effects 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 28
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims 4
- 230000003287 optical effect Effects 0.000 description 27
- 230000004434 saccadic eye movement Effects 0.000 description 20
- 230000004308 accommodation Effects 0.000 description 10
- 238000002347 injection Methods 0.000 description 9
- 239000007924 injection Substances 0.000 description 9
- 239000000835 fiber Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
- G09G3/3648—Control of matrices with row and column drivers using an active matrix
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Crystallography & Structural Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of El Displays (AREA)
- Electronic Switches (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
일부 실시예들에서, 눈 추적은 디스플레이 시스템의 사용자가 깜빡이고 있는지 그렇지 않으면, 볼 수 없는지를 결정하기 위해, AR 또는 VR 디스플레이 시스템 상에서 사용된다. 이에 응답하여, 디스플레이 시스템과 연관된 디스플레이의 전류 드레인 또는 전력 사용은, 예를 들어, 디스플레이와 연관된 광 소스를 디밍 또는 턴 오프함으로써, 또는 지정된 수의 프레임들을 스킵하거나 지정된 시간 기간 동안 리프레시 레이트를 감소시키도록 그래픽 드라이버를 구성함으로써 감소될 수 있다.
Description
[0001] 본 출원은, 2016년 3월 4일자로 출원된 미국 가출원 제62/304,098호를 우선권으로 주장하며, 그리하여 상기 출원은 그 전체가 인용에 의해 본원에 통합된다.
[0002] 본 개시내용은 가상 현실 및 증강 현실 이미징 및 시각화 시스템들에 관한 것으로, 보다 구체적으로는, 가상 현실 및 증강 현실 시스템들의 전력 관리에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004] 본 개시내용의 시스템들, 방법들, 및 디바이스들 각각은 여러 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 단독으로 담당하지 않는다. 다양한 예시적인 시스템들 및 방법들이 아래에 제공된다.
[0005] 실시예 1: 감소된 전력 사용을 갖는 디스플레이 시스템으로서,
내향 센서;
디스플레이; 및
내향 센서 및 디스플레이와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는,
내향 센서를 이용하여 사용자의 눈 상태의 변화를 검출하고, 그리고
사용자의 눈 상태의 변화가 검출될 때에 기초하여 디스플레이 시스템의 전류 드레인(current drain)을 감소시키도록 구성된다.
[0006] 실시예 2 : 실시예 1의 디스플레이 시스템에 있어서, 사용자의 눈 상태의 변화는 깜빡임(blink) 또는 단속적 운동(saccade)이다.
[0007] 실시예 3: 실시예 1 또는 실시예 2의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 디스플레이의 광 소스를 디밍(dimming)하는 것을 포함한다.
[0008] 실시예 4: 실시예 1 또는 실시예 2의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 포함한다.
[0009] 실시예 5: 실시예 1 내지 실시예 4 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이의 전류 드레인을 감소시키는 것은, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함한다.
[0010] 실시예 6: 실시예 5의 디스플레이 시스템에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵(skip)하도록 구성되며, 지정된 수의 프레임들은 눈이 깜빡이거나 단속적 운동하는 시간의 길이에 기초한다.
[0011] 실시예 7: 실시예 1 내지 실시예 6 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0012] 실시예 8: 실시예 1 내지 실시예 7 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0013] 실시예 9: 실시예 1 내지 실시예 8 중 임의의 실시예의 디스플레이 시스템에 있어서, 내향 센서는 카메라를 포함한다.
[0014] 실시예 10: 실시예 1 내지 실시예 9 중 임의의 실시예의 디스플레이 시스템에 있어서, 내향 센서는 눈-추적 카메라를 포함한다.
[0015] 실시예 11: 실시예 1 내지 실시예 10 중 임의의 실시예의 디스플레이 시스템에 있어서, 프로세싱 전자기기는 디스플레이와 연관된 리프레시 레이트(refresh rate)를 감소시킴으로써 디스플레이의 전류 드레인을 감소시키도록 구성된다.
[0016] 실시예 12: 실시예 1 내지 실시예 11 중 임의의 실시예의 디스플레이 시스템에 있어서, 그래픽 드라이버를 더 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 것은 그래픽 드라이버의 전력 소비를 감소시키는 것을 포함한다.
[0017] 실시예 13: 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법으로서,
내향 센서를 이용하여 사용자의 눈 상태의 변화를 검출하는 단계, 및
사용자의 눈 상태의 변화가 검출될 때에 기초하여 디스플레이 시스템의 전류 드레인을 감소시키는 단계를 포함한다.
[0018] 실시예 14: 실시예 13의 방법에 있어서, 사용자의 눈 상태의 변화는 깜빡임 또는 단속적 운동이다.
[0019] 실시예 15: 실시예 13 또는 실시예 14에 있어서, 디스플레이 시스템은 광 소스를 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이 시스템의 광 소스를 디밍하는 단계를 포함한다.
[0020] 실시예 16: 실시예 13 또는 실시예 14의 방법에 있어서, 디스플레이 시스템은 광 소스를 포함하고, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이의 광 소스를 차단하는 단계를 포함한다.
[0021] 실시예 17: 실시예 13 내지 실시예 16 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는, 디스플레이 시스템에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이 시스템과 연관된 그래픽 드라이버를 구성하는 단계를 포함한다.
[0022] 실시예 18: 실시예 17의 방법에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이 또는 눈이 볼 수 없는 시간의 길이에 기초한다.
[0023] 실시예 19: 실시예 17의 방법에 있어서, 그래픽 드라이버는 깜빡임의 길이 또는 눈이 볼 수 없는 시간의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이 시스템에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0024] 실시예 20: 실시예 13 내지 실시예 19 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 LCD 디스플레이를 포함한다.
[0025] 실시예 21: 실시예 13 내지 실시예 20 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0026] 실시예 22: 실시예 13 내지 실시예 21 중 임의의 실시예의 방법에 있어서, 내향 센서는 눈-추적 카메라를 포함한다.
[0027] 실시예 23: 실시예 13 내지 실시예 22 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 디스플레이와 연관된 리프레시 레이트를 감소시키는 단계를 포함한다.
[0028] 실시예 24: 실시예 13 내지 실시예 23 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템의 전류 드레인을 감소시키는 단계는 그래픽 드라이버의 전력 소비를 감소시키는 단계를 포함한다.
[0029] 실시예 25: 디스플레이 시스템으로서,
내향 카메라;
디스플레이; 및
내향 카메라 및 디스플레이와 통신하는 하드웨어 프로세싱 전자기기를 포함하고, 하드웨어 프로세싱 전자기기는,
디스플레이의 사용자가 깜빡일 때를 결정하기 위해 카메라를 사용하고; 그리고
사용자가 깜빡인다는 결정에 대한 응답으로, 디스플레이 시스템의 전류 드레인을 감소시키도록 프로그래밍된다.
[0030] 실시예 26: 실시예 25의 디스플레이 시스템에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 것은 디스플레이의 광 소스를 디밍하는 것을 포함한다.
[0031] 실시예 27: 실시예 25 또는 실시예 26의 디스플레이 시스템에 있어서, 광 소스는 백라이트를 포함한다.
[0032] 실시예 28: 실시예 25 내지 실시예 27 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이의 전류 드레인을 감소시키는 것은, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함한다.
[0033] 실시예 29: 실시예 28의 디스플레이 시스템에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이에 기초한다.
[0034] 실시예 30: 실시예 28의 디스플레이 시스템에 있어서, 그래픽 드라이버는 깜빡임의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0035] 실시예 31: 실시예 25 내지 실시예 30 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0036] 실시예 32: 실시예 25 내지 실시예 31 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0037] 실시예 33: 디스플레이에서 전류 드레인을 감소시키기 위한 방법으로서,
디스플레이 시스템의 사용자가 깜빡일 때를 결정하기 위해 내향 카메라를 사용하는 단계; 및
사용자가 깜빡인다는 결정에 대한 응답으로, 디스플레이의 전류 드레인을 감소시키는 단계를 포함한다.
[0038] 실시예 34: 실시예 33의 방법에 있어서, 디스플레이는 광 소스를 포함하고, 디스플레이의 전류 드레인을 감소시키는 단계는 디스플레이의 광 소스를 디밍하는 단계를 포함한다.
[0039] 실시예 35: 실시예 34의 방법에 있어서, 광 소스는 백라이트를 포함한다.
[0040] 실시예 36: 실시예 33 내지 실시예 35 중 임의의 실시예의 방법에 있어서, 디스플레이의 전류 드레인을 감소시키는 단계는, 디스플레이에 의해 소비되는 전력의 양을 감소시키도록, 디스플레이와 연관된 그래픽 드라이버를 구성하는 단계를 포함한다.
[0041] 실시예 37: 실시예 36의 방법에 있어서, 그래픽 드라이버는 지정된 수의 프레임들을 스킵하도록 구성되며, 지정된 수의 프레임들은 깜빡임의 길이에 기초한다.
[0042] 실시예 38: 실시예 36의 방법에 있어서, 그래픽 드라이버는 깜빡임의 길이에 기초하여, 지정된 시간 기간 동안 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 구성된다.
[0043] 실시예 39: 실시예 33 내지 실시예 38 중 임의의 실시예의 방법에 있어서, 디스플레이는 LCD 디스플레이를 포함한다.
[0044] 실시예 40: 실시예 33 내지 실시예 39 중 임의의 실시예의 방법에 있어서, 디스플레이는 증강 현실 또는 가상 현실 디스플레이를 포함한다.
[0045] 실시예 41: 실시예 33 내지 실시예 40 중 임의의 실시예의 방법에 있어서, 카메라는 눈-추적 카메라를 포함한다.
[0046] 실시예 42: 실시예 25 내지 실시예 32 중 임의의 실시예의 디스플레이 시스템에 있어서, 카메라는 눈-추적 카메라를 포함한다.
[0047] 실시예 43: 실시예 1 내지 실시예 12 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이는 머리 장착 디스플레이를 포함한다.
[0048] 실시예 44: 실시예 1 내지 실시예 12, 또는 실시예 43 중 임의의 실시예의 디스플레이 시스템에 있어서, 사용자의 눈앞에서 디스플레이를 지지하도록 구성된 프레임을 더 포함한다.
[0049] 실시예 45: 실시예 1 내지 실시예 12, 또는 실시예 43 또는 실시예 44 중 임의의 실시예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 이미지 콘텐츠가 상이한 깊이들에 로케이팅된 것으로 사용자에게 나타나도록 상이한 양의 발산을 사용자에 대한 이미지 콘텐츠에 제공하도록 구성되는 AR 또는 VR 시스템을 포함한다.
[0050] 실시예 46: 실시예 13 내지 실시예 23 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 머리 장착 디스플레이를 포함한다.
[0051] 실시예 47: 실시예 13 내지 실시예 23 또는 실시예 46 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 사용자의 눈 앞에서 디스플레이를 지지하도록 구성된 프레임을 더 포함한다.
[0052] 실시예 48: 실시예 13 내지 실시예 23 또는 실시예 46 또는 실시예 47 중 임의의 실시예의 방법에 있어서, 디스플레이 시스템은 이미지 콘텐츠가 상이한 깊이들에 로케이팅된 것으로 사용자에게 나타나도록 상이한 양의 발산을 사용자에 대한 이미지 콘텐츠에 제공하도록 구성되는 AR 또는 VR 시스템을 포함한다.
[0053] 도 1은 AR(augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0054] 도 2는 착용 가능 디스플레이 시스템의 예를 예시한다.
[0055] 도 3은 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0056] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0057] 도 5a 내지 도 5c는 곡률의 반경과 초점 반경 간의 관계들을 예시한다.
[0058] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0059] 도 7은 도파관에 의해 출력된 퇴장 빔들의 예를 예시한다.
[0060] 도 8은 디스플레이 시스템의 전류 드레인을 감소시키기 위한 프로세스의 흐름도를 예시한다.
[0061] 도면들은 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니라는 것이 인지될 것이다. 동일한 참조 번호들은 전반에 걸쳐 동일한 특징들을 지칭한다.
[0054] 도 2는 착용 가능 디스플레이 시스템의 예를 예시한다.
[0055] 도 3은 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0056] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0057] 도 5a 내지 도 5c는 곡률의 반경과 초점 반경 간의 관계들을 예시한다.
[0058] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0059] 도 7은 도파관에 의해 출력된 퇴장 빔들의 예를 예시한다.
[0060] 도 8은 디스플레이 시스템의 전류 드레인을 감소시키기 위한 프로세스의 흐름도를 예시한다.
[0061] 도면들은 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니라는 것이 인지될 것이다. 동일한 참조 번호들은 전반에 걸쳐 동일한 특징들을 지칭한다.
예시적인 디스플레이 시스템들
[0062] 도 1을 참조하면, 증강 현실 장면(100)이 도시된다. 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했다는 것이 인지될 것이며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 도 1은 이러한 장면의 예를 도시하며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 피처링(featuring)하는 실세계 공원-형 세팅(110)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들(130, 150)은 실세계에 존재하지 않는다. 인간 시각 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 용이하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0063] 도 2는 착용 가능 디스플레이 시스템(200)의 예를 예시한다. 디스플레이 시스템(200)은 디스플레이(208), 및 그 디스플레이(208)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(208)는, 디스플레이 시스템 사용자 또는 뷰어(201)에 의해 착용 가능하고 그리고 사용자(201)의 눈들의 전면에 디스플레이(208)를 포지셔닝하도록 구성된 프레임(212)에 커플링될 수 있다. 디스플레이(208)는 일부 실시예들에서, 아이웨어(eyewear)로 간주될 수 있다. 일부 실시예들에서, 스피커(216)는 프레임(212)에 커플링되고 사용자(201)의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능(shapeable) 사운드 제어를 제공함). 일부 실시예들에서, 디스플레이 시스템은 또한 하나 또는 그 초과의 마이크로폰들(도시되지 않음) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(200)에 입력들 또는 커맨드들(예를 들어, 음성 메뉴 커맨드들의 선택, 자연어 질문 등)을 제공하도록 허용하게 구성되고, 그리고/또는 다른 사람들(예를 들어, 유사한 디스플레이 시스템들의 다른 사용자들)과의 오디오 통신을 허용할 수 있다.
[0064] 도 2를 계속 참조하면, 디스플레이(208)는, 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(212)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(201)에게 제거 가능하게 부착되는 (예를 들어, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(224)에 예컨대, 유선 리드 또는 무선 연결성에 의해, 동작 가능하게 커플링된다. 로컬 프로세싱 및 데이터 모듈(224)은 하드웨어 프로세서 또는 프로세싱 전자기기 또는 회로뿐 아니라, 디지털 메모리 예컨대, 비-휘발성 메모리(예를 들어, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예를 들어 프레임(212)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(201)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(228) 및/또는 원격 데이터 리포지토리(repository)(232)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(208)에 전달하기 위한) 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(224)은 통신 링크들(236, 240)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(228) 및 원격 데이터 리포지토리(232)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(228, 232)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(224)에 대한 자원들로서 이용 가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(224)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 또는 그 초과를 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 또는 그 초과는 프레임(212)에 부착될 수 있거나, 또는 유선 또는 무선 통신 통로들에 의해 로컬 프로세싱 및 데이터 모듈(224)과 통신하는 자립형 구조들일 수 있다.
[0065] 도 2를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(228)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들 또는 프로세싱 전자기기 또는 회로를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(232)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(232)는 정보, 예를 들어, 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 프로세싱 모듈(228)에 제공하는 하나 또는 그 초과의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0066] "3-차원" 또는 "3-D"로서 이미지의 지각은 뷰어의 각각의 눈에 이미지의 약간 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 도 3은 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 2개의 별개의 이미지들(306 및 308)(각각의 눈(302 및 304)에 대해 하나씩)이 사용자에게 출력된다. 이미지들(306, 308)은 뷰어의 시선과 평행한 광학 또는 z-축을 따라 거리(310) 만큼 눈들(302, 304)로부터 이격된다. 이미지들(306, 308)은 편평하고 눈들(302, 304)은 단일 원근조절된 상태를 가정함으로써 이미지들에 포커싱될 수 있다. 그러한 시스템들은 결합된 이미지에 대한 깊이의 지각을 제공하기 위하여 이미지들(306, 308)을 결합하기 위한 인간 시각 시스템에 의존한다.
[0067] 그러나, 인간 시각 시스템은 더 복잡하고 현실적인 깊이의 지각을 제공하는 것이 더 어렵다는 것이 인지될 것이다. 예를 들어, 이론에 의해 제한됨이 없이, 객체의 뷰어들은 이접운동 및 원근조절의 결합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 관련하여 2개의 눈들의 이접운동 움직임들(즉, 객체 상에 고정시키도록 눈들의 시선들을 수렴하기 위하여 서로를 향하는 또는 서로 멀어지는 동공들의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들하에서, 상이한 거리에 있는 하나의 객체로부터 다른 객체로 주의를 시프트할 때 눈들의 이접운동에서의 변화들은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계 하에서, 눈들의 원근조절, 또는 눈들의 렌즈들의 포커스의 매칭하는 변화를 자동으로 유발할 것이다. 마찬가지로, 원근조절의 변화는 정상 조건들하에서, 이접운동의 매칭하는 변화를 트리거할 것이다. 본원에서 언급되는 바와 같이, 다수의 스테레오스코픽 또는 "3-D" 디스플레이 시스템들은, 3-차원 원근투시가 인간 시각 시스템에 의해 지각되도록 각각의 눈에 약간 상이한 프리젠테이션들(그리고 따라서, 약간 상이한 이미지들)을 사용하여 장면을 디스플레이한다. 그러나, 그러한 시스템들은 많은 뷰어들에게 불편할 수 있는데, 그 이유는 다른 것들 중에서, 그러한 시스템들이 단순히 장면의 상이한 프리젠테이션들을 제공하지만, 눈들이 단일 원근조절된 상태에서 모든 이미지 정보를 보고, 그리고 "원근조절-이접운동 반사"에 반하여 작동하기 때문이다. 원근조절과 이접운동 간의 더 양호한 매칭을 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0068] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. z-축 상에서 눈들(302, 304)로부터의 다양한 거리들에 있는 객체들은, 이들 객체들이 인 포커싱(in focus)되도록 눈들(302, 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들에 포커싱을 맞추게 하는 특정 원근조절된 상태들을 가정한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(402) 중 특정 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 인 포커싱된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302, 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302, 304)의 시야들은 예를 들어, z-축을 따른 거리가 증가함에 따라 겹쳐질 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 피처들은 특정 원근조절된 상태에서 눈과 인 포커싱된다는 것이 인지될 것이다.
[0069] 객체와 눈(302 또는 304) 간의 거리는 또한, 그 눈으로 볼 때, 그 객체로부터 광의 발산(divergence)의 양을 변화시킬 수 있다. 도 5a 내지 도 5c는 광선들의 거리와 발산 간의 관계들을 예시한다. 객체와 눈(302) 간의 거리는, 거리가 감소하는 순서로 R1, R2 및 R3에 의해 표현된다. 도 5a 내지 도 5c에 도시된 바와 같이, 광선들은, 객체에 대한 거리가 감소함에 따라 더 많이 발산하게 된다. 거리가 증가함에 따라, 광선들은 더욱 시준된다. 다른 말로 하면, 포인트(객체 또는 객체의 일부)에 의해 생성된 광 필드가 구체 파면 곡률을 가지는 것으로 말해질 수 있고, 구체 파면 곡률은, 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수이다. 곡률은 객체와 눈(302) 간의 거리가 감소함에 따라 증가한다. 결과적으로, 상이한 깊이 평면들에서, 광선들의 발산 정도는 또한 상이하고, 발산 정도는, 깊이 평면들과 뷰어의 눈(302) 간의 거리가 감소함에 따라 증가한다. 단지 하나의 눈(302)이 도 5a 내지 도 5c 및 본원의 다른 도면들에서 예시의 명확성을 위해 예시되지만, 눈(302)에 대한 논의들이 뷰어의 양쪽 눈들(302 및 304)에 적용될 수 있다는 것이 인지될 것이다.
[0070] 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 상이한 프리제테이션들이 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 그리하여, 상이한 깊이 평면 상에 로케이팅되는 장면에 대한 상이한 이미지 피처들에 포커스를 맞추도록 요구되는 눈의 원근조절에 기초하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 피처들이 아웃 포커스(out of focus)되는 것을 관찰하는 것에 기초하여 깊이 단서들을 사용자에게 제공하는 것을 돕는다.
[0071] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(600)은 복수의 도파관들(620, 622, 624, 626, 628)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(605)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(600)은 도 2의 시스템(200)이고, 도 6은 그 시스템(200)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예를 들어, 도파관 어셈블리(605)는 도 2의 디스플레이(208)의 부분일 수 있다.
[0072] 도 6을 계속 참조하면, 도파관 어셈블리(1240)는 또한 도파관들 사이에 복수의 피처들(630, 632, 634, 636)을 포함할 수 있다. 일부 실시예들에서, 피처들(630, 632, 634, 636)은 렌즈들일 수 있다. 도파관들(620, 622, 624, 626, 628) 및/또는 복수의 렌즈들(630, 632, 634, 636)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 도파관들에 대한 광의 소스로서 기능할 수 있고, 이미지 정보를 도파관들(620, 622, 624, 626, 628)에 주입하기 위하여 활용될 수 있으며, 도파관들 각각은, 본원에 설명된 바와 같이, 눈(302)을 향하여 출력하기 위해 각각의 개별 도파관에 걸쳐 인입 광을 분산시키도록 구성될 수 있다. 상이한 소스들을 사용함으로써, 광 소스들 그 자체는 원하는 대로 각각의 깊이 평면에 대한 조명을 스위칭 온 또는 스위칭 오프함으로써 깊이 평면들을 스위칭하도록 작동한다. 광은 이미지 주입 디바이스들(640, 642, 644, 646, 648)의 출력 표면(650, 652, 654, 656, 658)을 나가고 도파관들(620, 622, 624, 626, 628)의 대응하는 입력 표면(670, 672, 674, 676, 678)에 주입된다. 일부 실시예들에서, 입력 표면들(670, 672, 674, 676, 678) 각각은 대응하는 도파관의 에지일 수 있거나, 또는 대응하는 도파관의 주 표면의 일부일 수 있다(즉, 도파관 표면들 중 하나는 직접적으로 세계(610) 또는 뷰어의 눈(302)을 향함). 일부 실시예들에서, 단일 광 빔(예를 들어, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(302)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648) 중 하나의 이미지 주입 디바이스가 복수(예를 들어, 3개)의 도파관들(620, 622, 624, 626, 628)과 연관되고 그에 광을 주입할 수 있다.
[0073] 일부 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 각각 대응하는 도파관(620, 622, 624, 626, 628)에 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 실시예들에서, 예를 들어, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스들을 포함한다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(640, 642, 644, 646, 648)은 예를 들어, 이미지 정보를 하나 또는 그 초과의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(640, 642, 644, 646, 648)의 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다. 이미지 주입 디바이스들(640, 642, 644, 646, 648)에 의해 제공되는 이미지 정보는 상이한 파장들 또는 컬러들(예를 들어, 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인지될 것이다.
[0074] 일부 실시예들에서, 도파관들(620, 622, 624, 626, 628) 내로 주입된 광은 백라이트(614b)와 같은 광 소스를 포함할 수 있는 광 출력 모듈(614)에 의해 제공된다. 백라이트(614b)는 하나 또는 그 초과의 LED(light emitting diode)들과 같은 하나 또는 그 초과의 이미터들을 포함할 수 있다. 백라이트(614b)로부터의 광은 광 변조기(614a), 예를 들어, 공간 광 변조기에 의해 수정될 수 있다. 광 변조기(614a)는 도파관들(620, 622, 624, 626, 628) 내로 주입되는 광의 지각된 세기를 변화시키도록 구성될 수 있다. 공간 광 변조기들의 예들은, LCD(liquid crystal display)들 및 DLP(digital light processing) 디스플레이들을 포함한다. 일부 실시예들에서, 광 출력 모듈은 (예를 들어, 광을 투과 및/또는 반사시킴으로써) 이미터로부터 광 변조기(614a)로 광을 지향시키도록 구성된 하나 또는 그 초과의 광 가이드들, 광 파이프들 또는 반사기들을 포함할 수 있다.
[0075] 제어기(612)는 이미지 주입 디바이스들(640, 642, 644, 646, 648), 광 이미터(614b) 및/또는 광 변조기(614a)의 동작을 포함한, 스택된 도파관 어셈블리(1240)의 하나 또는 그 초과의 도파관들의 동작을 제어한다. 일부 실시예들에서, 제어기(612)는 로컬 데이터 프로세싱 모듈(224)의 부분이다. 제어기(612)는 예를 들어, 본원에 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(620, 622, 624, 626, 628)에 대한 이미지 정보의 타이밍 및 제공을 조절하는 프로그래밍(예를 들어, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(612)는 사용자의 눈을 이미징하는 하나 또는 그 초과의 카메라들 또는 센서들(예를 들어, 내향 카메라)로부터의 수신된 입력 및/또는 동작들을 제어하도록 구성될 수 있으며, 여기서 광 이미터(614b) 및/또는 광 변조기(614a)의 동작은, 언제 눈이 깜빡이는지 또는 움직이는지에 관한 결정과 같이 눈의 이미지들 및/또는 연관된 이미지 데이터에 적어도 부분적으로 기초할 수 있다. 일부 실시예들에서, 제어기는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(612)는 일부 실시예들에서, 프로세싱 모듈들 또는 전자기기들(224 또는 228)(도 2) 및/또는 다른 프로세싱 전자기기 및 회로의 부분일 수 있다.
[0076] 도 6을 계속 참조하면, 도파관들(620, 622, 624, 626, 628, 190)은 TIR(total internal reflection)에 의해 각각의 개별 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(620, 622, 624, 626, 628)은 각각 평면형이거나 다른 형상(예를 들어, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(620, 622, 624, 626, 628)은 이미지 정보를 눈(4)에 출력하기 위해 각각의 개별 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관 밖으로 광을 추출하도록 구성된 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 아웃커플링 광학 엘리먼트들은 또한 광 추출 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력될 수 있다. 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 예를 들어, 본원에서 추가로 논의되는 바와 같이, 회절성 광학 피처들을 포함하는 격자들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(620, 622, 624, 626, 628)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 본원에서 추가로 논의되는 바와 같이, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(620, 622, 624, 626, 628)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 도파관들(620, 622, 624, 626, 628)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(620, 622, 624, 626, 628)은 재료의 모놀리식 피스(piece)일 수 있고 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0077] 도 6을 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(620, 622, 624, 626, 628)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예를 들어, 눈에 가장 가까운 도파관(620)은, 그러한 도파관(620)에 주입된 시준된 광을 눈(302)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위의 다음 도파관(622)은, 시준된 광이 눈(302)에 도달할 수 있기 전에 제1 렌즈(630)(예를 들어, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그러한 제1 렌즈(630)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위의 다음 도파관(622)으로부터 오는 광을, 광학적 무한대로부터 눈(302)을 향하여 안쪽으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 위의 제3 도파관(624)은 자신의 출력 광을 눈(302)에 도달하기 전에 제1(630) 및 제2(632) 렌즈들 둘 모두를 통과시키고; 제1(630) 및 제2(632) 렌즈들의 결합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(624)으로부터 오는 광을, 위의 다음 도파관(622)으로부터의 광보다는 광학적 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0078] 다른 도파관 층들(626, 628) 및 렌즈들(634, 636)은 유사하게 구성되는데, 스택에서 가장 높은 도파관(628)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 어그리게이트 초점 전력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(605)의 다른 측 상에서 세계(610)로부터 오는 광을 보거나/해석할 때 렌즈들(630, 632, 634, 636)의 스택을 보상하기 위하여, 보상 렌즈 층(638)은 아래의 렌즈 스택(630, 632, 634, 636)의 어그리게이트 전력(aggregate power)을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 아웃커플링 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적(즉, 동적이거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0079] 일부 실시예들에서, 도파관들(620, 622, 624, 626, 628) 중 둘 또는 그 초과는 동일한 연관된 깊이 평면을 가질 수 있다. 예를 들어, 다수의 도파관들(620, 622, 624, 626, 628)은 동일한 깊이 평면으로 세팅된 이미지들을 출력하도록 구성될 수 있거나, 또는 도파관들(620, 622, 624, 626, 628)의 다수의 서브세트들은 동일한 복수의 깊이 평면들로 세팅된 이미지들(각각의 깊이 평면에 대해 하나의 이미지가 세팅됨)을 출력하도록 구성될 수 있다. 이는 그러한 깊이 평면들에서 확장된 시야를 제공하기 위해 타일 이미지(tiled image)를 형성하는 이점들을 제공할 수 있다.
[0080] 도 6을 계속 참조하면, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 자신의 개별 도파관들 밖으로 광을 재지향하고 그리고 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)을 가질 수 있고, 이러한 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(660, 662, 664, 666, 628)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예를 들어, 광 추출 광학 엘리먼트들(660, 662, 664, 666, 628)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(630, 632, 634, 636)은 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예를 들어, 공기 갭들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0081] 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(660, 662, 664, 666, 628)은 회절 패턴 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)를 형성하는 회절 피처들이다. 다양한 실시예들에서, DOE들은 충분히 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차로 인해 눈(302)을 향하여 멀리 편향되지만, 나머지는 TIR(total internal reflection)을 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 퇴장 빔들로 분할되고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(302)을 향하는 상당히 균일한 퇴장 방출 패턴이다.
[0082] 일부 실시예들에서, 하나 또는 그 초과의 DOE들은, 그것들이 활발하게 회절시키는 "온" 상태들과 그것들이 크게 회절시키지 않는 "오프" 상태들 간에 스위칭 가능할 수 있다. 예를 들어, 스위칭 가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 것에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활발하게 회절시킴).
[0083] 도 7은 도파관에 의해 출력된 퇴장 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(605) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(605)는 다수의 도파관들을 포함한다. 광(700)은 도파관(620)의 입력 표면(670)에서 도파관(620)으로 주입되고 TIR에 의해 도파관(620) 내에서 전파된다. 광(700)이 DOE(660)에 충돌하는 지점들에서, 광의 일부는 퇴장 빔들(702)로서 도파관을 나간다. 퇴장 빔들(7)은 실질적으로 평행한 것으로 예시되지만, 본원에 논의된 바와 같이, 이들 퇴장 빔들(7)은 또한 도파관(620)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(302)으로 전파되도록 재지향될 수 있다(예를 들어, 발산하는 퇴장 빔들을 형성함). 실질적으로 평행한 퇴장 빔들은, 눈(302)으로부터 먼 거리(예를 들어, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 보이는 이미지들을 형성하도록 광을 아웃커플링하는 아웃커플링 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 아웃커플링 광학 엘리먼트들의 다른 세트들은 더 발산하는 퇴장 빔 패턴을 출력할 수 있고, 이는 눈(302)이 망막 상에 포커싱을 맞추게 하기 위해 더 가까운 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(302)에 더 가까운 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
전류 드레인의 감소
[0084] 일부 실시예들에서, 위에서 논의된 바와 같은 디스플레이 시스템(600)은 배터리에 의해 전력이 공급될 수 있다. 전류 드레인 감소 또는 전력 감소는 배터리로부터 더 많은 실행 시간을 제공하거나 또는 디바이스의 가열을 감소시키기 위해 바람직할 수 있다. 일부 실시예들에서, 디스플레이 시스템(200)에서의 전류는 (예를 들어, 백라이트(614b), 이미지 주입 디바이스들(640, 642, 644, 646, 648), 예컨대, 가능하게는, 하나 또는 그 초과의 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스 등을 사용하여) 디스플레이 시스템(620)의 디스플레이를 조명하는 데 드로우(draw)될 수 있다. 또한, 디스플레이(예를 들어, 제어기(612)의 그래픽 프로세서 또는 드라이버)를 제어하기 위해 전류가 사용된다.
[0085] 본원에서 설명된 바와 같이, 일부 전류 드레인 감소 또는 전력 감소는 예를 들어, 사용자 상호작용의 결여에 기초하여 타임-아웃 기간(time-out period) 이후에, 디스플레이를 디밍(dimming) 또는 턴 오프(예를 들어, 디스플레이 백라이트를 디밍 또는 턴 오프)시키거나, 디스플레이 업데이트 또는 리프레시 레이트(refresh rate)를 감소시키거나, 디스플레이를 디밍 또는 정지(shutting off)시킴으로써 달성될 수 있다.
[0086] 예컨대, 본원에서 설명된 증강 현실 또는 가상 현실 디바이스들의 일부 실시예들에서, 카메라(또는 다른 방법)가 눈 움직임을 추적하는 데 사용될 수 있다. 디스플레이 시스템(600)은 사용자의 얼굴로 그리고 특히 사용자의 눈(예를 들어, 눈(302))을 향해 안쪽으로 지향되는 내향 카메라(616)를 포함할 수 있다. 일부 경우들에, 이 눈 추적은, 예를 들어, 디스플레이 시스템(600)에 의해 디스플레이되는 뷰(view)를 조정하기 위해 행해질 수 있다. 예를 들어, 카메라(616)는 눈 동공 또는 홍채의 상태 또는 포지션이 추적될 수 있는 눈(302)의 이미지들을 캡처하는데 사용될 수 있다. 눈 동공 또는 홍채의 상태 또는 포지션은 디스플레이가 상응하게 조정되는 것을 허용하도록 디바이스의 사용자가 바라보는 곳을 결정하기 위해 사용될 수 있다.
[0087] 일부 실시예들에서, 눈 추적은 사용자의 눈이, 사용자가 일시적으로 볼 수 없는 상태에 있는지를 결정하는 데 사용될 수 있다. 예를 들어, 사용자는 사용자가 깜빡일 때 볼 수 없을 수 있다. 또한, 사용자는 사용자의 눈들이 단속적 운동(saccade)(예를 들어, 고정 지점들 사이에서 눈들의 빠른 움직임)을 겪고 있을 때 볼 수 없을 수 있다.
[0088] 일부 실시예들에서, 눈 추적 카메라 또는 내향 카메라(또는 다른 센서 또는 센서 시스템)는 사용자의 동공 또는 홍채가 뷰로부터 부분적으로 또는 완전히 차단되는지를 결정함으로써 사용자가 깜빡이는지를 결정하는 데 사용될 수 있다. 예를 들어, 카메라는 배경(예를 들어, 사용자의 눈 흰자) 내의 어두운 원으로서 사용자의 눈의 홍채를 추적할 수 있다. 대안적으로, 카메라는 홍채 내의 어두운 원으로서 사용자의 동공을 추적할 수 있다. 사용자가 깜빡일 때 홍채 또는 동공에 의해 정의된 원의 일부 또는 전부가 가려지거나 차단될 수 있다. 제어기(612)는 사용자의 홍채 또는 동공에 대응하는 원 패턴이 부분적으로 또는 완전히 없어진 것에 대한 응답으로 깜빡임을 "그래픽적으로" 검출할 수 있다. 예를 들어, 일부 실시예들에서, 원 패턴 중 얼마만큼이 가시적인지가 임계 값에 대해 비교될 수 있으며, 여기서 가시적인 (예를 들어, 원) 패턴의 양이 임계 값을 만족시키지 않는 경우 사용자는 깜빡이는 것으로 결정된다. 일부 실시예들에서, 임계 값은 사용자 시도들에 기초하여 미리 구성될 수 있다.
[0089] 일부 실시예들에서, 제어기(612)는 카메라(616)의 뷰로부터 계산된 콘트라스트의 양에 기초하여 사용자가 깜빡이는지를 검출할 수 있다. 예를 들어, 콘트라스트가 임계 값을 만족시키는지에 관한 결정이 내려질 수 있다. 일부 실시예들에서, 사용자의 눈이 떠져 사용자의 홍채 또는 동공이 가시적일 때, (예를 들어, 눈, 또는 눈과 눈꺼풀의 결합으로부터) 역으로 반사되어 카메라에 의해 캡처된 이미지들에서 높은 양의 콘트라스트가 있을 수 있다. 다른 한편, 사용자의 눈이 감겨져 있을 때(예를 들어, 사용자의 눈꺼풀이 눈을 덮고 있을 때), 사용자의 눈이 떠져(예를 들어, 적어도 부분적으로 떠져 있음) 있을 때와 비교하여 콘트라스트 양이 훨씬 더 낮을 수 있다. 따라서, 제어기(612)는 콘트라스트가 임계 값보다 낮을 때 깜빡임을 검출할 수 있다.
[0090] 일부 실시예들에서, 제어기(612)가 사용자의 홍채 또는 동공의 포지션을 검출할 수 없는 경우가 있다. 예를 들어, 제어기(612)는 사용자의 홍채 또는 동공이 검출될 수 없는 경우에 "에러" 상태를 생성할 수 있으며, 이는 또한 깜빡임 검출로서 역할을 할 수 있다.
[0091] 일부 실시예들에서, 제어기(612)는 사용자에 의한 단속적 운동을 검출할 수 있다. 사용자의 눈이 단속적 운동의 상태에 있을 때, 사용자는 사용자의 눈이 떠져 있음에도 불구하고 어떠한 시각 정보도 지각하지 못할 수 있다. 일부 실시예들에서, 제어기(612)는 (예를 들어, 위에서 논의된 바와 같이 어두운 원으로서) 사용자의 홍채 또는 동공의 위치를 추적하도록 내향 카메라(616)를 사용함으로써 단속적 운동을 검출할 수 있다. 소정의 레이트보다 높은 사용자의 홍채 또는 동공의 움직임이 검출되는 경우, 사용자는 단속적 운동 상태에 있는 것으로 간주될 수 있다.
[0092] 일부 실시예들에서, 깜빡임 또는 단속적 운동의 시간 기간은 미리 결정된 시간 기간일 수 있다. 미리 결정된 시간 기간은 사용자 연구들로부터의 경험적 데이터에 기초하여 결정될 수 있다. 일부 실시예들에서, 깜빡임 또는 단속적 운동에 대한 시간 기간은 위에서 논의된 바와 같이 눈 뜸/감음 기준들 또는 안구 움직임 기준들에 기초하여 디스플레이 시스템(600)의 하나 또는 그 초과의 센서들(예를 들어, 내향 카메라(616))에 의해 측정될 수 있다. 눈이 일정 시간 기간 동안 감거나 단속적 운동을 경험하고 있는 경우, 시스템은 전력을 보존하기 위해 더 낮은 에너지 상태로 세팅될 수 있다.
[0093] 위의 논의가 주로, 사용자가 (예를 들어, 깜빡임 또는 단속적 운동으로 인해) 볼 수 없는 상태를 결정하는 데 카메라를 사용하는 것을 지칭하지만, 사용자 눈의 상태를 검출하는 데 사용될 수 있는 임의의 유형의 하드웨어, 예컨대, 다른 유형들의 센서 시스템들이 사용될 수 있다. 일부 경우들에서, 새로운 하드웨어의 부가에 의해 소비될 전력 소비를 감소시키기 위해, 디스플레이 시스템(600)과 이미 통합된 하드웨어(예를 들어, 디스플레이 시스템(600)에서 다른 목적들을 제공하기 위해 설계된 하드웨어)를 활용하는 것이 바람직할 수 있다. 카메라 또는 다른 유형의 센서 시스템은 가시광을 사용하는 것으로 제한되지 않고 IR(infrared) 광을 사용할 수 있다.
[0094] 일부 실시예들에서, 디스플레이 시스템(600)은 사용자가 (예를 들어, 깜빡임이나 단속적 운동으로 인해) 볼 수 없는 기간 동안 그의 전류 또는 전력 드레인을 감소시킬 수 있다. 예를 들어, 디스플레이의 전류 드레인 또는 전력 사용은 디스플레이와 연관된 디스플레이에 대한 광 소스(예를 들어, 백라이트)를 디밍 또는 턴 오프하는 것을 포함할 수 있는, 하나 또는 그 초과의 전류 드레인 또는 전력 감소 기술들을 이용함으로써 감소될 수 있다. 일부 실시예들에서, 디스플레이 시스템(600)의 광 소스(예를 들어, 백라이트)(614b)는 디밍 또는 턴 오프될 수 있다. 다른 실시예들(예를 들어, 백라이트를 갖지 않는 OLED 디스플레이들을 사용하는 디스플레이 시스템)에서, 전류 드레인 또는 전력 사용은 디스플레이의 하나 또는 그 초과의 활성 픽셀들을 디밍 또는 턴 오프함으로써 감소될 수 있다. 눈이 볼 수 없을 때(예를 들어, 깜빡임 또는 단속적 운동 동안) 다른 유형의 디스플레이 컴포넌트들 또는 디스플레이들이 턴 오프되거나, 디밍되거나, 또는 더 낮은 전력 소비 모드로 세팅될 수 있다.
[0095] 대안 또는 결합에서, 그래픽 드라이버 또는 프로세서 또는 디스플레이와 연관된 프로세싱 전자기기는 다수의 프레임들을 "스킵(skip)"하거나 지정된 시간 기간 동안 대기하며, 여기서 그래픽 드라이버는 새로운 이미지를 제공하거나 이미지들을 리프레시하는 경우보다 전력이 덜 소비되게 하는 상태에 있다. 예를 들어, 그래픽 드라이버는 그래픽 프로세서가, 디스플레이된 이미지를 리프레시하는 것을 유예시키거나 디스플레이의 리프레시 레이트를 감소시키게 할 수 있고, 이에 따라 정상 동작에 비해 전력을 덜 소비한다. 일부 구현들에서, 전류 드레인이 감소되는 시간 기간 또는 프레임들의 수는 깜빡임 또는 단속적 운동의 길이에 대응하도록 구성될 수 있다. 예를 들어, 깜빡임에 대한 시간 기간은 통상적으로 100 내지 400mSec이다.
[0096] 본원에서 논의된 전류 드레인 감소 기술들 중 임의의 것은 독립적으로 또는 서로 결합하여 수행될 수 있다는 것이 이해된다. 예를 들어, 일부 실시예들에서, 깜빡임 또는 단속적 운동의 검출에 대한 응답으로, 제어기(612)는 백라이트(614b)를 디밍하는 것은 물론, 그래픽 드라이브가 지정된 수의 프레임들을 스킵하게 할 수 있다. 다른 실시예들에서, 제어기(612)는 그래픽 드라이버가 백라이트(614b)를 디밍하지 않고 지정된 수의 프레임들을 스킵하게 할 수 있거나, 또는 그 반대도 가능하다.
[0097] 도 8은 일부 실시예들에 따라, 전류 드레인 또는 전력 사용을 감소시키기 위한 예시적인 프로세스의 흐름도를 예시한다. 이 흐름도의 임의의 부분은 프로세싱 전자기기 또는 회로와 같은 전자기기에 의해 실행될 수 있다. 블록(802)에서, 디스플레이 시스템의 사용자가 볼 수 없는 상태(예를 들어, 사용자에 의한 깜빡임 또는 단속적 운동)가 검출되는지에 관한 결정이 내려진다. 일부 실시예들에서, 이는, 사용자의 동공 또는 홍채가 뷰로부터 차단되는지 또는 빠른 움직임을 경험하는지를 결정하는 눈 추적 또는 내향 카메라 또는 다른 센서 또는 센서 시스템을 사용하여 행해질 수 있다. 깜빡임 또는 단속적 운동이 검출되는 경우, 프로세스는 블록(804)으로 진행될 수 있다. 그렇지 않으면, 프로세스는 예를 들어, 디스플레이 시스템의 사용자에 의한 깜빡임 또는 단속적 운동을 검출하도록 눈을 계속 모니터링할 수 있다.
[0098] 블록(804)에서, 디스플레이와 연관된 광 소스가 디밍되거나 턴 오프된다. 예를 들어, 광 소스는 저전력 모드에 진입하거나 디스에이블되도록 구성될 수 있다. 일부 실시예들에서, 광 소스는 백라이트(614b)를 포함할 수 있다. 다른 실시예들에서, 광 소스는 디스플레이의(예를 들어, OLED 디스플레이의) 복수의 활성 픽셀들을 포함할 수 있다. 다른 광 소스들 및 디스플레이 구성들이 가능하다.
[0099] 블록(806)에서, 디스플레이 시스템과 연관된 그래픽 드라이버는 소비되는 전력의 양을 감소시킬 수 있다. 예를 들어, 그래픽 드라이버는 X개의 프레임들을 스킵하거나 Y의 시간 기간을 대기할 수 있으며, 여기서 X 및 Y는 깜빡임(예를 들어, 100 내지 400 mSec) 또는 단속적 운동의 기간에 기초하여 결정된다. 일부 실시예들에서, 그래픽 드라이버는 디스플레이의 리프레시 레이트를 감소시킬 수 있다.
[0100] 블록(808)에서, 디스플레이와 연관된 광 소스(예를 들어, 백라이트(614b), 디스플레이의 활성 픽셀들 등) 또는 디스플레이의 다른 컴포넌트들이 다시 턴 온되거나 디밍-해제되고(un-dimmed) 디스플레이 시스템이 정상 동작을 재개한다. 이 흐름도에 예시된 프로세스는 예이며, 단계들은 배제, 부가 및/또는 재순서화될 수 있다는 것이 이해된다.
[0101] 도 8은, 디스플레이와 연관된 광 소스를 디밍/턴 오프하는 것(블록 804, 808) 및 그래픽 드라이버 또는 프로세서의 전력 소비를 감소시키는 것(블록 806) 둘 모두를 예시하지만, 다른 실시예들에서, 디스플레이 시스템(600)은 전류 드레인 또는 전력 감소 기술들의 임의의 결합을 수행할 수 있다는 것이 이해된다. 예를 들어, 일부 실시예들에서, 디스플레이 시스템(600)은 디스플레이의 광 소스를 디밍/턴 오프하는 것만, 그래픽 드라이버 또는 프로세서의 전력 소비를 감소시키는 것(예를 들어, 프레임들을 스킵하는 것, 리프레시 레이트를 감소시키는 것 등)만, 또는 둘 모두를 수행할 수 있다. 전력 보존은 또한 다른 컴포넌트들로부터 발생할 수 있다. 예를 들어, 공간 광 변조기 또는 하나 또는 그 초과의 스캐닝 섬유들 또는 스캐닝 섬유 디스플레이 디바이스들을 더 낮은 전력 상태로 세팅하는 것은 전력 소비를 또한 감소시킬 수 있다.
[0102] 평균적인 사람은 대략 매 2 내지 10초 마다 한 번씩 100 내지 400 msec의 기간 동안 깜빡인다. 따라서 덜 빈번한 시나리오에서, 눈들은 그 시간의 약 1% 동안 감긴다. 보다 통상적인 시나리오의 경우, 눈들은 그 시간의 2% 내지 5%의 시간 동안 감긴다. 따라서, 광 소스(예를 들어, 백라이트 또는 활성 픽셀들) 및/또는 그래픽 드라이버/프로세서를 사용하여 디스플레이를 조명하는 것과 연관된 전류 드레인에서 몇 퍼센트의 감소가 아마도 달성될 수 있다.
[0103] 본 발명의 다양한 예시적 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은, 본 발명의 더 넓게 적용 가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 발명의 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 예를 들어, 다수의 깊이 평면들에 걸쳐 이미지들을 제공하는 AR 디스플레이들과 함께 유리하게 활용되지만, 본원에서 개시된 증강 현실 콘텐츠는 또한 단일 깊이 평면 상에 이미지들을 제공하는 시스템들에 의해 디스플레이될 수 있다.
[0104] 다수의 수정들은, 특정 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 사상 또는 범위를 벗어나지 않으면서 다른 여러개의 실시예들 중 임의의 실시예의 특징들로부터 쉽게 분리될 수 있거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인지될 것이다. 그러한 모든 수정들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[0105] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 사용자에 의해 수행될 수 있다. 즉, “제공하는” 동작은 단지, 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업(power-up) 또는 다른 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들 뿐만 아니라 인용된 순서의 이벤트들에서 수행될 수 있다.
[0106] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기술되었다. 본 발명의 다른 세부사항들에 대해, 이들은, 당업자들에 의해 일반적으로 알려지거나 인지된 특허들 및 공개공보들과 관련하여 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 대해 동일하게 적용될 수 있다.
[0107] 부가적으로, 본 발명이 다양한 피처들을 선택적으로 포함하는 여러개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (본원에서 인용되었거나 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 값들의 범위가 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 발명 내에 포함되는 것으로 해석된다.
[0108] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 또는 그 초과에 독립적으로 또는 그에 결합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "네거티브" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[0109] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있거나, 또는 피처의 부가는 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[0110] 본 발명의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.
Claims (18)
- 감소된 전력 사용을 갖는 디스플레이 시스템으로서,
상기 디스플레이 시스템은:
내향 센서;
헤드-마운트 디스플레이(head-mounted display) ― 상기 헤드-마운트 디스플레이는 사용자에 의해 착용되도록 구성되고 그리고 상기 디스플레이를 상부에 지지하도록 구성된 프레임 상에 배치되고, 상기 디스플레이는 상기 사용자의 시야에 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되고, 상기 디스플레이의 적어도 일부는 투명하고 그리고 상기 사용자가 상기 프레임을 착용할 때 상기 사용자의 눈 앞의 위치에 배치되어, 투명한 부분이 상기 사용자 및 상기 헤드-마운트 디스플레이의 앞의 환경의 일부로부터의 광을 상기 사용자의 눈으로 투과(transmit)하여 상기 사용자 및 상기 헤드-마운트 디스플레이의 앞의 상기 환경의 일부의 뷰를 제공함 ―; 및
상기 내향 센서 및 상기 디스플레이와 통신하는 프로세싱 전자기기를 포함하고,
상기 프로세싱 전자기기는:
상기 내향 센서를 이용하여 사용자의 눈 상태의 제 1 변화를 검출하고 ― 상기 제 1 변화는 상기 사용자의 눈들의 감긴 상태와 연관된 표시를 포함함 ―,
상기 사용자의 눈 상태의 제 2 변화를 검출하고 ― 상기 제 2 변화는 상기 사용자의 눈들의 뜬 상태와 연관된 표시를 포함함 ―, 그리고
상기 사용자의 눈 상태의 제 1 변화에 응답하여 상기 디스플레이 시스템의 전류 드레인(current drain)을 감소시키도록
구성되고,
상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이를 턴 오프하지 않고 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함하고, 그리고
상기 디스플레이를 턴 오프하지 않고 상기 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것은 지정된 수의 프레임들을 스킵(skip)하는 것을 포함하고, 상기 지정된 수의 프레임들은 상기 사용자가 볼 수 없는 시간의 길이에 기초하는, 디스플레이 시스템. - 제1항에 있어서,
상기 디스플레이는 광 소스를 포함하는, 디스플레이 시스템. - 제2항에 있어서,
상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이의 상기 광 소스를 디밍(dimming)하는 것을 더 포함하는, 디스플레이 시스템. - 제2항에 있어서,
상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 더 포함하는, 디스플레이 시스템. - 삭제
- 제1항에 있어서,
상기 프로세싱 전자기기는 상기 디스플레이의 리프레시 레이트(refresh rate)를 감소시킴으로써 상기 디스플레이 시스템의 전류 드레인을 감소시키도록 구성되는, 디스플레이 시스템. - 제1항에 있어서,
상기 사용자의 눈 상태의 상기 제 1 변화 및 상기 제 2 변화는 깜빡임(blink)에 대응하는, 디스플레이 시스템. - 제1항에 있어서,
상기 사용자의 눈 상태의 상기 제 1 변화를 결정하는 것은 상기 내향 센서에 의해 획득되는 홍채 또는 동공의 이미지들을 모니터링하는 것 또는 상기 내향 센서에 의해 획득되는 상기 사용자의 눈의 이미지들의 콘트라스트를 모니터링하는 것을 포함하는, 디스플레이 시스템. - 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법으로서,
내향 센서를 이용하여 사용자의 눈 상태의 제 1 변화를 검출하는 단계 ― 상기 제 1 변화는 상기 사용자의 눈들의 감긴 상태와 연관된 표시를 포함함 ―,
상기 사용자의 눈 상태의 제 2 변화를 검출하는 단계 ― 상기 제 2 변화는 상기 사용자의 눈의 뜬 상태와 연관된 표시를 포함함 ―,
상기 사용자의 눈 상태의 제 1 변화를 검출하는 것에 응답하여 상기 디스플레이 시스템의 전류 드레인을 감소시키는 단계 ― 상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 디스플레이를 턴 오프하지 않고 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것을 포함하고, 그리고 상기 디스플레이를 턴 오프하지 않고 상기 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것은 지정된 수의 프레임들을 스킵하는 것을 포함하고, 상기 지정된 수의 프레임들은 상기 사용자가 볼 수 없는 시간의 길이에 기초함 ―, 및
상기 사용자의 눈 상태의 제 2 변화를 검출하는 것에 응답하여 상기 디스플레이 시스템의 전류 드레인을 증가시키는 단계를 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 제9항에 있어서,
상기 사용자의 눈 상태의 상기 제 1 변화 및 상기 제 2 변화는 깜빡임에 대응하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 제9항에 있어서,
상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 광 소스를 턴 오프하는 것을 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 제9항에 있어서,
상기 디스플레이 시스템의 전류 드레인을 감소시키는 것은 상기 디스플레이의 광 소스를 디밍하는 것을 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 삭제
- 제9항에 있어서,
상기 그래픽 드라이버는 상기 디스플레이의 리프레시 레이트를 감소시킴으로써 상기 디스플레이 시스템의 전류 드레인을 추가로 감소시키도록 구성되는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 제9항에 있어서,
상기 디스플레이에 의해 소비되는 전력의 양을 감소시키도록 상기 디스플레이와 연관된 그래픽 드라이버를 구성하는 것은 다수의 프레임들에 걸쳐 상기 디스플레이에 의해 소비되는 전력의 양을 감소시키는 것을 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법. - 제9항에 있어서,
상기 사용자의 눈 상태의 상기 제 1 변화를 결정하는 것은 상기 내향 센서에 의해 획득되는 홍채 또는 동공의 이미지들을 모니터링하는 것 또는 상기 내향 센서에 의해 획득되는 상기 사용자의 눈의 이미지들의 콘트라스트를 모니터링하는 것을 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
- 제1항에 있어서,
상기 시스템은, 이미지 콘텐츠가 상이한 깊이들에 로케이팅되는 것으로 상기 사용자에게 나타나도록, 상이한 양들의 발산(divergence)으로 상기 사용자에게 상기 이미지 콘텐츠를 제공하도록 구성되는, 디스플레이 시스템. - 제9항에 있어서,
이미지 콘텐츠가 상이한 깊이들에 로케이팅되는 것으로 상기 사용자에게 나타나도록, 상이한 양들의 발산으로 상기 사용자에게 상기 이미지 콘텐츠를 제공하는 단계를 더 포함하는, 디스플레이 시스템의 전력 사용을 감소시키기 위한 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020237023562A KR20230109789A (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662304098P | 2016-03-04 | 2016-03-04 | |
US62/304,098 | 2016-03-04 | ||
KR1020187028590A KR102370445B1 (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
PCT/US2017/020522 WO2017151974A1 (en) | 2016-03-04 | 2017-03-02 | Current drain reduction in ar/vr display systems |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187028590A Division KR102370445B1 (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237023562A Division KR20230109789A (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220027303A KR20220027303A (ko) | 2022-03-07 |
KR102556320B1 true KR102556320B1 (ko) | 2023-07-14 |
Family
ID=59722695
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187028590A KR102370445B1 (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
KR1020237023562A KR20230109789A (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
KR1020227006658A KR102556320B1 (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187028590A KR102370445B1 (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
KR1020237023562A KR20230109789A (ko) | 2016-03-04 | 2017-03-02 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
Country Status (10)
Country | Link |
---|---|
US (5) | US11320900B2 (ko) |
EP (1) | EP3424038A4 (ko) |
JP (6) | JP7190903B2 (ko) |
KR (3) | KR102370445B1 (ko) |
CN (2) | CN109074785B (ko) |
AU (2) | AU2017225977C1 (ko) |
CA (1) | CA3016032C (ko) |
IL (3) | IL307287A (ko) |
NZ (2) | NZ745738A (ko) |
WO (1) | WO2017151974A1 (ko) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102370445B1 (ko) | 2016-03-04 | 2022-03-03 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
KR20180122726A (ko) | 2016-03-25 | 2018-11-13 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
GB2607455B (en) * | 2017-08-24 | 2023-02-15 | Displaylink Uk Ltd | Compressing image data for transmission to a display |
GB2566013B (en) * | 2017-08-24 | 2022-12-07 | Displaylink Uk Ltd | Compressing image data for transmission to a display |
CN112567287A (zh) | 2018-06-18 | 2021-03-26 | 奇跃公司 | 具有帧调制功能的增强现实显示 |
WO2019246044A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
US10802585B2 (en) | 2018-07-12 | 2020-10-13 | Apple Inc. | Electronic devices with display operation based on eye activity |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
US20200073465A1 (en) * | 2018-08-30 | 2020-03-05 | Qualcomm Incorporated | Load reduction in a visual rendering system |
CN115100020A (zh) * | 2019-01-18 | 2022-09-23 | 奇跃公司 | 虚拟、增强和混合现实系统以及方法 |
CN112445315B (zh) * | 2019-08-28 | 2024-11-05 | 北京小米移动软件有限公司 | 屏幕刷新帧率的控制方法、装置及存储介质 |
CN110658904A (zh) * | 2019-09-19 | 2020-01-07 | Oppo广东移动通信有限公司 | 控制终端电流的方法、装置、终端及存储介质 |
US11568242B2 (en) | 2019-12-05 | 2023-01-31 | International Business Machines Corporation | Optimization framework for real-time rendering of media using machine learning techniques |
US11960345B2 (en) | 2021-05-25 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for controlling operational modes for XR devices for performance optimization |
SE545387C2 (en) * | 2021-06-30 | 2023-07-25 | Tobii Ab | Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system |
KR20240074487A (ko) | 2022-11-21 | 2024-05-28 | 가온그룹 주식회사 | 로컬디밍 기반의 xr 디바이스 절전 제어 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010187132A (ja) | 2009-02-10 | 2010-08-26 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2012203127A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム |
JP2013162407A (ja) * | 2012-02-07 | 2013-08-19 | Sharp Corp | 画像表示装置 |
JP2015205114A (ja) * | 2014-04-23 | 2015-11-19 | アルプス電気株式会社 | 眼鏡型電子機器 |
WO2016018487A2 (en) * | 2014-05-09 | 2016-02-04 | Eyefluene, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Family Cites Families (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
JP3563459B2 (ja) * | 1994-10-31 | 2004-09-08 | 大正製薬株式会社 | 瞬き検出システム |
JPH08271953A (ja) * | 1995-03-30 | 1996-10-18 | Olympus Optical Co Ltd | ファインダ装置 |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JPH09105853A (ja) | 1995-10-06 | 1997-04-22 | Canon Inc | 光学装置及び撮影装置 |
JP3651204B2 (ja) | 1996-12-18 | 2005-05-25 | トヨタ自動車株式会社 | 立体画像表示装置、立体画像表示方法及び記録媒体 |
JPH11249064A (ja) * | 1998-03-04 | 1999-09-17 | Omron Corp | 頭部搭載型表示装置 |
JP4129972B2 (ja) | 2002-02-18 | 2008-08-06 | オリンパス株式会社 | 偏心光学系 |
US7856055B2 (en) | 2002-03-13 | 2010-12-21 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
JP4088282B2 (ja) | 2004-08-20 | 2008-05-21 | 清実 中村 | コンピュータ入力方法と装置 |
US7656853B2 (en) | 2004-12-27 | 2010-02-02 | Microsoft Corporation | Reducing power consumption of a wireless device |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
JP2009267733A (ja) | 2008-04-24 | 2009-11-12 | Sharp Corp | 撮像装置および撮像制御方法 |
RU2493613C2 (ru) * | 2008-08-22 | 2013-09-20 | Сони Корпорейшн | Устройство воспроизведения изображений и способ управления |
US8514215B2 (en) | 2008-11-12 | 2013-08-20 | International Business Machines Corporation | Dynamically managing power consumption of a computer with graphics adapter configurations |
ES2721600T5 (es) | 2008-12-12 | 2022-04-11 | Bae Systems Plc | Mejoras en o relacionadas con guías de onda |
WO2011008793A1 (en) | 2009-07-13 | 2011-01-20 | Emsense Corporation | Systems and methods for generating bio-sensory metrics |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
JP5308305B2 (ja) | 2009-10-20 | 2013-10-09 | 株式会社トーメーコーポレーション | 網膜電位測定装置 |
US20110106025A1 (en) | 2009-10-29 | 2011-05-05 | Hall Gary S | Ophthalmic fluid pump |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
WO2011110728A1 (en) | 2010-03-12 | 2011-09-15 | Nokia Corporation | Light-guiding structures |
JP2012022150A (ja) | 2010-07-14 | 2012-02-02 | Nikon Corp | 表示装置および表示方法 |
JP2012109810A (ja) * | 2010-11-17 | 2012-06-07 | Panasonic Corp | 表示装置、表示制御方法、携帯電話及び半導体装置 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
US9081416B2 (en) * | 2011-03-24 | 2015-07-14 | Seiko Epson Corporation | Device, head mounted display, control method of device and control method of head mounted display |
AU2012253797B2 (en) | 2011-05-06 | 2017-06-22 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US8976110B2 (en) | 2011-10-27 | 2015-03-10 | Tobii Technology Ab | Power management in an eye-tracking system |
BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
KR102513896B1 (ko) | 2011-11-23 | 2023-03-23 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
KR101891786B1 (ko) * | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
US9128522B2 (en) * | 2012-04-02 | 2015-09-08 | Google Inc. | Wink gesture input for a head-mountable device |
EP2841991B1 (en) | 2012-04-05 | 2020-01-08 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
US20130300634A1 (en) | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for determining representations of displayed information based on focus distance |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9310559B2 (en) | 2012-06-11 | 2016-04-12 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US8437513B1 (en) | 2012-08-10 | 2013-05-07 | EyeVerify LLC | Spoof detection for biometric authentication |
CA2884663A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
US9207760B1 (en) | 2012-09-28 | 2015-12-08 | Google Inc. | Input detection |
IN2015DN02476A (ko) | 2012-10-18 | 2015-09-11 | Univ Arizona State | |
US9851787B2 (en) * | 2012-11-29 | 2017-12-26 | Microsoft Technology Licensing, Llc | Display resource management |
CA2898283C (en) | 2013-01-15 | 2021-05-11 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
CN105339866B (zh) | 2013-03-01 | 2018-09-07 | 托比股份公司 | 延迟扭曲凝视交互 |
CA3157218A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
NZ735751A (en) | 2013-03-15 | 2019-10-25 | Magic Leap Inc | Display system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
US10295338B2 (en) | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
US9389683B2 (en) * | 2013-08-28 | 2016-07-12 | Lg Electronics Inc. | Wearable display and method of controlling therefor |
CN105829953B (zh) | 2013-10-16 | 2019-05-28 | 奇跃公司 | 具有可调节的瞳距的虚拟或增强现实头戴设备 |
JP5620562B1 (ja) | 2013-10-23 | 2014-11-05 | 株式会社光波 | 単結晶蛍光体及び発光装置 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
CN109597202B (zh) | 2013-11-27 | 2021-08-03 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9651784B2 (en) * | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
JP6525436B2 (ja) | 2014-01-31 | 2019-06-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 多焦点表示システムおよび方法 |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
KR20150098162A (ko) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 멀티미디어 데이터와 관련된 동작 제어 방법 및 장치 |
WO2015126095A1 (ko) * | 2014-02-21 | 2015-08-27 | 삼성전자 주식회사 | 전자 장치 |
MY180872A (en) | 2014-02-25 | 2020-12-10 | Eyeverify Inc | Eye gaze tracking |
NZ762222A (en) | 2014-03-05 | 2022-02-25 | Univ Arizona | Wearable 3d augmented reality display |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
JP6704353B2 (ja) * | 2014-05-30 | 2020-06-03 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想および拡張現実における焦点面を作成する方法およびシステム |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
US9606622B1 (en) | 2014-06-26 | 2017-03-28 | Audible, Inc. | Gaze-based modification to content presentation |
JP2014222909A (ja) | 2014-07-02 | 2014-11-27 | パナソニック株式会社 | 表示装置、表示制御方法及び半導体装置 |
JP6573755B2 (ja) | 2014-07-10 | 2019-09-11 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
US20160025971A1 (en) | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
US9946361B2 (en) | 2014-08-14 | 2018-04-17 | Qualcomm Incorporated | Management for wearable display |
US9494799B2 (en) | 2014-09-24 | 2016-11-15 | Microsoft Technology Licensing, Llc | Waveguide eye tracking employing switchable diffraction gratings |
EP3216023A4 (en) | 2014-11-07 | 2018-07-18 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
US20160131905A1 (en) | 2014-11-07 | 2016-05-12 | Kabushiki Kaisha Toshiba | Electronic apparatus, method and storage medium |
US20160131904A1 (en) | 2014-11-07 | 2016-05-12 | Osterhout Group, Inc. | Power management for head worn computing |
NZ773819A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
EP3109689A1 (en) * | 2015-06-22 | 2016-12-28 | Nokia Technologies Oy | Transition from a display power mode to a different display power mode |
JP2017058853A (ja) | 2015-09-15 | 2017-03-23 | 株式会社コーエーテクモゲームス | 情報処理装置、動作制御方法、及び動作制御プログラム |
EP3414899A4 (en) | 2016-02-11 | 2019-11-06 | Magic Leap, Inc. | DISPLAY SYSTEM WITH MULTIPLE DEPTH LEVELS WITH REDUCED SWITCHING BETWEEN DEPTH LEVELS |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
KR102370445B1 (ko) | 2016-03-04 | 2022-03-03 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
KR20180122726A (ko) | 2016-03-25 | 2018-11-13 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
CA3020394A1 (en) | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and systems for obtaining. analyzing, and generating vision performance data and modifying media based on the data |
CN117741956A (zh) | 2016-08-02 | 2024-03-22 | 奇跃公司 | 固定距离虚拟和增强现实系统及方法 |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
CN109147715A (zh) | 2018-08-28 | 2019-01-04 | 武汉华星光电技术有限公司 | 用于降低显示面板功耗的方法及低功耗的显示装置 |
-
2017
- 2017-03-02 KR KR1020187028590A patent/KR102370445B1/ko active IP Right Grant
- 2017-03-02 CN CN201780027169.8A patent/CN109074785B/zh active Active
- 2017-03-02 KR KR1020237023562A patent/KR20230109789A/ko not_active Application Discontinuation
- 2017-03-02 JP JP2018545667A patent/JP7190903B2/ja active Active
- 2017-03-02 CA CA3016032A patent/CA3016032C/en active Active
- 2017-03-02 WO PCT/US2017/020522 patent/WO2017151974A1/en active Application Filing
- 2017-03-02 NZ NZ745738A patent/NZ745738A/en unknown
- 2017-03-02 IL IL307287A patent/IL307287A/en unknown
- 2017-03-02 KR KR1020227006658A patent/KR102556320B1/ko active IP Right Grant
- 2017-03-02 NZ NZ756561A patent/NZ756561A/en unknown
- 2017-03-02 CN CN202210361819.5A patent/CN114690881A/zh active Pending
- 2017-03-02 EP EP17760851.0A patent/EP3424038A4/en active Pending
- 2017-03-02 AU AU2017225977A patent/AU2017225977C1/en active Active
- 2017-03-02 US US15/448,402 patent/US11320900B2/en active Active
- 2017-03-02 IL IL291915A patent/IL291915B2/en unknown
-
2018
- 2018-08-27 IL IL261394A patent/IL261394B/en unknown
-
2019
- 2019-08-19 US US16/544,707 patent/US10649527B2/en active Active
-
2020
- 2020-02-28 JP JP2020033116A patent/JP7274435B2/ja active Active
- 2020-05-12 US US15/930,386 patent/US11402898B2/en active Active
-
2021
- 2021-07-02 JP JP2021110759A patent/JP7280922B2/ja active Active
-
2022
- 2022-05-02 US US17/734,965 patent/US11775062B2/en active Active
- 2022-09-20 JP JP2022148941A patent/JP7387843B2/ja active Active
-
2023
- 2023-04-27 AU AU2023202546A patent/AU2023202546B2/en active Active
- 2023-06-20 US US18/338,235 patent/US20230333647A1/en active Pending
- 2023-11-15 JP JP2023194132A patent/JP2024020401A/ja active Pending
-
2024
- 2024-06-19 JP JP2024098682A patent/JP2024120919A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010187132A (ja) | 2009-02-10 | 2010-08-26 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2012203127A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム |
JP2013162407A (ja) * | 2012-02-07 | 2013-08-19 | Sharp Corp | 画像表示装置 |
JP2015205114A (ja) * | 2014-04-23 | 2015-11-19 | アルプス電気株式会社 | 眼鏡型電子機器 |
WO2016018487A2 (en) * | 2014-05-09 | 2016-02-04 | Eyefluene, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11775062B2 (en) | Current drain reduction in AR/VR display systems | |
JP7511070B2 (ja) | 周囲光源からの光を操作するためのシステムおよび方法 | |
KR102547307B1 (ko) | 음향-광학 제어 디바이스를 사용하는 광 프로젝터 | |
CN113728267A (zh) | 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |