KR20180109910A - 증강 현실 시스템에서 오디오를 지향시키기 위한 기법 - Google Patents
증강 현실 시스템에서 오디오를 지향시키기 위한 기법 Download PDFInfo
- Publication number
- KR20180109910A KR20180109910A KR1020187022403A KR20187022403A KR20180109910A KR 20180109910 A KR20180109910 A KR 20180109910A KR 1020187022403 A KR1020187022403 A KR 1020187022403A KR 20187022403 A KR20187022403 A KR 20187022403A KR 20180109910 A KR20180109910 A KR 20180109910A
- Authority
- KR
- South Korea
- Prior art keywords
- end user
- end users
- sound
- virtual image
- sound source
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 57
- 230000003190 augmentative effect Effects 0.000 title description 44
- 230000035945 sensitivity Effects 0.000 claims abstract description 23
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 210000003128 head Anatomy 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 23
- 239000013307 optical fiber Substances 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 11
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 7
- 239000000872 buffer Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 210000000613 ear canal Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
[0020] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0021] 도 2는 본 발명들의 일 실시예에 따라 구성된 증강 현실 시스템의 블록 다이어그램이다.
[0022] 도 3은 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 평면도이다.
[0023] 도 4는 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 사시도이다.
[0024] 도 5는 도 2의 증강 현실 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0025] 도 6a는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 다이폴 패턴의 평면도이다.
[0026] 도 6b는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 카디오이드 패턴의 평면도이다.
[0027] 도 6c는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 슈퍼-카디오이드 패턴의 평면도이다.
[0028] 도 6d는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 하이퍼-카디오이드 패턴의 평면도이다.
[0029] 도 7은 도 2의 증강 현실 시스템에 의해 사용하기 위한 적응성 마이크로폰 어셈블리의 개략도이다.
[0030] 도 8a는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 방향의 평면도이다.
[0031] 도 8b는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 다른 방향의 평면도이다.
[0032] 도 9a는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 하나의 기법의 평면도이다.
[0033] 도 9b는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 다른 기법의 평면도이다.
[0034] 도 9c는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.
[0035] 도 9d는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.
Claims (38)
- 최종 사용자가 사용하기 위한 보청기로서,
실제 사운드 소스에 대한 상기 최종 사용자의 포커스(focus)를 검출하도록 구성된 적어도 하나의 센서;
사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리;
최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성된 적어도 하나의 스피커; 및
상기 최종 사용자의 검출된 포커스에 기반하여 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템
을 포함하는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 수정하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 수정하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적어도 하나의 센서는 카메라를 포함하는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이(phased array)를 포함하는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 상기 마이크로폰 어셈블리, 및 상기 적어도 하나의 스피커를 지지하는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 상기 전기 신호들을 프로세싱하게 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추기 위해 상기 전기 신호들을 프로세싱하도록 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조(deemphasize)되는,
최종 사용자가 사용하기 위한 보청기. - 제1 항에 있어서,
상기 제어 서브시스템은 상기 실제 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하도록 상기 전기 신호들을 프로세싱하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드과 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
최종 사용자가 사용하기 위한 보청기. - 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템으로서,
3차원 장면을 저장하는 메모리;
사운드 소스에 대한 상기 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서;
사운드들을 상기 최종 사용자에게 전달하도록 구성된 적어도 하나의 스피커; 및
상기 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 상기 적어도 하나의 스피커가 다른 사운드 소스들로부터 발생하는 사운드들에 비해 상기 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하게 하고, 그리고 상기 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링(rendering)하도록 구성된 제어 서브시스템; 및
복수의 이미지 프레임들을 상기 최종 사용자에게 순차적으로 디스플레이하도록 구성되는 디스플레이 서브시스템
을 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 디스플레이 서브시스템은 상기 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 디스플레이 서브시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 이미지 프레임들을 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주변 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 적응성 마이크로폰 어셈블리, 상기 적어도 하나의 스피커 및 상기 디스플레이 서브시스템을 지지하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 GPU(graphics control subsystem unit)를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 사운드 소스는 실제 사운드 소스인,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제21 항에 있어서,
상기 사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리를 더 포함하고, 상기 적어도 하나의 스피커는 상기 최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성되고, 상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제22 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 사운드 소스는 가상 사운드 소스인,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제26 항에 있어서,
상기 3차원 장면은 상기 가상 사운드 소스를 포함하고, 상기 메모리는 상기 3차원 장면의 상기 가상 사운드 소스와 연관하여 합성 사운드 데이터를 저장하고, 상기 제어 서브시스템은 상기 가상 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 다른 사운드 소스들로부터 상기 가상 사운드 소스를 식별하고, 그리고 상기 적어도 하나의 스피커가 상기 합성 사운드 데이터에 따라 상기 최종 사용자에게 사운드를 전달하게 하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 적어도 하나의 센서는 카메라를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 따라 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 상기 최종 사용자가 포커싱되는 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템. - 제16 항에 있어서,
상기 제어 서브시스템은 상기 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드와 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662291363P | 2016-02-04 | 2016-02-04 | |
US62/291,363 | 2016-02-04 | ||
PCT/US2017/016263 WO2017136580A1 (en) | 2016-02-04 | 2017-02-02 | Technique for directing audio in augmented reality system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180109910A true KR20180109910A (ko) | 2018-10-08 |
KR102767806B1 KR102767806B1 (ko) | 2025-02-12 |
Family
ID=
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020096406A1 (ko) * | 2018-11-09 | 2020-05-14 | 주식회사 후본 | 사운드 생성 방법 및 이를 수행하는 장치들 |
KR20200054083A (ko) * | 2018-11-09 | 2020-05-19 | 주식회사 후본 | 사운드 생성 방법 및 이를 수행하는 장치들 |
CN113039815A (zh) * | 2018-11-09 | 2021-06-25 | 候本株式会社 | 声音生成方法及执行其的装置 |
KR20230166323A (ko) * | 2022-05-30 | 2023-12-07 | 주식회사 유기지능스튜디오 | 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020096406A1 (ko) * | 2018-11-09 | 2020-05-14 | 주식회사 후본 | 사운드 생성 방법 및 이를 수행하는 장치들 |
KR20200054083A (ko) * | 2018-11-09 | 2020-05-19 | 주식회사 후본 | 사운드 생성 방법 및 이를 수행하는 장치들 |
CN113039815A (zh) * | 2018-11-09 | 2021-06-25 | 候本株式会社 | 声音生成方法及执行其的装置 |
CN113039815B (zh) * | 2018-11-09 | 2022-11-11 | 候本株式会社 | 声音生成方法及执行其的装置 |
KR20230166323A (ko) * | 2022-05-30 | 2023-12-07 | 주식회사 유기지능스튜디오 | 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법 |
Also Published As
Publication number | Publication date |
---|---|
IL260113B (en) | 2021-06-30 |
IL307306A (en) | 2023-11-01 |
AU2017215349A1 (en) | 2018-07-12 |
AU2022201783B2 (en) | 2023-06-29 |
CA3206524C (en) | 2024-02-13 |
EP4075826A1 (en) | 2022-10-19 |
CA3007511A1 (en) | 2017-08-10 |
CN114189793B (zh) | 2024-03-19 |
CN114189793A (zh) | 2022-03-15 |
IL307306B2 (en) | 2024-11-01 |
US20170230760A1 (en) | 2017-08-10 |
CA3206524A1 (en) | 2017-08-10 |
CA3007511C (en) | 2023-09-19 |
JP6904963B2 (ja) | 2021-07-21 |
CN108604439B (zh) | 2021-12-28 |
IL283975B1 (en) | 2023-10-01 |
IL283975A (en) | 2021-07-29 |
NZ743729A (en) | 2022-10-28 |
EP3411873B1 (en) | 2022-07-13 |
IL307306B1 (en) | 2024-07-01 |
IL260113A (en) | 2018-07-31 |
AU2017215349B2 (en) | 2021-12-16 |
EP3411873A4 (en) | 2019-01-23 |
JP2020092448A (ja) | 2020-06-11 |
IL283975B2 (en) | 2024-02-01 |
US10536783B2 (en) | 2020-01-14 |
JP2019511148A (ja) | 2019-04-18 |
WO2017136580A1 (en) | 2017-08-10 |
AU2022201783A1 (en) | 2022-04-07 |
EP3411873A1 (en) | 2018-12-12 |
CN108604439A (zh) | 2018-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022201783B2 (en) | Technique for directing audio in augmented reality system | |
US11906739B2 (en) | Microlens collimator for scanning optical fiber in virtual/augmented reality system | |
KR102419065B1 (ko) | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 | |
JP7121836B2 (ja) | 仮想/拡張現実システムにおける偏波維持光ファイバ | |
KR102748808B1 (ko) | 역각 회절 격자를 가진 가상/증강 현실 시스템 | |
EP3326023B1 (en) | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system | |
JP6017854B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
CN108885342B (zh) | 虚拟图像生成系统及其操作方法 | |
US11812222B2 (en) | Technique for directing audio in augmented reality system | |
KR102767806B1 (ko) | 증강 현실 시스템에서 오디오를 지향시키기 위한 기법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20180802 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220127 Comment text: Request for Examination of Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240409 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20241111 |