KR20180109910A

KR20180109910A - 증강 현실 시스템에서 오디오를 지향시키기 위한 기법

Info

Publication number: KR20180109910A
Application number: KR1020187022403A
Authority: KR
Inventors: 죠지 알리스타 생어; 사무엘 에이. 밀러; 브라이언 슈미트; 아나스타샤 안드레예브나 타지크
Original assignee: 매직 립, 인코포레이티드
Priority date: 2016-02-04
Filing date: 2017-02-02
Publication date: 2018-10-08
Also published as: IL260113B; IL307306A; AU2017215349A1; AU2022201783B2; CA3206524C; EP4075826A1; CA3007511A1; CN114189793B; CN114189793A; IL307306B2; US20170230760A1; CA3206524A1; CA3007511C; JP6904963B2; CN108604439B; IL283975B1; IL283975A; NZ743729A; EP3411873B1; IL307306B1

Abstract

보청기는 실제 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 센서, 사운드들을 전기 신호들로 변환하도록 구성된 마이크로폰 어셈블리, 전기 신호들을 사운드들로 변환하도록 구성된 스피커, 및 검출된 포커스에 기반하여 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템을 포함한다. 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리, 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 센서, 사운드들을 최종 사용자에게 전달하도록 구성된 스피커, 및 포커스의 검출에 대한 응답으로 스피커가 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하고, 그리고 장면의 이미지 프레임들을 렌더링하도록 구성된 제어 서브시스템, 및 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템을 포함한다.

Description

증강 현실 시스템에서 오디오를 지향시키기 위한 기법

[0001] 본 발명은 일반적으로 머리 착용 보청기 디바이스들, 이를테면 증강 현실 환경들에 사용될 수 있는 디바이스들에 관한 것이다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(AR) 시나리오는 통상적으로 최종 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.

[0003] 예컨대, 도 1을 참조하면, 증강 현실 장면(4)이 도시되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(8)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 외에, AR 기술의 최종 사용자는 또한, 그가 실세계 플랫폼(8) 상에 서있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(12)(심지어 이들 엘리먼트들(10, 12)은 실세계에 존재하지 않음)를 보는 것을 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.

[0004] VR 및 AR 시스템들은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 최종 사용자의 머리가 움직일 때 움직이는 머리-착용 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)을 이용한다. 최종 사용자의 머리 모션(motion)들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)의 변화를 고려하기 위하여 업데이트될 수 있다.

[0005] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 그 3D 객체는 각각의 뷰포인트(viewpoint)에 대해 재-렌더링될 수 있고, 이는, 최종 사용자에게 그가 실제 공간을 차지하는 객체를 둘러본다는 인식을 제공한다. 머리-착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는데 사용되면, 머리 포즈의 측정들은 최종 사용자의 동적으로 변화하는 머리 위치 및 배향을 매칭시키기 위하여 장면을 재-렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하기 위해 사용될 수 있다.

[0006] AR을 인에이블하는(즉, 실제 및 가상 객체들의 동시 보기) 머리-착용 디스플레이들은 몇몇 상이한 타입들의 구성들을 가질 수 있다. 종종 "비디오 시-스루(see-through)" 디스플레이라 지칭되는 하나의 그런 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡처된 실제 장면 상에 슈퍼임포즈(superimpose)하고, 그리고 불-투명 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 종종 "광학 시-스루" 디스플레이로서 지칭되고, 여기서 최종 사용자는 디스플레이 시스템 내의 투명(또는 반-투명) 엘리먼트들을 시 스루하여 환경 내의 실제 객체들로부터의 광을 직접 뷰잉(view)할 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실세계의 최종 사용자의 뷰 위에 슈퍼임포즈한다.

[0007] 사용자에게 VR/AR 경험을 향상시키기 위해, 실제 사운드 소스들에 의해 생성된 사운드 및/또는 가상 사운드 소스들에 의해 생성된 사운드는 머리-착용 디스플레이에 통합되거나 그렇지 않으면 연결되는 스피커들을 통해 사용자에게 전달될 수 있다. 사운드가 실제 사운드 소스로부터 생성되든 가상 사운드 소스로부터 생성되든, 사용자가 포커싱되는 방향 및/또는 사용자가 포커싱되는 거리의 사운드를 우선적으로 수신하는 것이 바람직하여, 사용자는, 자신이 관심을 갖는 객체 또는 객체들로부터의 사운드들만을 듣는다. 비록 지향성 마이크로폰들이, 다른 소스들로부터의 노이즈를 소거하면서, 특정 방향 및/또는 특정 거리에 위치된 실제 또는 가상 사운드 소스로부터 도달하는 사운드를 우선적으로 수신하기 위해 머리-착용 디스플레이와 연관될 수 있지만, 사운드 소스들에 대한 지향성 마이크로폰의 최대 감도의 방향 및/또는 거리는 반드시, 사용자가 포커싱되는 방향 및/또는 사용자가 포커싱되는 거리에 대응하지 않을 수 있다.

[0008] 따라서, 사람이 포커싱되는 실제 또는 가상 사운드 소스로부터 도달하는 사운드를 우선적으로 수신하여 최종 사용자에게 전달할 필요가 있다.

[0009] 본 발명들의 일 양상에 따라, 최종 사용자가 사용하기 위한 보청기가 제공된다. 보청기는 실제 또는 가상일 수 있는 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서(예컨대, 카메라)를 포함한다. 일 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 눈의 각도 포지션을 검출하도록 구성된다. 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 거리를 검출하기 위해 최종 사용자의 눈들의 수렴을 검출하도록 구성된다. 또 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 머리의 각도 포지션을 검출하도록 구성된다.

[0010] 보청기는 사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리, 및 최종 사용자가 인식하도록 전기 신호들을 사운드들로 변환하도록 구성된 스피커를 더 포함한다. 일 실시예에서, 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 사운드들을 전기 신호들로 변환하도록 구성된다. 다른 실시예에서, 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이(phased array)를 포함한다. 보청기는 선택적으로 최종 사용자가 착용하도록 구성된 프레임 구조를 포함할 수 있다. 프레임 구조는 센서, 마이크로폰 어셈블리, 및 스피커를 지지할 수 있다.

[0011] 보청기는 사운드 소스에 대한 최종 사용자의 검출된 포커스에 기반하여 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템을 더 포함한다. 예컨대, 제어 서브시스템은 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성될 수 있다.

[0012] 본 발명들의 제2 양상에 따라, 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템이 제공된다. 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리, 사운드 소스(실제이거나 가상일 수 있음)에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서, 및 사운드를 최종 사용자에게 전달하도록 구성된 스피커를 포함한다. 보청기는 실제 또는 가상일 수 있는 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서(예컨대, 카메라)를 포함한다. 일 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 눈의 각도 포지션을 검출하도록 구성된다. 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 거리를 검출하기 위해 최종 사용자의 눈들의 수렴을 검출하도록 구성된다. 또 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 머리의 각도 포지션을 검출하도록 구성된다. 가상 이미지 생성 시스템은 사운드 소스에 대한 최종 사용자의 포커스의 검출에 대한 응답으로 스피커가 다른 사운드 소스들에 비해 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하게 하도록 구성된 제어 서브시스템을 더 포함한다.

[0013] 사운드 소스가 실제이면, 가상 이미지 생성 시스템은 사운드를 증폭하도록 구성된 적응성 마이크로폰 어셈블리를 더 포함할 수 있고, 이 경우에, 제어 서브시스템은 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성될 수 있다. 적응성 마이크로폰 어셈블리는 예컨대 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 사운드를 증폭하도록 구성될 수 있다. 사운드 소스가 가상이면, 3차원 장면은 가상 사운드 소스를 포함할 수 있고, 메모리는 3차원 장면의 가상 사운드 소스와 연관하여 합성의 사운드 데이터를 저장할 수 있다. 이 경우에, 제어 서브시스템은 가상 사운드 소스에 대한 최종 사용자의 포커스의 검출에 대한 응답으로 다른 사운드 소스들로부터 가상 사운드 소스를 식별하게 하고, 그리고 스피커가 합성 사운드 데이터에 따라 최종 사용자에게 사운드를 전달하게 하도록 구성될 수 있다.

[0014] 제어 서브시스템은 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링하도록 추가로 구성될 수 있고, 이 경우에, 가상 이미지 생성 시스템은 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템을 더 포함한다. 제어 서브시스템은 이미지 프레임들을 렌더링하도록 구성된 GPU(graphics control subsystem unit)를 포함할 수 있다. 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성될 수 있다. 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함할 수 있다. 이 경우에, 투사 서브시스템은 이미지를 부분적으로 투명한 디스플레이 표면상으로 투사하도록 구성되고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주변 환경 사이의 시야에 포지셔닝되도록 구성되고, 이에 의해 최종 사용자가 3차원 증강 장면을 가시화하는 것이 허용된다. 가상 이미지 생성 시스템은 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함할 수 있다. 프레임 구조는 센서(들), 적응성 마이크로폰 어셈블리, 스피커 및 디스플레이 서브시스템을 가질 수 있다.

[0015] 선택적인 실시예에서, 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 전기 신호들을 프로세싱하게 구성되어, 실제 사운드 소스로부터 발생하는 사운드는 실제 사운드 소스로부터 발생하는 것으로 최종 사용자에 의해 인식된다. 다른 선택적인 실시예에서, 제어 서브시스템은 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추기 위해 전기 신호들을 프로세싱하도록 구성될 수 있어서, 실제 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조(deemphasize)된다. 또 다른 선택적인 실시예에서, 제어 서브시스템은 실제 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들과 비교하도록 전기 신호들을 프로세싱하고, 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 제2 사운드와 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성된다.

[0016] 본 발명들의 제2 양상에 따라, 이미 언급된 보청기는 가상 이미지 생성 시스템, 이를테면 가상 현실 시스템 또는 증강 현실 시스템에 통합될 수 있다. 보청기의 컴포넌트들 외에, 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리를 더 포함하고, 제어 시스템은 추가로 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링하도록 구성된다. 가상 이미지 생성 시스템은 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성되는 디스플레이 서브시스템을 더 포함한다. 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성될 수 있다. 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함할 수 있다. 이 경우에, 투사 서브시스템은 이미지를 부분적으로 투명한 디스플레이 표면상으로 투사하도록 구성되고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주변 환경 사이의 시야에 포지셔닝되도록 구성되고, 이에 의해 최종 사용자가 3차원 증강 장면을 가시화하는 것이 허용된다. 제어 서브시스템은 이미지를 렌더링하도록 구성된 GPU(graphics control subsystem unit)를 포함할 수 있다.

[0017] 선택적인 실시예에서, 제어 서브시스템은 최종 사용자가 포커싱되는 방향 및/또는 거리의 시각적 표시자를 최종 사용자에게 디스플레이하도록 디스플레이 서브시스템에게 명령하게 구성된다. 다른 선택적인 실시예에서, 제어 서브시스템은 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리의 시각적 표시자를 최종 사용자에게 디스플레이하도록 디스플레이 서브시스템에게 명령하게 구성된다.

[0018] 본 발명의 부가적인 목적 및 다른 목적, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.

[0019] 도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하고, 여기서 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 발명들의 위에 언급된 장점 및 다른 장점 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 특정한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는다는 것이 이해되기 때문에, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들로 서술되고 설명될 것이다.
[0020] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0021] 도 2는 본 발명들의 일 실시예에 따라 구성된 증강 현실 시스템의 블록 다이어그램이다.
[0022] 도 3은 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 평면도이다.
[0023] 도 4는 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 사시도이다.
[0024] 도 5는 도 2의 증강 현실 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0025] 도 6a는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 다이폴 패턴의 평면도이다.
[0026] 도 6b는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 카디오이드 패턴의 평면도이다.
[0027] 도 6c는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 슈퍼-카디오이드 패턴의 평면도이다.
[0028] 도 6d는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 하이퍼-카디오이드 패턴의 평면도이다.
[0029] 도 7은 도 2의 증강 현실 시스템에 의해 사용하기 위한 적응성 마이크로폰 어셈블리의 개략도이다.
[0030] 도 8a는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 방향의 평면도이다.
[0031] 도 8b는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 다른 방향의 평면도이다.
[0032] 도 9a는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 하나의 기법의 평면도이다.
[0033] 도 9b는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 다른 기법의 평면도이다.
[0034] 도 9c는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.
[0035] 도 9d는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.

[0036] 뒤따르는 설명은 증강 현실 시스템에 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 증강 현실 시스템들의 애플리케이션들에 매우 적합하지만, 본 발명이, 자신의 가장 넓은 양상들에서, 그렇게 제한되지 않을 수 있다는 것이 이해될 것이다. 예컨대, 본 발명은 가상 현실 시스템들뿐 아니라, 가상 또는 증강 현실 경험을 사용자에게 제시하기 위해 디스플레이들을 활용하지 않는 다른 머리-착용 보청기 디바이스들에 적용될 수 있다. 따라서, 교시들은 보통 증강 현실 시스템의 측면에서 본원에 설명되지만, 그런 용도들의 그런 시스템으로 제한되지 않아야 한다.

[0037] 도 2를 참조하면, 본 발명들에 따라 구성된 증강 현실 시스템(100)의 일 실시예가 이제 설명될 것이다. 증강 현실 시스템(100)은 최종 사용자(50)의 시야 내 물리적 객체들과 인터믹싱(intermix)되는 가상 객체들의 이미지들을 제공하는 증강 현실 서브시스템으로서 동작될 수 있다. 증강 현실 시스템(100)을 동작시킬 때 2개의 근본적인 접근법들이 있다. 제1 접근법은 주변 환경의 이미지들을 캡처하기 위하여 하나 또는 그 초과의 이미저(imager)들(예컨대, 카메라들)을 이용한다. 증강 현실 시스템(100)은 가상 이미지들을 주변 환경의 이미지들을 표현하는 데이터에 인터믹싱한다. 제2 접근법은, 주변 환경이 보여질 수 있고 그리고 증강 현실 시스템(100)이 가상 객체들의 이미지들을 생성하는 하나 또는 그 초과의 적어도 부분적으로 투명한 표면들을 이용한다.

[0038] 적어도 증강 현실 애플리케이션들에 대해, 최종 사용자(50)의 시야에 있는 각각의 물리적 객체들에 관하여 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그(tag)들 또는 태그 또는 콜 아웃(call out)들로 지칭되는 가상 객체들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 개념, 또는 이미지로서 표현될 수 있는 로지컬 구성 중 임의의 것을 취할 수 있다. 가상 객체들의 비제한적 예들은: 가상 텍스트 객체, 가상 수치 객체, 가상 알파뉴메릭(alphanumeric) 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 기기장치 객체, 또는 물리적 객체의 가상 시각 표현을 포함할 수 있다.

[0039] 본 발명들과 더 관련하여, 증강 현실 시스템(100)은 최종 사용자의 포커스를 방향 및/또는 거리를 따른 사운드의 우선 수신에 커플링하도록 구성되어, 최종 사용자는 최종 사용자에 가장 관련된 사운드를 듣는다. 특히, 증강 현실 시스템(100)은 사운드 소스에 대한 최종 사용자의 포커스를 검출하고, 예컨대 최종 사용자의 검출된 포커스(즉, 최종 사용자가 포커싱되는 사운드 소스를 향해 그리고/또는 사운드 소스에서)에 사운드들의 우선 수신의 방향 및/또는 거리를 세팅함으로써, 최종 사용자의 검출된 포커스에 기반하여 그 사운드 소스로부터 발생하는 사운드를 최종 사용자에게 우선적으로 전달한다.

[0040] 이 목적을 위해, 증강 현실 시스템(100)은 최종 사용자(50)가 착용한 프레임 구조(102), 디스플레이 시스템(104)이 최종 사용자(50)의 눈들(52)의 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지되는 디스플레이 시스템(104), 및 디스플레이 시스템(104)에 통합되거나 연결된 스피커(106)를 포함한다. 예시된 실시예에서, 스피커(106)는, 스피커(106), 예컨대, 이어버드(earbud) 또는 헤드폰이 최종 사용자(50)의 외이도(ear canal)에 인접하여(내에 또는 주위에) 포지셔닝되도록, 프레임 구조(102)에 의해 지지된다. 선택적으로, 다른 스피커(도시되지 않음)는 스테레오/형상화가능 사운드 제어를 제공하기 위하여 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝된다. 비록 스피커(106)가 외이도에 인접하게 포지셔닝되는 것으로 설명되지만, 외이도에 인접하게 위치되지 않은 다른 타입들의 스피커들이 최종 사용자(50)에게 사운드를 전달하는데 사용될 수 있다. 예컨대, 스피커들은 예컨대 골 전도 기술(bone conduction technology)을 사용하여 외이도로부터 일정 거리에 배치될 수 있다.

[0041] 증강 현실 시스템(100)은 주변 환경의 사운드들을 전기 신호들로 변환하는 적응성 마이크로폰 어셈블리(107)를 더 포함하고, 이어서 전기 신호들은 스피커(들)(106)로 전달되고, 차례로 스피커(들)(106)는 전기 신호들을 다시 사운드들로 변환하고, 이어서 사운드들은 최종 사용자(50)에게 재생된다. 아래에서 더 상세히 논의될 바와 같이, 마이크로폰 어셈블리(107)는 최종 사용자(50)가 포커싱되는 방향 및 거리에 대응하는 특정 방향 및/또는 특정 거리의 사운드를 우선적으로 수신하고, 이에 의해 최종 사용자(50)가 증강 현실 장면의 맥락에서 임의의 특정 시간에 사용자에게 가장 관련된 사운드를 포커싱하는 것을 허용한다. 따라서, 마이크로폰 어셈블리(107)는 최종 사용자(50)가 관련 사운드들을 더 명확하게 듣는 것을 허용할 뿐 아니라, 최종 사용자(50)의 관심을 더 관련된 사운드들로 돌리며, 이에 의해 경험 효율성이 향상된다. 예시된 실시예에서, 마이크로폰 어셈블리(107)는 프레임 구조(102)의 아암(arm)들에 장착된다.

[0042] 디스플레이 시스템(104)은 높은-레벨들의 이미지 품질 및 3차원 인식뿐만 아니라, 2차원 콘텐츠를 제시할 수 있는 물리적 현실성에 대한 증강들로서 편안하게 인식될 수 있는 포토(photo)-기반 방사 패턴들을 최종 사용자(50)의 눈들(52)에 제시하도록 설계된다. 디스플레이 시스템(104)은 단일 코히어런트(coherent) 장면의 인식을 제공하는 프레임들의 시퀀스를 고주파수로 제시한다. 이 목적을 위해, 디스플레이 서브시스템(104)은 투사 서브시스템(108) 및 투사 서브시스템(108)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 스크린(110)을 포함한다. 디스플레이 스크린(110)은 최종 사용자(50)의 눈들(52)과 주변 환경 사이의 최종 사용자(50)의 시야에 포지셔닝된다.

[0043] 예시된 실시예에서, 투사 서브시스템(108)은 광 섬유 스캔-기반 투사 디바이스의 형태를 취하고, 디스플레이 스크린(110)은 예컨대, 무한대보다 더 가까운 단일 광학 뷰잉 거리(예컨대, 팔의 길이)의 이미지들, 다수의, 이산 광학 뷰잉 거리들 또는 초점 평면들의 이미지들, 및/또는 볼류메트릭(volumetric) 3D 객체들을 표현하기 위해 다수의 뷰잉 거리들 또는 초점 평면들에 적층된 이미지 층들을 생성하기 위해, 투사 서브시스템(108)으로부터의 스캐닝된 광이 주입되는 도파관-기반 디스플레이의 형태를 취한다. 광 필드에서 이들 층들은 인간 시각 서브시스템에 연속적으로 보이도록 함께 충분히 가깝게 적층될 수 있다(즉, 하나의 층은 인접한 층의 컨퓨전의 콘(cone of confusion) 내에 있음). 부가적으로 또는 대안적으로, 2 또는 그 초과의 층들이 더 성기게 적층되더라도(즉, 하나의 층이 인접한 층의 컨퓨전의 콘 외측에 있다 하더라도), 픽처 엘리먼트(picture element)들은 광 필드의 층들 사이의 전환의 인식된 연속성을 증가시키기 위해 이들 층들에 걸쳐 블렌딩(blend)될 수 있다. 디스플레이 서브시스템(104)은 단안용 또는 쌍안용일 수 있다.

[0044] 도 3 및 도 4를 참조하면, 투사 서브시스템(108)은 제어 신호들에 대한 응답으로 미리결정된 스캔 패턴으로 광 빔을 생성 및 스캐닝하는 스캐닝 어셈블리(112), 및 스캐닝 어셈블리(114)로부터의 광 빔을 디스플레이 스크린(110)에 커플링하는 광학 커플링 서브시스템(114)을 포함한다.

[0045] 스캐닝 어셈블리(112)는 광 빔을 생성(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출)하는 하나 또는 그 초과의 광 소스들(116)(간략성의 목적들을 위해 단지 하나만 도시됨)을 포함한다. 광 소스(116)는 매우 다양한 형태들 중 임의의 형태, 예컨대 픽셀 정보 또는 데이터의 각각의 프레임들에서 특정된 정의된 픽셀 패턴들에 따라 각각 적색, 녹색, 및 청색 코히어런트 시준 광을 생성하도록 동작가능한 RGB 레이저들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 세트를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고 매우 에너지 효율적이다.

[0046] 스캐닝 어셈블리(112)는 하나 또는 그 초과의 광 섬유들(118)(간략성의 목적들을 위해 단지 하나만 도시됨)을 더 포함하고, 하나 또는 그 초과의 광 섬유들(118) 각각은 광 빔이 광 소스(116)로부터 수신되는 근위 단부(proximal end)(118a) 및 광 빔이 부분적으로 투명한 디스플레이 스크린(110)에 제공되는 원위(distal) 단부(118b)를 가진다. 스캐닝 어셈블리(112)는, 광 섬유(118)가 장착된 기계적 드라이브 어셈블리(120)를 더 포함한다. 드라이브 어셈블리(120)는 광 섬유(118)의 원위 단부(118b)를 변위시키도록 구성되고, 예시된 실시예에서, 광 섬유(118)가 장착되는 압전기 엘리먼트(122)를 포함한다.

[0047] 스캐닝 어셈블리(112)는 전기 신호들을 압전기 엘리먼트(122)에 전달하도록 구성된 드라이브 전자장치(124)를 더 포함하고, 이에 의해 광 섬유(118)의 원위 단부들(118b)이 스캔 패턴에 따라 진동하게 한다. 따라서, 광 소스(116) 및 드라이브 전자장치(124)의 동작은 공간적으로 그리고/또는 시간적으로 변화하는 광의 형태로 인코딩되는 이미지 데이터를 생성하는 방식으로 조정된다.

[0048] 예시된 실시예에서, 압전기 엘리먼트(122)는 중공 튜브의 형태를 취하고, 이 경우, 광 섬유(118)의 원위 단부(118b)는 압전기 튜브(122)를 통해 스레드(thread)되거나 수용된다. 광 섬유(118)의 원위 단부(118b)는 무고정식 유연한 캔틸레버(cantilever)로서 압전기 튜브(122)로부터 돌출한다. 압전기 튜브(122)는 4개의 사분면 전극들(예시되지 않음)과 연관된다. 전극들은 예컨대 압전기 튜브(122)의 외측, 외부 표면 또는 외부 주변 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한 튜브(122)의 코어, 중심, 내부 주변 또는 내부 직경에 위치된다.

[0049] 드라이브 전자장치(124)는 압전기 튜브(122)를 독립적으로 2개의 축들로 휘게 하기 위해 대향하는 전극들의 쌍들(도시되지 않음)을 드라이빙하도록 와이어들(126)을 통해 전기적으로 커플링된다. 광 섬유(118)의 돌출 원위 단부(118b)는 기계적 공진 모드들을 가진다. 공진 주파수들은 광 섬유(118)의 직경, 길이 및 재료 특성들에 의존한다. 제1 기계적 공진 모드 근처에서 압전기 튜브(122)를 진동시킴으로써, 섬유 원위 단부(118b)는 진동하도록 유발되고, 지주(fulcrum)를 중심으로 큰 편향들을 통하여 스윕(sweep)될 수 있다. 대안적으로, 압전기 튜브(122)는 더 고차 기계적 공진 모드(예컨대, 2차 모드) 근처에서 진동될 수 있어서, 섬유 원위 단부(118b)는 지주를 중심으로 더 작은 편향들을 통해 스윕한다.

[0050] 2개의 축들로 공진 진동을 자극함으로써, 섬유 원위 단부(118)는 2D 스캔을 충진하는 영역에서 2개의 축으로 스캐닝된다. 섬유 원위 단부(118b)의 스캔과 동기하여 광 소스(116)의 세기를 변조함으로써, 광 섬유(118)로부터 나오는 광 빔은 이미지를 형성한다. 그런 셋업의 설명들은 미국 특허 출원 일련 번호 제 13/915,530호, 국제 특허 출원 일련 번호 제 PCT/US2013/045267호 및 미국 가 특허 출원 일련 번호 제 61/658,355호에 제공되고, 이들 모두는 그 전체가 본원에 인용에 의해 통합된다.

[0051] 광학 커플링 서브시스템(116)은 광을 디스플레이 스크린(110)의 단부에 광학적으로 커플링하기 위해 광학 도파관 입력 장치(128), 예컨대 하나 또는 그 초과의 반사 표면들, 회절 격자들, 미러들, 이색성 미러들, 또는 프리즘들을 포함한다. 광학 커플링 서브시스템(116)은 광 섬유(118)로부터의 광을 시준하는 시준 엘리먼트(130)를 더 포함한다. 선택적으로, 본원에 인용에 의해 명시적으로 통합되고, 발명의 명칭이 "Virtual/Augmented Reality System Having Reverse Angle Diffraction Grating"인 미국 가 특허 출원 일련 번호 제 62/238,052호에 더 상세히 논의된 바와 같이, 광학 커플링 서브시스템(116)은 시준 엘리먼트(130)로부터의 광을 광학 도파관 입력 장치(128) 중심의 초점을 향해 수렴하도록 구성된 광학 변조 장치(도시되지 않음)를 포함하고, 이에 의해 광학 도파관 입력 장치(128)의 사이즈가 최소화되는 것을 허용한다. 본원에 인용에 의해 명시적으로 통합되고 발명의 명칭이 "Polarizing Maintaining Optical Fiber in Virtual/Augmented Reality System"(대리인 번호 ML-30056.00-US)인 미국 가 특허 출원 일련 번호 제 62/280,992호에서 논의된 바와 같이, 광 섬유들(118)의 각각은, 스캐닝 디바이스(114)와 연관된 광 섬유(118) 부분의 기계적 특성들을 유지하면서, 각각의 광 섬유(118)를 통해 전파되는 광 빔의 선형 편광이 유지되는 것을 보장하기 위해 PM(polarization-maintaining) 광 섬유들의 장점들을 비-PM 광 섬유들의 장점들과 결합할 수 있다.

[0052] 따라서, 디스플레이 서브시스템(104)은 하나 또는 그 초과의 가상 객체들의 왜곡되지 않은 이미지를 사용자에게 제시하는 픽셀 정보의 일련의 합성 이미지 프레임들을 생성한다. 예컨대, 도 5를 참조하면, 합성 이미지 프레임(200)은 셀들(202a-202m)이 수평 행들 또는 라인들(204a-204n)로 분할된 것으로 개략적으로 예시된다. 프레임(200)의 각각의 셀(202)은, 셀(202)이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들 및/또는 세기들을 특정할 수 있다. 예컨대, 프레임(200)은 각각의 픽셀에 대해 적색(206a)에 대한 하나 또는 그 초과의 값들, 녹색(206b)에 대한 하나 또는 그 초과의 값들, 및 청색(206c)에 대한 하나 또는 그 초과의 값들을 특정할 수 있다. 값들(206)은 컬러들 각각에 대해 이진 표현들로서, 예컨대 각각의 컬러에 대해 각각 4-비트 수로서 특정될 수 있다. 프레임(200)의 각각의 셀(202)은 진폭을 특정하는 값(206d)을 부가적으로 포함할 수 있다.

[0053] 프레임(200)은 하나 또는 그 초과의 필드들, 총체적으로 208을 포함할 수 있다. 프레임(200)은 단일 필드로 이루어질 수 있다. 대안적으로, 프레임(200)은 2개 또는 심지어 그 초과의 필드들(208a-208b)을 포함할 수 있다. 프레임(200)의 완전한 제1 필드(208a)에 대한 픽셀 정보는 완전한 제2 필드(208b)에 대한 픽셀 정보 이전에 특정될 수 있는데, 예컨대 어레이, 순서화된 리스트 또는 다른 데이터 구조(예컨대, 레코드, 링크된 리스트)에서 제2 필드(208b)에 대한 픽셀 정보 이전에 발생된다. 프리젠테이션 서브시스템이 2개보다 많은 필드들(208a-208b)을 핸들링하도록 구성되는 것을 가정하면, 제3 또는 심지어 제4 필드는 제2 필드(208b)를 뒤따를 수 있다.

[0054] 디스플레이 서브시스템들을 설명하는 추가 세부사항들은 발명의 명칭이 "Display System and Method"(대리인 번호 ML-30006-US)인 미국 가 특허 출원 일련 번호 제 61/801,219호, 및 발명의 명칭이 "Planar Waveguide Apparatus With Diffraction Element(s) and Subsystem Employing Same"(대리인 번호 ML-30020.00)인 미국 특허 출원 일련 번호 제 14/331,218호에 제공되고, 이 특허들은 본원에 인용에 의해 명시적으로 통합된다.

[0055] 다시 도 2를 참조하면, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈-사이 거리를 검출하기 위하여 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.

[0056] 예컨대, 일 실시예에서, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 움직임을 나타내는 관성 측정치들을 캡처하기 위한 하나 또는 그 초과의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 서브시스템(142)을 포함한다. 머리 착용 트랜스듀서 시스템(120)은 최종 사용자(50)의 머리 움직임들에 관한 정보를 감지하거나, 측정하거나 수집하는데 사용될 수 있다. 예컨대, 머리 착용 트랜스듀서 서브시스템(120)은 최종 사용자(50)의 머리(54)의 측정 움직임들, 속도들, 가속도, 및/또는 포지션들을 검출하는데 사용될 수 있다.

[0057] 증강 현실 시스템(100)은 하나 또는 그 초과의 전방 지향 카메라들(144)을 더 포함하고, 전방 지향 카메라들(144)은, 최종 사용자(50)가 위치된 환경에 관한 정보를 캡처하는데 사용될 수 있다. 전방 지향 카메라(들)(144)는 그 환경 및 그 환경 내의 특정 객체들에 대한 최종 사용자(50)의 거리 및 배향을 나타내는 정보를 캡처하는데 사용될 수 있다. 머리에 착용될 때, 전방 지향 카메라(들)(144)는, 최종 사용자(50)가 위치된 환경 및 그 환경 내의 특정 객체들에 대해 최종 사용자(50)의 머리(54)의 거리 및 각도 포지션(즉, 머리가 지향되는 방향)을 나타내는 정보를 캡처하는데 특히 적합하다. 전방 지향 카메라(들)(144)는 예컨대 머리 움직임, 머리 움직임들의 속도, 및/또는 가속도를 검출하는데 이용될 수 있다. 예컨대, 전방 지향 카메라(들)(144)는 예컨대 최종 사용자(50)의 머리(54)의 배향에 적어도 부분적으로 기반하여, 최종 사용자(50)의 관심의 중심을 검출하거나 추론하는데 이용될 수 있다. 배향은 임의의 방향(예컨대, 최종 사용자(50)의 레퍼런스 프레임에 대해 상/하, 좌, 우)에서 검출될 수 있다.

[0058] 증강 현실 시스템(100)은 최종 사용자(50)의 눈들(52)의 (눈 수렴을 검출함으로써) 각도 포지션(눈 또는 눈들이 지향하는 방향), 깜빡임, 및 포커스 깊이를 추적하기 위한 한 쌍의 후방 지향 카메라들(146)을 더 포함한다. 그런 눈 추적 정보는 예컨대, 광을 최종 사용자의 눈들에 투사하고, 그리고 그 투사된 광 중 적어도 일부의 리턴 또는 반사를 검출함으로써 식별될 수 있다. 눈 추적 디바이스들을 논의하는 추가 세부사항들은 발명의 명칭이 "Display System and Method"인 미국 특허 출원 일련 번호 제 61/801,219호(대리인 번호 ML-30006-US), 발명의 명칭이 "Methods and Subsystem for Creating Focal Planes in Virtual and Augmented Reality"인 미국 특허 출원 일련 번호 제 62/005,834호(대리인 번호 ML-30017-US), 및 발명의 명칭이 "Subsystem and Method for Augmented and Virtual Reality"인 미국 특허 출원 일련 번호 제 61/776,771호(대리인 번호 ML-30005-US)에 제공되고, 이들 출원들은 본원에 인용에 의해 명시적으로 통합된다.

[0059] 증강 현실 시스템(100)은 사용자 배향 검출 모듈(148)을 더 포함한다. 사용자 배향 모듈(148)은 센서(들)로부터 수신된 포지션 데이터에 기반하여, 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하고 최종 사용자(50)의 머리(54)의 포지션을 예측할 수 있다. 사용자 배향 모듈(148)은 또한 센서(들)로부터 수신된 추적 데이터에 기반하여, 최종 사용자(50)의 눈들(52), 및 특히 최종 사용자(50)가 포커싱되는 방향 및/또는 거리를 추적한다.

[0060] 증강 현실 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은 다수의 제어기들, 예컨대 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.

[0061] 예시된 실시예에서, 제어 서브시스템은 DSP(digital signal processor)(마이크로폰 어셈블리(107)에 관련하여 아래에서 설명됨), CPU(central processing unit)(150), GPU(graphics processing unit)(152) 및 하나 또는 그 초과의 프레임 버퍼들(154)을 포함한다. CPU(150)가 전체 동작을 제어하는 반면, GPU(152)는 프레임들을 렌더링(즉, 3차원 장면을 2차원 이미지로 변환)하고 이들 프레임들을 프레임 버퍼(들)(154)에 저장한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(154)에 프레임들을 입력하고 그리고/또는 프레임 버퍼(들)(154)로부터 프레임들을 판독하는 것 및 디스플레이 서브시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(154)에 입력 및/또는 프레임 버퍼(들)(154)로부터 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 증강 현실 시스템(100)은 ROM(read only memory)(156) 및 RAM(random access memory)(158)을 더 포함한다. 증강 현실 시스템(100)은 3차원 데이터베이스(160)를 더 포함하며, 3차원 데이터베이스(160)로부터 GPU(152)는 프레임들을 렌더링하기 위한 하나 또는 그 초과의 장면들의 3차원 데이터 뿐 아니라, 3차원 장면들 내에 포함된 가상 사운드 소스들과 연관된 합성 사운드 데이터에 액세스할 수 있다.

[0062] 본 발명들에서 더 중요하게, 제어 서브시스템은 사운드 소스에 대한 최종 사용자(50)의 포커스의 검출에 대한 응답으로 스피커(106)가 다른 사운드 소스들에 비해 사운드 소스(실제 또는 가상일 수 있음)로부터 발생하는 사운드를 우선적으로 전달하게 하도록 구성된다. 최종 사용자(50)가 포커싱되는 사운드 소스가 실제인 경우에, 제어 서브시스템은 최종 사용자(50)의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리(107)의 최대 감도를 세팅하도록 구성된다.

[0063] 적응성 마이크로폰 어셈블리(107)는 다른 사운드들에 비해 특정 방향의 사운드를 우선적으로 수신할 수 있다. 예컨대, 마이크로폰 어셈블리(107)는 도 6a-도 6d에 예시된 바와 같이, 종래의 극성 패턴, 예컨대 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드를 가질 수 있다. 그러나, 마이크로폰 어셈블리(107)는, 최종 사용자(50)가 포커싱되는 방향에 기반하여 극성 패턴을 동적으로 수정할 수 있다. 다른 말로, 방향 및/또는 거리에 따라 마이크로폰 어셈블리(107)의 최대 감도가 수정될 수 있다.

[0064] 이 목적을 위해, 그리고 도 7을 참조하면, 마이크로폰 어셈블리(107)는 마이크로폰 엘리먼트들(250)(이 경우에, 마이크로폰 엘리먼트들(M1-Mn))의 페이즈드 어레이를 포함하고, 마이크로폰 엘리먼트들(250) 각각은 주변 사운드 신호들을 검출하여 오디오 신호로 변환하도록 구성된다. 예시된 실시예에서, 마이크로폰 엘리먼트들(118)은 사실상 디지털이고, 따라서 주변 사운드 신호를 디지털 오디오 신호들, 및 이 경우에 PDM(pulse density modulation) 신호들로 변환한다. 바람직하게, 마이크로폰 엘리먼트들(250)은 마이크로폰 어셈블리(107)의 지향성을 최대화하기 위해 서로 공간적으로 이격된다. 예컨대, 도 2에 도시된 바와 같이, 비록 2보다 많은, 이를테면 4개의 마이크로폰 엘리먼트들(250)이 프레임 구조(106)의 각각의 아암에 장착될 수 있지만, 마이크로폰 엘리먼트들(250) 중 2개가 프레임 구조(102)의 각각의 아암에 장착될 수 있다.

[0065] 마이크로폰 어셈블리(107)는, 대응하는 마이크로폰 엘리먼트들(250)로부터 각각의 오디오 신호들을 각각 수신하고 그리고 디지털 오디오 신호들을 더 쉽게 조작가능한 PCM(pulse code modulation)으로 PDM 포맷으로부터 변환하기 위해 "데시메이션(decimation)"이라 지칭되는 디지털 필터 동작을 수행하도록 구성된 복수의 디지털 DMIC(digital microphone interface)들(252)(이 경우에, DMIC1-DMICn이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임)을 더 포함한다. DMIC들(190)의 각각은 또한 디지털 오디오 신호들에 대해 고정된 이득 제어를 수행한다.

[0066] 마이크로폰 어셈블리(107)는, 이득 증폭기들(254)에 의해 출력된 디지털 오디오 신호들을 프로세싱하고 그리고 마이크로폰 어셈블리(116)에 의해 수신된 사운드를 우선적으로 표현하는 지향성 오디오 신호를 출력하도록 구성된 오디오 프로세싱 모듈(258)을 포함하는 DSP(digital signal processor)(256)를 더 포함한다. 이 목적을 위해, 오디오 프로세싱 모듈(258)은 복수의 지연 엘리먼트들(260)(이 경우에, 지연 엘리먼트들(D1-Dn)이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임), 복수의 이득 엘리먼트들(262)(이 경우에, 이득 엘리먼트들(G1-Gn)이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임), 및 합산기(264) 형태의 프로세싱 파라미터들을 포함한다. 지연 엘리먼트들(260)은 마이크로폰 어셈블리(107)의 대응하는 이득 증폭기들(254)로부터 수신된 증폭된 디지털 신호들에 지연 팩터(factor)들을 각각 적용하고, 이득 엘리먼트들(262)은 지연된 디지털 신호들에 이득 팩터들을 각각 적용한다. 합산기(264)(S)는, D/A(digital-to-analog) 컨버터(266)를 통해 아날로그 오디오 신호로 변환되고 식별가능한 사운드로서 최종 사용자(50)에 출력하기 위해 스피커(들)(106)에 송신되는 디지털 오디오 신호를 생성하기 위해, 이득 조정 및 지연된 신호들을 가산한다.

[0067] 마이크로폰 엘리먼트들(250)은 공간적으로 배열되고 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)은 지향성 극성 패턴에 따른 주변 사운드의 수신을 초래하는 방식으로 세팅된다(즉, 특정 각도 방향 또는 방향들로부터 도달하는 사운드들은 다른 각도 방향들로부터 도달하는 사운드들보다 더 강조될 것임). 중요하게도, 마이크로폰 엘리먼트 어레이(250)의 지향성은 최종 사용자(50)의 검출된 포커스에 기반하여 수정되고, 예컨대 마이크로폰 엘리먼트 어레이(250)가 사운드를 우선적으로 수신하는 방향은 최종 사용자(50)의 검출된 포커스의 방향을 따라 세팅될 수 있다. 이 목적을 위해, DSP(256)는, 사용자(50)가 포커싱되는 방향을 표시하는 배향 데이터를 사용자 배향 검출 모듈(148)로부터 수신한다. 예컨대, 배향 데이터는 후방 지향 카메라(들)(146)에 의해 검출된 눈(52)의 각도 포지션 또는 전방-지향 카메라(들)(144)에 의해 검출된 머리(54)의 각도 포지션에 대응할 수 있다.

[0068] 예컨대, 도 8a 및 도 8b를 참조하면, 마이크로폰 엘리먼트들(250)의 페이즈드 어레이의 극성 패턴이 카디오이드 패턴이고, 최종 사용자(50)가 특정 방향(272)을 따라 실제 사운드 소스(270)에 포커싱되면, DSP(256)는, 마이크로폰 엘리먼트 어레이(250)의 지향성을 수정하는 방식으로 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)을 세팅할 것이고, 이 경우에, 카디오이드 패턴의 메인 로브(lobe)의 축은, 최종 사용자(50)가 사운드 소스(270)에 포커싱되는 방향과 정렬된다.

[0069] 비록 마이크로폰 엘리먼트 어레이(250)가 사용자 배향 검출 모듈(248)로부터 수신된 초점 방향에 대응하도록 세팅될 수 있는 감도를 가지는 것으로 설명되었지만, 마이크로폰 엘리먼트 어레이(250)는 그 감도가 사용자 배향 검출 모듈(248)로부터 수신된 초점 거리에 대응하도록 세팅되는 것을 허용하는 방식으로 배열될 수 있다. 특히, 마이크로폰 엘리먼트들(250)은 직선으로 배열될 수 있어서, 마이크로폰 엘리먼트들(250)은 사운드 소스(270)로부터 모두 상이한 거리들에 있을 것이다. 지연들은 마이크로폰 엘리먼트들(250)을 각각 사운드 소스(270)로부터 "더 가깝게 또는 더 멀게" 효과적이고 선택적으로 이동시키기 위해 지연 엘리먼트들(260)을 통해 마이크로폰 엘리먼트들(250)에 도입될 수 있다. 이것은 사운드 소스(270)로부터 등거리로 마이크로폰 엘리먼트들(250)을 효과적으로 위치시키는 방식으로 달성될 수 있다. 사운드 소스(270)로부터 발생하는 임의의 사운드는 동시에 마이크로폰 엘리먼트들(250) 상에 충돌할 것인 반면, 다른 사운드 소스들로부터 발생하는 사운드는 상이한 시간들에서 마이크로폰 엘리먼트들(250) 상에 충돌하지 않을 것이고, 이에 의해 사운드 소스(270)의 위치에서 마이크로폰 엘리먼트 어레이(250)의 감도가 최대화된다.

[0070] 비록 마이크로폰 엘리먼트들(250)이 디지털인 것으로 설명되지만, 마이크로폰 엘리먼트들(250)이 대안적으로 아날로그일 수 있다는 것이 주목되어야 한다. 게다가, 비록 지연 엘리먼트들(260), 이득 엘리먼트들(262) 및 합산기(264)가 DSP(256) 내에 상주하는 소프트웨어 컴포넌트들인 것으로 개시되고 예시되지만, 지연 엘리먼트들(260), 이득 엘리먼트들(262), 및 합산기(264) 중 임의의 하나 또는 그 초과는, DSP(256)의 외측에 상주하지만 DSP(256)의 제어 하에 있는 아날로그 하드웨어 컴포넌트들을 포함할 수 있다.

[0071] 마이크로폰 엘리먼트 어레이(250)의 지향성 및 거리의 동적 수정을 가능하게 하기 위해, 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)의 상이한 값들의 세트들 및 마이크로폰 엘리먼트 어레이(250)의 대응하는 방향들 및 거리들은 DSP(256)에 의한 액세스를 위해 메모리에 저장될 수 있다. 즉, DSP(256)는 사용자 배향 검출 모듈(248)로부터 수신된 초점 방향 및/또는 초점 거리를 메모리에 저장된 가장 가까운 방향 및/또는 거리 값과 매칭시키고, 그리고 그 선택된 방향/거리에 대한 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)에 대한 대응하는 값들의 세트를 선택한다.

[0072] 최종 사용자(50)가 포커싱되는 사운드 소스가 가상인 경우에, 적응성 마이크로폰 어셈블리(107)는 활용되지 않는다. 대신, 제어 서브시스템은 가상 사운드 소스에 대한 최종 사용자(50)의 포커스의 검출에 대한 응답으로 다른 사운드 소스들(실제 또는 가상)로부터 가상 사운드 소스를 식별하고, 그리고 스피커(106)가 합성 사운드 데이터에 따라 최종 사용자(50)에게 사운드를 전달하게 하도록 구성된다. 최종 사용자(50)에 의해 들려진 사운드는 물론 가상 사운드 소스로부터 발생하는 것으로 보일 것이다.

[0073] DSP(256)는 증가된 초점, 사운드들의 증가된 식별, 및 구술 주제의 증가된 명료도를 달성하기 위해 사운드 신호들을 프로세싱하도록 사운드 소스의 포지셔널 정보를 부가적으로 사용할 수 있다. 즉, 센서들이 사운드 소스의 위치 및 성질뿐 아니라, 실제 환경에 대한 더 나은 정보를 제공하기 때문에, 데이터베이스(160)는 "영구적인 세계"의 정보를 제공하고, 그러므로 사운드 신호들이 어떻게 원하는 사운드 소스에 대한 관심을 증가시키는 방식으로 최종 사용자(50)에게 렌더링될 수 있는지를 알릴 수 있다. 예컨대, 인공 사운드들은 환경 또는 룸(room)에 매우 적합하게 만들어질 수 있고, 그러므로 현실적이고 집중하기 쉽거나, 또는 인공 또는 실제 사운드들은 부자연스럽게 만들어질 수 있고, 이에 의해 다른 사운드들과 대조되는 방식으로 두드러지고, 관심을 끌고, 예컨대 피치(pitch)를 변화시키거나 또는 "아나운서 메가폰(megaphone)" 효과를 부가한다.

[0074] 예컨대, 다수의 스피커들(106)이 사용되는 경우에, 관련 사운드에 대한 최종 사용자(50)의 포커스 및/또는 최종 사용자(50)가 그 관련 사운드를 듣고 그리고/또는 식별할 능력은 수신된 사운드들을 로컬라이징함으로써, 예컨대 사운드의 선명도 또는 사실감에 영향을 미치기 위해, 사운드들이 사운드 소스들의 위치들로부터 발생하는 것처럼 최종 사용자(50)에게 보이도록 하는 방식으로 스피커들(106)을 통해 사운드를 재생함으로써 증가될 수 있다. 사운드들은 다양한 기법들 중 하나 또는 그 초과를 사용하여 로컬라이징될 수 있다. 특히 실 세계에서 발생하지 않는 가상 사운드에 대해 지향성의 감각을 부가하기 위해, DSP(256)는 재생된 사운드들의 음조를 적절히 형성하고 그리고/또는 룸 형상 또는 환경의 실제 또는 가상 양상들에 맞도록 적절한 반사들, 차단 또는 장애물을 부가할 수 있다.

[0075] 선택적으로, 초점 방향 및/또는 거리로부터 발생하는 사운드는 이들에 강조를 부가하기 위해 선택적으로 균등화될 수 있다. 특히, DSP(256)는 그 사운드의 특정 주파수 성분들의 볼륨을 높이거나 낮춤으로써 원하는 "포커싱된" 사운드에 대한 최종 사용자(50)의 포커스를 강조할 수 있다. 높여진 주파수들은, 인간의 청력이 가장 일반적으로 민감한 주파수 범위들(예컨대, 1KHz 내지 5KHz)일 수 있지만, 이로 제한되지 않는다. 다른 DSP 기법들은 "포커싱된" 사운드에 강조를 부가하는데 사용될 수 있다. 유사하게, 초점 방향 및/또는 거리로부터 발생하지 않는 사운드들은 상보적 또는 반대 방식으로 사운드들로부터 강조를 제거하기 위해 선택적으로 균등화될 수 있다. 특히, DSP(256)는 그 사운드들의 특정 주파수 성분들의 볼륨을 높이거나 낮춤으로써 원하지 않는 사운드들에 대한 최종 사용자(50)의 포커스를 비강조할 수 있다. 다른 말로, "피크" 균등화, 이를테면 2KHz에서 +5 dB이 타겟 사운드에 부가되면, 2KHz에서 -5dB의 "노치(notch)" 균등화가 모든 다른 사운드들에 적용될 수 있다.

[0076] 다른 실시예에서, 초점 방향 및/또는 거리로부터 발생하는 사운드가 프로파일링될 수 있다. 특히, DSP(256)는 타겟 사운드의 타입을 결정하기 위해 타겟 사운드의 특성들을 분석하고 다른 사운드들의 특성들에 비교할 수 있다. 이어서, DSP(256)는, 원해지면, 그 타입의 모든 사운드들을 강조할 수 있다. 예컨대, 포커싱된 사운드가 솔로 피아노이고, 포커싱되지 않은 사운드들이 에어컨들 및 통과 트래픽으로부터 발생하면, DSP(256)는 에어컨들 및 통과 트래픽으로부터 발생하는 사운드들 같은 사운드들을 비강조할 수 있고 솔로 피아노와 같은 사운드들을 강조할 수 있어서, 다른 악기들이 연주되거나 더 많은 음악이 들려올 때, 이들 사운드들은, 원래의 방향들과 무관하게, 다른 사운드들에 비해 강조된다.

[0077] 선택적인 실시예에서, 제어 서브시스템은 최종 사용자(50)가 포커싱되는 방향 및/또는 거리를 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에게 명령하게 구성된다. 예컨대, 디스플레이 서브시스템(104)은 시각적 표시자, 예컨대 "x" 또는 십자선들을, 최종 사용자(50)가 포커싱되는 증강 3차원 장면에 디스플레이할 수 있다. 또는, 디스플레이 서브시스템(104)은, 최종 사용자(50)가 포커싱되는 사운드 소스(실제이든 가상이든)를 하이라이팅할 수 있다. 대안으로서, 사운드 소스가 실제인 경우에, 제어 서브시스템은, 최종 사용자(50)의 초점 방향 또는 거리에 정확하게 상관할 수 있거나 상관하지 않을 수 있는, 마이크로폰 어셈블리(107)의 최대 감도의 방향 및/또는 거리를 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에 명령하게 구성될 수 있다.

[0078] 증강 현실 시스템(100)의 다양한 프로세싱 컴포넌트들은 물리적으로 분산 서브시스템에 포함될 수 있다. 예컨대, 도 9a-도 9d에 예시된 바와 같이, 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(172)에 의해 디스플레이 서브시스템(104)의 부분에 동작가능하게 커플링되는 로컬 프로세싱 및 데이터 모듈(170)을 포함한다. 로컬 프로세싱 및 데이터 모듈(172)은 다양한 구성들로 장착될 수 있는데, 이를테면 프레임 구조(102)에 고정되게 부착되거나(도 9a), 헬멧 또는 모자(56)에 고정되게 부착되거나(도 9b), 헤드폰들 내에 임베딩되거나, 최종 사용자(50)의 몸통(58)에 제거가능하게 부착되거나(도 9c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거가능하게 부착(도 9d)될 수 있다. 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(178, 180)에 의해 로컬 프로세싱 및 데이터 모듈(170)에 동작가능하게 커플링된 원격 프로세싱 모듈(174) 및 원격 데이터 저장소(176)를 더 포함하여, 이들 원격 모듈들(174, 176)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(170)에 대한 리소스들로서 이용가능하다.

[0079] 로컬 프로세싱 및 데이터 모듈(170)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는, 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(174) 및/또는 원격 데이터 저장소(176)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕는데 활용될 수 있으며, 데이터는 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이 서브시스템(104)에 전달된다. 원격 프로세싱 모듈(174)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소(176)는 "클라우드" 리소스 구성으로 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈(170)에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.

[0080] 위에서 설명된 다양한 컴포넌트들 사이의 커플링들(172, 178, 180)은 유선들 또는 광학 통신들을 제공하기 위한 하나 또는 그 초과의 유선 인터페이스들 또는 포트들, 또는 이를테면 무선 통신들을 제공하기 위한 RF, 마이크로파, 및 IR을 통한 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서 모든 통신들은 광 섬유(들)(118)를 제외하고 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선정은 도 9a-도 9d에 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선정은 제한인 것으로 고려되지 않아야 한다.

[0081] 예시된 실시예에서, 디스플레이 서브시스템(104)의 디스플레이 스크린(110), 광학 커플링 서브시스템(116) 및 기계적 드라이브 어셈블리(120), 센서들, 스피커(들)(106) 및 마이크로폰 어셈블리(107)의 마이크로폰 엘리먼트들(250)은 최종 사용자(50)의 머리(54)와 밀접하게 연관되지만, 디스플레이 서브시스템(104)의 광 소스(들)(116) 및 드라이브 전자장치(124), 및 마이크로폰 어셈블리(107)의 프로세싱 컴포넌트들은 로컬 프로세싱 및 데이터 모듈(170)에 포함된다. 사용자 배향 모듈(148) 및 DSP(256)은 로컬 프로세싱 및 데이터 모듈(170)에 포함될 수 있는 반면, 대안적인 실시예들에서, CPU(150), GPU(152) 또는 이의 부분들이 로컬 프로세싱 및 데이터 모듈(170)에 포함될 수 있더라도, CPU(150) 및 GPU(152)는 원격 프로세싱 모듈(174)에 포함될 수 있다. 3차원 데이터베이스(160)는 원격 데이터 저장소(176)와 연관될 수 있다.

[0082] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims

최종 사용자가 사용하기 위한 보청기로서,
실제 사운드 소스에 대한 상기 최종 사용자의 포커스(focus)를 검출하도록 구성된 적어도 하나의 센서;
사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리;
최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성된 적어도 하나의 스피커; 및
상기 최종 사용자의 검출된 포커스에 기반하여 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템
을 포함하는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 수정하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 수정하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적어도 하나의 센서는 카메라를 포함하는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이(phased array)를 포함하는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 상기 마이크로폰 어셈블리, 및 상기 적어도 하나의 스피커를 지지하는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 상기 전기 신호들을 프로세싱하게 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추기 위해 상기 전기 신호들을 프로세싱하도록 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조(deemphasize)되는,
최종 사용자가 사용하기 위한 보청기.
제1 항에 있어서,
상기 제어 서브시스템은 상기 실제 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하도록 상기 전기 신호들을 프로세싱하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드과 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
최종 사용자가 사용하기 위한 보청기.
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템으로서,
3차원 장면을 저장하는 메모리;
사운드 소스에 대한 상기 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서;
사운드들을 상기 최종 사용자에게 전달하도록 구성된 적어도 하나의 스피커; 및
상기 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 상기 적어도 하나의 스피커가 다른 사운드 소스들로부터 발생하는 사운드들에 비해 상기 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하게 하고, 그리고 상기 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링(rendering)하도록 구성된 제어 서브시스템; 및
복수의 이미지 프레임들을 상기 최종 사용자에게 순차적으로 디스플레이하도록 구성되는 디스플레이 서브시스템
을 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 디스플레이 서브시스템은 상기 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 디스플레이 서브시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 이미지 프레임들을 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주변 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 적응성 마이크로폰 어셈블리, 상기 적어도 하나의 스피커 및 상기 디스플레이 서브시스템을 지지하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 GPU(graphics control subsystem unit)를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 사운드 소스는 실제 사운드 소스인,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제21 항에 있어서,
상기 사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리를 더 포함하고, 상기 적어도 하나의 스피커는 상기 최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성되고, 상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 세팅하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제22 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 사운드 소스는 가상 사운드 소스인,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제26 항에 있어서,
상기 3차원 장면은 상기 가상 사운드 소스를 포함하고, 상기 메모리는 상기 3차원 장면의 상기 가상 사운드 소스와 연관하여 합성 사운드 데이터를 저장하고, 상기 제어 서브시스템은 상기 가상 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 다른 사운드 소스들로부터 상기 가상 사운드 소스를 식별하고, 그리고 상기 적어도 하나의 스피커가 상기 합성 사운드 데이터에 따라 상기 최종 사용자에게 사운드를 전달하게 하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 적어도 하나의 센서는 카메라를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 따라 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 상기 최종 사용자가 포커싱되는 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제22 항에 있어서,
상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
제16 항에 있어서,
상기 제어 서브시스템은 상기 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드와 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.