CN112423190A - 用于头戴式设备的基于音频的反馈 - Google Patents

Abstract

本公开涉及用于头戴式设备的基于音频的反馈。头戴式设备可包括用于定向音频检测的多个麦克风。所述头戴式设备还可包括用于音频输出的扬声器和/或用于视觉输出的显示器。所述头戴式设备可被配置为通过基于声音的源的位置来在显示器上显示指示符而基于音频输入来提供视觉输出。所述头戴式设备可被配置为通过基于检测到的声音和目标特性来修改所述扬声器的音频输出而基于音频输入来提供音频输出。此类特性可基于用户的视线的方向，如由眼传感器检测到的。

Description

用于头戴式设备的基于音频的反馈

相关申请的交叉应用

本申请要求于2019年8月20日提交的题为“AUDIO-BASED FEEDBACK FOR HEAD-MOUNTABLE DEVICE”的美国临时申请No.62/889,473的优先权权益，并且本申请全部以引用方式并入本文。

技术领域

本说明书整体涉及头戴式设备，并且更特别地，涉及用于头戴式设备的基于音频的反馈。

背景技术

用户可佩戴头戴式设备以在该用户的视野内显示视觉信息。头戴式设备可用作虚拟现实(VR)系统、增强现实(AR)系统和/或混合现实(MR)系统。用户可观察由头戴式设备提供的输出，诸如在显示器上提供的视觉信息。显示器可任选地允许用户观察在头戴式设备外部的环境。由头戴式设备提供的其他输出可包括扬声器输出和/或触觉反馈。用户可通过提供输入以供头戴式设备的一个或多个部件进行处理来进一步与该头戴式设备交互。例如，在设备安装到用户的头部的同时，该用户可以提供触觉输入、语音命令和其他输入。

发明内容

根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；显示器；控制器，所述控制器被配置为执行以下操作：用所述麦克风检测声音；确定所述声音的源相对于所述头戴式设备的位置；以及基于所述源的所述位置来在所述显示器上显示指示符。

根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；扬声器；控制器，所述控制器被配置为执行以下操作：确定目标特性；用所述麦克风检测声音；将所述声音与所述目标特性进行比较；以及基于所述声音和所述目标特性来修改所述扬声器的音频输出。

根据本公开的一些实施例，一种头戴式设备包括：多个麦克风；扬声器；眼传感器；控制器，所述控制器被配置为：基于所述眼传感器来确定用户的视线的方向；用所述麦克风检测声音；以及基于所述声音和所述视线的所述方向来修改所述扬声器的音频输出。

附图说明

本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1示出了根据本公开的一些实施方案的用户上的头戴式设备的透视图。

图2示出了根据本公开的一些实施方案的头戴式设备的框图。

图3示出了根据本公开的一些实施方案的佩戴头戴式设备的用户以及在用户的视野内的声音的源的顶视图。

图4示出了根据本公开的一些实施方案的提供视觉输出的图3的头戴式设备的视图。

图5示出了根据本公开的一些实施方案的佩戴头戴式设备的用户以及在用户的视野外的声音的源的顶视图。

图6示出了根据本公开的一些实施方案的提供视觉输出的图5的头戴式设备的视图。

图7示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的显示器提供基于音频的反馈的方法。

图8示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的扬声器提供基于音频的反馈的方法。

图9示出了根据本公开的一些实施方案的操作头戴式设备以向头戴式设备的扬声器提供基于音频的反馈的方法。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，对于本领域的技术人员来说将清楚和显而易见的是，本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。

头戴式设备，诸如头戴式显示器、头戴式耳机、护目镜、智能眼镜、平视显示器等，可执行由可穿戴设备所包括的部件(例如，传感器、电路和其他硬件)管理的一系列功能。头戴式设备可捕获来自环境和/或用户的各种类型的输入(例如，视觉、音频、触觉等)。头戴式设备还可向用户和/或环境提供各种类型的输出(例如，视觉、音频、触觉等)。

特别地，头戴式设备可设有多个麦克风，以用于捕获来自相对于头戴式设备定位在不同方向上的多个源的音频信息(例如，声音)。分布在头戴式设备上的多个麦克风可提供定向音频检测。头戴式设备可使用由麦克风收集的数据来向用户提供视觉和/或音频输出。例如，检测到的音频输入可通过提供将用户定向到声音的源的指示符来用视觉输出呈现。即使用户不能独立于头戴式设备而容易地听到声音，这也可使用户正确地且容易地识别源的位置。通过另外的示例，检测到的音频输入可用相对于其他声音强调(例如，放大)某些声音以帮助用户区分不同声音的音频输出呈现。

本公开的系统可包括具有多个麦克风的头戴式设备。所述头戴式设备还可包括用于音频输出的扬声器和/或用于视觉输出的显示器。所述头戴式设备可被配置为通过基于声音的源的位置来在显示器上显示指示符而基于音频输入来提供视觉输出。所述头戴式设备可被配置为通过基于检测到的声音和目标特性来修改所述扬声器的音频输出而基于音频输入来提供音频输出。此类特性可基于用户的视线的方向，如由眼传感器检测到的。

以下参考图1至图9讨论这些实施方案和其他实施方案。然而，本领域的技术人员将容易地理解，本文相对于这些附图所给出的详细描述仅出于说明性目的，而不应被理解为是限制性的。

根据一些实施方案，例如如图1所示，头戴式设备100包括框架110，该框架佩戴在用户的头部上。框架110可定位在用户的眼睛的前面以在用户的视野内提供信息。框架110可提供鼻垫或另一个特征部以放置在用户的鼻部上。框架110可利用固定元件120支撑在用户的头部上。固定元件120可沿用户的头部的相对侧缠绕或延伸。固定元件120可以包括用于缠绕或以其他方式接合或放置在用户耳朵上的耳机。应当理解，可应用其他配置来将头戴式设备100固定到用户的头部。例如，除了头戴式设备100的所例示的部件之外或作为其代替，可使用一个或多个绑带、条带、束带、盖、帽或其他部件。又如，固定元件120可包括多个部件以接合用户的头部。

框架110可围绕其周边区域提供结构，以将框架110的任何内部部件支撑在其组装位置。例如，框架110可包封并支撑各种内部部件(包括例如集成电路芯片、处理器、存储器设备和其他电路)，以为头戴式设备100提供计算和功能操作，如本文进一步所讨论。可在框架110和/或固定元件120之内和/或之上包括任意数量的部件。

头戴式设备100可包括分布在框架110和/或固定元件120上的多个麦克风130。麦克风130可在空间上均匀地或不均匀地分布。麦克风130可定位在各个部分处，诸如头戴式设备100(例如，包括框架110和/或固定元件120)的前侧、后侧、左侧、右侧、顶侧和/或底侧)。麦克风130可为全向的或定向的。声音源的方向的检测可用多种麦克风类型中的一种或多种来执行，如本文进一步所讨论。

麦克风130中的一个或多个可为或包括定向麦克风，该定向麦克风被配置为对在特定方向上的声音最敏感。这种方向性可基于麦克风130的结构特征和/或周围结构来提供。例如，麦克风130中的一个或多个可包括抛物面反射器或与其相邻，该抛物面反射器将来自特定方向的声波收集并集中到换能器上。基于相对于头戴式设备100的其他部分的已知方向性，由这种麦克风130接收的声音可归因于在相对于头戴式设备100的特定方向上的源。不同麦克风130可以不同方向性定向，以提供覆盖阵列，该覆盖阵列捕获来自多种(例如，所有)方向的声音。

多个麦克风阵列可操作来隔离声音源并拒绝环境噪声和回响。例如，多个麦克风可操作来通过组合来自两个或更多个麦克风的声音以执行波束成形来允许优先地捕获来自某些方向的声音。在延迟和求和波束形成器中，来自每个麦克风的声音相对于来自其他麦克风的声音被延迟，并且延迟后的信号被相加。延迟量确定波束角(例如，阵列优先地“侦听”的角度)。当声音从这个角度到达时，来自多个电话的声音信号将被相长地相加。所得的和更强，并且声音的接收相对要好。当声音从另一个角度到达时，来自各种麦克风的延迟后的信号会被相消地相加(例如，其中声波的正部分和负部分在某种程度上抵消了)，并且和不如从该波束角到达的等同声音大。例如，如果声音在其进入左侧的麦克风之前先到达右侧的麦克风，则可确定声音源在麦克风阵列的右侧。在声音捕获期间，控制器(例如，处理器)可在声音源的方向上“瞄准”捕获波束。波束成形允许麦克风阵列模拟指向声音源的定向麦克风。与单一麦克风相比，麦克风阵列的方向性减少了所捕获的环境噪声和回响声音的量。这可提供声音源的更清晰的表示。波束成形麦克风阵列可由链接到处理器的分布式全向麦克风组成，该处理器将若干输入组合成具有相干形式的输出。阵列可使用多个紧密地间隔的麦克风来形成。给定不同单独麦克风换能器阵列元件之间在空间上的固定物理关系，对来自阵列中的每个单独麦克风的信号进行同时数字信号处理器(DSP)处理可形成一个或多个“虚拟”麦克风。

头戴式设备100可包括一个或多个扬声器212。在提供了多个扬声器的情况下，扬声器可指向用户的每个耳朵以提供立体声。设想了其他扬声器布置，包括环绕声。附加地或另选地，头戴式设备100可以可操作地连接到指向用户的耳朵、在用户的耳朵附近或在用户的耳朵中的扬声器。

框架110可包括和/或支撑显示器190，该显示器提供视觉输出以供佩戴头戴式设备100的用户观看。例如，一个或多个光学模块可各自提供定位在框架110的内侧上的显示器190。如本文所使用，头戴式设备的一部分的内侧是面向用户和/或背向外部环境的一侧。例如，可提供一对光学模块，其中每个光学模块可移动地定位在用户的两只眼睛中的每者的视野内。每个光学模块可被调整为与用户的对应眼睛对准。例如，每个光学模块可沿一个或多个轴线移动，直到每个光学模块的中心与对应眼睛的中心对准。因此，在光学模块之间的距离可基于用户的瞳距来设置。

框架110可包括和/或支撑一个或多个相机150。相机150可定位在框架110的外侧上或附近，以捕获在头戴式设备100外部的视图的图像。如本文所使用，头戴式设备的一部分的外侧是背向用户和/或朝向外部环境的一侧。所捕获的图像可通过显示器190视觉地输出给用户或存储用于任何其他目的。因此，显示器190能够基于由相机150捕获的视图来准确地再现、模拟或扩增视图。

显示器190和伴随部件可透射来自物理环境的光(例如，如由相机150所捕获)以供用户观看。这种显示器190和/或伴随部件可包括光学性质，诸如用于基于来自物理环境的入射光的视力矫正的透镜。附加地或另选地，显示器190可在用户的视野内提供信息。此类信息可通过排除物理环境的视图或除了(例如，覆盖)物理环境来提供。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可对一个或多个传感器图像进行转换以施加与由成像传感器捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

现在参见图2，头戴式设备的部件可以可操作地连接以提供本文所述的性能。图2示出了根据本公开的一个实施方案的示例性头戴式设备100的简化框图。应当理解，可在头戴式设备100的框架和/或固定元件中的任一个或两个上设有本文所述的部件。

如图2所示，头戴式设备100可包括具有一个或多个处理单元的控制器270，这些处理单元包括或被配置为访问其上存储有指令的存储器218。该指令或计算机程序可被配置为执行相对于头戴式设备100所述的操作或功能中的一者或多者。控制器270可作为能够处理、接收或发送数据或指令的任何电子设备来实现。例如，控制器270可包括以下项中的一者或多者：微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。如本文所述，术语“处理器”意在涵盖单个处理器或处理单元、多个处理器、多个处理单元或一个或多个其他适当配置的计算元件。

存储器218可存储可由头戴式设备100使用的电子数据。例如，存储器218可存储电子数据或内容，诸如例如音频和视频文件、文档和应用、设备设置和用户偏好、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器218可被配置为任何类型的存储器。仅以举例的方式，存储器218可被实现成随机存取存储器、只读存储器、闪存存储器、可移动存储器、或其他类型的存储元件或此类设备的组合。

头戴式设备100还可包括用于显示用户的视觉信息的显示器190。显示器190可提供视觉(例如，图像或视频)输出。显示器190可为或包括不透明、透明和/或半透明显示器。显示器190可具有透明或半透明介质，表示图像的光穿过该透明或半透明介质被引导到用户的眼睛。显示器190可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。头戴式设备100可包括光学子组件214，该光学子组件被配置为帮助光学地调整和正确地投影由显示器190显示的基于图像的内容以供近距离观看。光学子组件214可包括一个或多个透镜、反射镜或其他光学设备。

头戴式设备100可包括用于捕获在头戴式设备100外部的环境的视图的相机150。相机150可包括光学传感器，诸如光电二极管或光电二极管阵列。附加地或另选地，相机150可包括各种类型的光学传感器中的一者或多者，所述光学传感器被布置为各种构型以用于检测本文所述的用户输入。相机150可被配置为捕获位于相机150的视野内的场景或主题的图像。可以根据多种数字格式中的任一种将图像存储在数字文件中。在一些实施方案中，头戴式设备100包括相机，该相机包括由电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)器件形成的图像传感器、光伏电池单元、光电阻部件、激光扫描仪等。应当认识到，相机可包括其他运动感测设备。

头戴式设备100可包括用于跟踪佩戴头戴式设备100的用户的特征的一个或多个传感器140(例如，眼传感器)。例如，此类传感器可执行面部特征检测、面部运动检测、面部识别(facial recognition)、眼睛跟踪、用户情绪检测、用户情感检测、语音检测等。例如，眼传感器可光学地捕获眼睛(例如，瞳孔)的视图并确定用户的视线的方向。这种眼睛跟踪可用于确定感兴趣的位置和/或方向。如果在这个位置和/或沿这个方向从源接收到声音，声音的检测和/或放大则可集中。

头戴式设备100可包括电池220，该电池可对头戴式设备100的部件进行充电和/或供电。电池220还可对连接到头戴式设备100(诸如便携式电子设备202)的部件进行充电和/或供电，如本文进一步所讨论。

头戴式设备100可包括输入/输出部件226，该输入/输出部件可包括用于将头戴式设备100连接到其他设备的任何合适的部件。合适的部件可包括例如音频/视频插孔、数据连接器、或任何附加的或另选的输入/输出部件。输入/输出部件226可包括按钮、按键或可充当供用户操作的键盘的另一个特征。因此，本文的关于键盘的描述可应用于集成在头戴式设备100上的键盘、按键和/或其他输入特征。这种输入/输出部件226可固定地或可移除地附接到头戴式设备100的主体。

头戴式设备100可包括用于使用任何合适的通信协议与一个或多个服务器或其他设备进行通信的通信电路228。例如，通信电路228可支持Wi-Fi(例如，802.11协议)、以太网、蓝牙、高频系统(例如，900MHz、2.4GHz和5.6GHz通信系统)、红外、TCP/IP(例如，TCP/IP层中的每一个层中使用的任何协议)、HTTP、BitTorrent、FTP、RTP、RTSP、SSH、任何其他通信协议或它们的任何组合。通信电路228还可包括用于传输和接收电磁信号的天线。

头戴式设备100可包括如本文所述的麦克风230。麦克风230可以可操作地连接到处理器170，以用于声音水平的检测和检测的通信以进行进一步处理，如本文中进一步描述的。

头戴式设备100可包括如本文所述的扬声器212。扬声器212可以可操作地连接到处理器170，以控制扬声器输出，包括声音水平，如本文进一步所描述。

头戴式设备100可包括一个或多个其他传感器。此类传感器可以被配置为基本上感测任何类型的特征，诸如但不限于图像、压力、光、触摸、力、温度、位置、运动等。例如，传感器可以是光电探测器、温度传感器、光或光学传感器、大气压力传感器、湿度传感器、磁体、陀螺仪、加速度计、化学传感器、臭氧传感器、微粒计数传感器等等。又如，传感器可以是用于跟踪生物特征特性(诸如健康和活动量度)的生物传感器。其他用户传感器可执行面部特征检测、面部运动检测、面部识别、眼睛跟踪、用户情绪检测、用户情感检测、语音检测等。

头戴式设备100可任选地连接到便携式电子设备202，该便携式电子设备可提供某些功能。为简明起见，便携式电子设备202将不在图2中详细地描述。然而，应当理解，便携式电子设备202可以多种形式实施，包括多种特征，其全部或一些可由头戴式设备100使用(例如，输入/输出、控件、处理、电池等)。便携式电子设备202可提供手持式形状因数(例如，重量轻、适配在口袋中的小型便携式电子设备等)。尽管不限于这些，但示例包括媒体播放器、电话(包括智能电话)、PDA、计算机等。便携式电子设备202可包括用于向用户呈现媒体的图形部分的屏幕213。屏幕213可用作头戴式设备100的主屏幕。

头戴式设备100可包括能够操作以接收便携式电子设备202的底座206。底座206可包括连接器(例如，闪电、USB、火线、电源、DVI等)，该连接器可插入便携式电子设备202的互补连接器中。底座206可包括用于帮助在接合期间对准连接器并将便携式电子设备202物理地耦接到头戴式设备100的特征部。例如，底座206可限定用于放置便携式电子设备202的腔体。底座206还可包括用于将便携式电子设备202固定在腔体内的保持特征部。底座206上的连接器可用作便携式电子设备202与头戴式设备100之间的通信接口。

现在参考图3，用户可佩戴和/或操作基于音频输入来提供视觉输出的头戴式设备。如图3所示，用户10可佩戴提供视野90和外部环境的头戴式设备100。声音30的源20可位于视野90内。声音的其他源也可位于视野90内和/或视野90外。当用户接收到声音中的每者时，头戴式设备100可提供将用户的注意力引导到声音的特定源的视觉输出。

现在参考图4，头戴式设备100的显示器190可提供包括声音的源20的外部环境的视图。在显示器190的视图中所显示项中的一个或多个可对应于环境中的物理对象。例如，头戴式设备100的相机可捕获外部环境的视图。基于捕获到的视图，显示器190可提供包括物理对象的图像的显示。附加地或另选地，显示器190可提供与外部环境中的物理对象相对应的虚拟对象的显示。例如，所辨识(recognize)的对象可呈现为具有基于外部环境中的物理对象的检测的特征(例如，位置、取向、颜色、尺寸等)的虚拟对象。附加地或另选地，显示器190可提供与外部环境中的物理对象不对应的虚拟对象的显示。例如，即使当不存在对应物理对象时，也可将其他对象呈现为虚拟对象。因此，应当理解，视图可包括物理对象和虚拟对象的视图。

如图4所示，显示器190可将检测到的声音的源20识别为具有相对于头戴式设备100的特定位置(例如，原点方向)。如本文所讨论，可通过麦克风阵列来执行这种确定。在确定源20的位置后，还可基于在头戴式设备100的麦克风与显示器190之间的已知空间关系来确定显示器190上的对应位置。如图4进一步所示，指示符300可由显示器190视觉地输出，以指示源20的位置。即使当用户无法基于用户自己对声音的检测直接地识别位置时，这种输出也可帮助用户视觉地识别源20的位置。

指示符300可包括图标、符号、图形、文本、字词、数字、字符、图片或其他可见特征，其如在显示器190上所显示的那样可显示在源20处、上和/或附近。例如，指示符300可对应于源20的已知特性(例如，身份、名称、颜色等)。附加地或另选地，指示符300可包括视觉特征，诸如颜色、突出显示、发光、轮廓、阴影或当与外部环境和/或在其中的对象的视图一起显示时允许其部分更清晰可见的其他对比特征。当用户移动头戴式设备以改变正被捕获和/或显示的视野时，指示符300可在显示器190上移动。例如，当源20因该用户的移动而在显示器190内移动时，指示符300可维持其相对于源20的位置。

现在参考图5，声音30的源20可位于由头戴式设备100提供的视野90外。声音的其他源也可位于视野90内和/或视野90外。当用户接收到声音中的每者时，头戴式设备100可提供将用户的注意力引导到声音的特定源的视觉输出，即使当这些源在视野外时也是如此。

现在参考图6，头戴式设备100的显示器190可提供外部环境的视图，即使当该视图不包括声音的源时也是如此。在显示器190的视图中所显示项中的一个或多个可对应于环境中的物理对象，如本文所讨论。例如，头戴式设备100的相机可捕获外部环境的视图。

如图6所示，显示器190可将检测到的声音的源识别为具有相对于头戴式设备100的特定位置(例如，原点方向)。如本文所讨论，可通过麦克风阵列来执行这种确定。在确定源20的位置后，可以进一步确定源的位置不在由显示器190提供的视野内。可以基于在头戴式设备100的麦克风与显示器190之间的已知空间关系来做出这种确定。如图6进一步所示，即使当源未在显示器190的视野内显示时，指示符300也可由显示器190视觉地输出以指示源的位置。因此，指示符300可向用户表明用户可改变其位置和/或取向以捕获源的视图的方向。即使当用户无法基于用户自己对声音的检测直接地识别位置时，这种输出也可帮助用户视觉地识别源的位置。

指示符300可包括图标、符号、图形、文本、字词、数字、字符、图片或可显示在显示器190的与源的位置最密切地对应的部分处、上和/或附近的其他可见特征。通过另外的示例，指示符300可对应于源的已知特性(例如，身份、名称、颜色等)。附加地或另选地，指示符300可包括视觉特征，诸如颜色、突出显示、发光、轮廓、阴影或当与外部环境和/或在其中的对象的视图一起显示时允许其部分更清晰可见的其他对比特征。

指示符300可设在显示器190的与显示器190的边缘相邻的部分处。如果视野大到足以包括边缘，则边缘可以是最接近将设有源的位置的边缘。例如，指示符300可以设在显示器190的一部分处，该部分是沿从显示器190的中心延伸并在从中心朝向源的方向上延伸的路径。通过另外的示例，指示符300可以指示用户可转向以使源进入显示器190的视野内的方向。当用户移动头戴式设备时，指示符300可更新其在显示器190上的位置，使得指示符300提供对用户可转向以捕获在显示器190的视野内的源的方向的更新的建议。附加地，当使源进入显示器190的视野内时，可如图4所示提供指示符300。

现在参考图7，提供一种操作头戴式设备的方法以实现本文所述的结果。方法700可至少部分地由头戴式设备执行以向头戴式设备的显示器提供基于音频的反馈。附加地或另选地，至少一些步骤可部分地由可操作地连接到头戴式设备的另一个设备执行。应当理解，图7中所示的方法700仅为示例，并且可用比图7所示的那些步骤附加的步骤和/或更少的步骤来执行方法。

在操作702中，头戴式设备用一个或多个麦克风检测声音。在操作704中，基于麦克风的操作来确定声音的源的位置。例如，麦克风可为定向的和/或全向麦克风阵列，其提供检测源相对于头戴式设备的方向的能力。任选地，可确定源在头戴式设备的显示器的视野内或外。在操作706中，在头戴式设备的显示器上显示指示符。在源在头戴式设备的显示器的视野内的情况下，可在显示器上在源处或附近提供指示符作为显示器上的输出。在源在头戴式设备的显示器的视野外的情况下，可如本文所述的那样在显示器上提供指示符(例如，以指示用户可转向以查看源的方向)。

现在参考图8，提供一种操作头戴式设备的方法以实现本文所述的结果。方法800可至少部分地由头戴式设备执行以向头戴式设备的扬声器提供基于音频的反馈。附加地或另选地，至少一些步骤可部分地由可操作地连接到头戴式设备的另一个设备执行。应当理解，图8中所示的方法800仅为示例，并且可用比图8所示的那些步骤附加的步骤和/或更少的步骤来执行方法。

在操作802中，头戴式设备确定要检测的声音的目标特性。目标特性可基于用户输入。例如，目标特性可由用户选择(例如，从菜单)和/或输入。目标特性可基于用户输入，在该用户输入中，用户选择先前记录的声音以形成用于分析之后检测到的声音的基础。目标特性可为频率、音量(例如，幅度)、位置、源的类型和/或上述项中的一个或多个的范围。例如，可以以特定类型的声音为目标，使得头戴式设备的音频输出集中在具有这种目标特性的声音上。

在操作804中，头戴式设备用一个或多个麦克风来检测声音。

在操作806中，头戴式设备基于目标特性来修改其扬声器的音频输出。例如，头戴式设备可将检测到的声音与目标特性进行比较以确定检测到的声音是否具有目标特性。如果确定检测到的声音具有目标特性，则可将其放大为扬声器的输出。例如，可控制扬声器的音频输出以放大与具有目标特性的声音相对应的音频输入。通过另外的示例，可放大(例如，音量增大)指向符合条件的声音(例如，具有目标特性)的麦克风接收到的音频输入，并且可减小(例如，音量减小)不指向符合条件的声音(例如，缺乏目标特性)的麦克风接收到的音频输入。

修改后的音频输出可允许用户集中于满足目标特性的音频，因此允许用户滤除不满足目标特性的音频。因此，通过集中于感兴趣的声音，减轻了用户分辨出多种声音的负担。

现在参考图9，提供一种操作头戴式设备的方法以实现本文所述的结果。方法900可至少部分地由头戴式设备执行以向头戴式设备的扬声器提供基于音频的反馈。附加地或另选地，至少一些步骤可部分地由可操作地连接到头戴式设备的另一个设备执行。应当理解，图9中所示的方法900仅为示例，并且可用比图9所示的那些步骤附加的步骤和/或更少的步骤来执行方法。

在操作902中，头戴式设备确定用户的视线。例如，可操作眼传感器来确定用户的眼睛(例如，瞳孔)所对着的方向。可将这种视线的方向理解为指示用户感兴趣的方向，并且因此指示用户期望从其听到声音的位置。

在操作904中，头戴式设备用一个或多个麦克风检测声音。

在操作906中，头戴式设备基于用户的视线的方向来修改其扬声器的音频输出。例如，头戴式设备可将检测到的声音与用户的视线的方向进行比较，以确定检测到的声音是否来自沿用户的视线的方向的源。如果确定检测到的声音沿用户的视线的方向，则可将其放大为扬声器的输出。例如，可控制扬声器的音频输出以放大与沿用户的视线的方向的声音相对应的音频输入。通过另外的示例，可放大(例如，音量增大)指向符合条件的方向(例如，用户的视线的方向)的麦克风接收到的音频输入，并且可减小(例如，音量减小)不指向符合条件的方向(例如，除用户的视线的方向之外)的麦克风接收到的音频输入。

修改后的音频输出可允许用户仅通过将眼睛的视线引导到所期望的方向来指示所期望的音频焦点。可滤除其他声音。因此，通过自然地用眼睛视线集中于感兴趣的源，减轻了用户分辨出多种声音的负担。

因此，本公开的实施方案提供了具有用于定向音频检测的多个麦克风的头戴式设备。所述头戴式设备还可包括用于音频输出的扬声器和/或用于视觉输出的显示器。所述头戴式设备可被配置为通过基于声音的源的位置来在显示器上显示指示符而基于音频输入来提供视觉输出。所述头戴式设备可被配置为通过基于检测到的声音和目标特性来修改所述扬声器的音频输出而基于音频输入来提供音频输出。此类特性可基于用户的视线的方向，如由眼传感器检测到的。

为了方便起见，下文将本公开的各方面的各种示例描述为条款。这些示例以举例的方式提供，并且不限制主题技术。

条款A：一种头戴式设备，包括：多个麦克风；显示器；控制器，该控制器被配置为执行以下操作：用麦克风检测声音；确定所述声音的源相对于所述头戴式设备的位置；以及基于源的位置来在显示器上显示指示符。

条款B：一种头戴式设备，包括：多个麦克风；扬声器；控制器，该控制器被配置为执行以下操作：确定目标特性；用所述麦克风检测声音；将所述声音与所述目标特性进行比较；以及基于声音和目标特性来修改扬声器的音频输出。

条款C：一种头戴式设备，包括：多个麦克风；扬声器；眼传感器；控制器，该控制器被配置为：基于眼传感器来确定用户的视线的方向；用所述麦克风检测声音；以及基于声音和视线的方向来修改扬声器的音频输出。

上述条款中的一个或多个可包括下述特征中的一个或多个。应当注意，以下条款中的任一个可彼此以任何组合来组合，并被置于相应的独立条款中，例如，条款A、B或C。

条款1：源的位置在由显示器提供的视野内，并且指示符显示在显示器的与源的位置相对应的部分处。

条款2：源的位置在显示器的视野外，并且指示符显示在显示器的与源的位置相对于显示器的中心的方向相对应的边缘处。

条款3：确定声音的源相对于头戴式设备的位置包括确定麦克风中的哪一个最靠近地朝向源的位置。

条款4：控制器被进一步配置为执行确定目标特性的操作；并且确定声音的源相对于头戴式设备的位置基于声音和目标特性。

条款5：目标特性基于识别(identify)声音的用户输入。

条款6：指示符基于声音的源的特性。

条款7：相机，其中显示器被配置为显示由相机捕获的视图。

条款8：修改扬声器的音频输出包括增大基于来自麦克风中的朝向声音的源的位置的一者的音频输入的音频输出的音量。

条款9：扬声器是多个扬声器中的一个；并且修改音频输出包括增大扬声器中的与朝向声音的源的位置的方向相对应的一者的音量。

条款10：目标特性基于声音的频率。

条款11：目标特性基于识别声音的用户输入。

条款12：目标特性基于个体的面部识别。

条款13：确定用户的视线的方向包括用眼传感器光学地捕获用户的眼睛的视图；

条款14：修改扬声器的音频输出包括增大基于来自麦克风中的朝向视线的方向的一者的音频输入的音频输出的音量。

条款15：控制器被进一步配置为确定麦克风中的一者比麦克风中的其他麦克风更靠近地朝向视线的方向；以及

条款16：修改扬声器的音频输出包括：增大基于来自麦克风中的一者的音频输入的音频输出的音量；以及减小基于来自麦克风中的其他麦克风的音频输入的音频输出的音量。

条款17：相机；以及显示器，该显示器被配置为显示由相机捕获的视图，其中用户的视线的方向延伸穿过显示器。

如上所述，本技术的一个方面可以包括收集和使用得自各种来源的数据。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他识别信息或个人信息。

本公开认识到在本公开技术中使用此类个人信息数据可用于使用户受益。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本公开的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中，用户可以选择不为目标内容递送服务提供情绪相关数据。在另一个示例中，用户可选择限制情绪相关数据被保持的时间长度，或完全禁止基础情绪状况的开发。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本公开技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好，从而选择内容并将该内容递送至用户。

除非特别指出，否则以单数形式提及的元素并不意味着是唯一的，而是指一个或多个。例如，“一个”模块可指一个或多个模块。以“一个”，“一种”，“该”或“所述”为前缀的元素在没有进一步的限制的情况下不排除存在另外的相同的元素。

标题和副标题(如果有的话)仅用于方便，并不限制本公开。“示例性”一词用于表示用作示例或说明。在使用术语“包括”、“具有”等的意义上，此类术语旨在以类似于术语“包含”的方式是包含性的，因为在用作权利要求中的过渡词时解释为包含。诸如第一和第二等的关系术语可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。

短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一个或多个配置、主题技术、公开、本公开、其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，或者此类公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。

在一系列项目之前的短语“至少一个”，用术语“和”或“或”分开项目中的任一者，将列表作为整体修改而不是列表中的每个成员。短语“至少一个”不需要选择至少一个项目；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”中的每个短语仅指A、仅指B或仅指C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。

应该理解，公开的步骤、操作或过程的具体顺序或层次是示例性方法的说明。除非另有明确说明，否则可理解的是，步骤、操作或过程的具体顺序或层次可以不同的顺序执行。步骤、操作或过程中的一些可同时执行。所附方法权利要求书(如果有的话)以示例顺序呈现各个步骤、操作或过程的元素，并不意味着限于所呈现的特定顺序或层次。这些可以串行、线性、并行或不同的顺序执行。应当理解，所描述的指令、操作和系统通常可一起集成在单个软件/硬件产品中，或者被封装到多个软件/硬件产品中。

在一个方面，术语耦接等可指代直接耦接。另一方面，术语耦接等可指间接耦接。

术语诸如顶部、底部、前部、后部、侧部、水平、竖直等是指任意的参照系，而不是指通常的重力参照系。因此，此类术语可在重力参考系中向上、向下、对角或水平延伸。

提供本公开是为了使本领域的技术人员能够实践本文所述的各个方面。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。本公开提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对于本领域技术人员将是显而易见的，并且这里描述的原理可应用于其他方面。

本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。根据35U.S.C.§112第六段的规定，不需要解释任何权利要求元素，除非使用短语“方法用以”明确陈述了该元素，或者就方法权利要求而言，使用短语“步骤用以”陈述了该元素。

标题、背景、附图的简要说明、摘要和附图在此被结合到本公开中，并且被提供作为本公开的说明性示例，而不是作为限制性描述。认为它们不会被用来限制权利要求的范围或含义。另外，在详细描述中可看出，为了使本公开简化的目的，描述提供了例示性示例，并且各种特征在各种具体实施中被组合在一起。公开的方法不应被解释为反映所要求保护的主题需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如权利要求所反映的，发明主题在于少于单个公开的配置或操作的所有特征。权利要求由此被并入到具体实施方式中，每个权利要求本身作为单独要求保护的主题。

权利要求不旨在限于本文所述的方面，而是要被赋予与权利要求的语言一致的全部范围，并且涵盖所有的法律等同物。尽管如此，这些权利要求都不包含不符合适用专利法要求的主题，也不应该以此类方式解释。

Claims (20)

1.一种头戴式设备，包括：

多个麦克风；

显示器；

控制器，所述控制器被配置为执行以下操作：

用所述麦克风检测声音；

确定所述声音的源相对于所述头戴式设备的位置；以及

基于所述源的所述位置来在所述显示器上显示指示符。

2.根据权利要求1所述的头戴式设备，其中所述源的所述位置在由所述显示器提供的视野内，并且所述指示符显示在所述显示器的与所述源的所述位置相对应的一部分处。

3.根据权利要求1所述的头戴式设备，其中所述源的所述位置在所述显示器的视野外，并且所述指示符显示在所述显示器的与所述源的所述位置相对于所述显示器的中心的方向相对应的边缘处。

4.根据权利要求1所述的头戴式设备，其中确定所述声音的所述源相对于所述头戴式设备的所述位置包括确定所述麦克风中的哪一个麦克风最靠近地朝向所述源的所述位置定向。

5.根据权利要求1所述的头戴式设备，其中：

所述控制器被进一步配置为执行确定目标特性的操作；并且

确定所述声音的所述源相对于所述头戴式设备的所述位置基于所述声音和所述目标特性。

6.根据权利要求5所述的头戴式设备，其中所述目标特性基于识别所述声音的用户输入。

7.根据权利要求1所述的头戴式设备，其中所述指示符基于所述声音的所述源的特性。

8.根据权利要求1所述的头戴式设备，还包括相机，其中所述显示器被配置为显示由所述相机捕获的视图。

9.一种头戴式设备，包括：

多个麦克风；

扬声器；

控制器，所述控制器被配置为执行以下操作：

确定目标特性；

用所述麦克风检测声音；

将所述声音与所述目标特性进行比较；以及

基于所述声音和所述目标特性来修改所述扬声器的音频输出。

10.根据权利要求9所述的头戴式设备，其中修改所述扬声器的所述音频输出包括增大基于来自所述麦克风中的朝向所述声音的源的位置定向的一个麦克风的音频输入的所述音频输出的音量。

11.根据权利要求9所述的头戴式设备，其中：

所述扬声器是多个扬声器中的一个扬声器；并且

修改所述音频输出包括增大所述扬声器中的与朝向所述声音的源的位置的定向相对应的一个扬声器的音量。

12.根据权利要求9所述的头戴式设备，其中所述目标特性基于所述声音的频率。

13.根据权利要求9所述的头戴式设备，其中所述目标特性基于识别所述声音的用户输入。

14.根据权利要求9所述的头戴式设备，其中所述目标特性基于个体的面部识别。

15.一种头戴式设备，包括：

多个麦克风；

扬声器；

眼传感器；

控制器，所述控制器被配置为：

基于所述眼传感器来确定用户的视线的方向；

用所述麦克风检测声音；以及

基于所述声音和所述视线的所述方向来修改所述扬声器的音频输出。

16.根据权利要求15所述的头戴式设备，其中确定所述用户的所述视线的所述方向包括用所述眼传感器光学地捕获所述用户的眼睛的视图。

17.根据权利要求15所述的头戴式设备，其中修改所述扬声器的所述音频输出包括增大基于来自所述麦克风中的朝向所述视线的所述方向定向的一个麦克风的音频输入的所述音频输出的音量。

18.根据权利要求15所述的头戴式设备，其中所述控制器被进一步配置为确定所述麦克风中的一个麦克风比所述麦克风中的其他麦克风更靠近地朝向所述视线的所述方向定向。

19.根据权利要求18所述的头戴式设备，其中修改所述扬声器的所述音频输出包括：

增大基于来自所述麦克风中的所述个麦克风的音频输入的所述音频输出的音量；以及

减小基于来自所述麦克风中的所述其他麦克风的音频输入的所述音频输出的音量。

20.根据权利要求15所述的头戴式设备，还包括：

相机；以及

显示器，所述显示器被配置为显示由所述相机捕获的视图，其中所述用户的所述视线的所述方向延伸穿过所述显示器。

Images