CN113261305A - 耳机、声学信号处理方法和程序 - Google Patents
耳机、声学信号处理方法和程序 Download PDFInfo
- Publication number
- CN113261305A CN113261305A CN201980087674.0A CN201980087674A CN113261305A CN 113261305 A CN113261305 A CN 113261305A CN 201980087674 A CN201980087674 A CN 201980087674A CN 113261305 A CN113261305 A CN 113261305A
- Authority
- CN
- China
- Prior art keywords
- mode
- sound
- microphone
- control unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 56
- 230000005236 sound signal Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 abstract description 67
- 238000006243 chemical reaction Methods 0.000 description 34
- 238000001514 detection method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
本发明实现了一种耳机,利用该耳机,可以在不执行麻烦的用户操作的情况下实现用于进入从扬声器输出外部声音的会话模式的模式控制。耳机包括:麦克风,用于捕获作为耳机的环境声音的外部声音;以及模式控制单元,用于根据模式控制所述耳机的扬声器的输出声音。当通过分析麦克风输入声音检测到佩戴耳机的用户的发声时,模式控制单元转换为从扬声器输出外部声音的会话模式。此外,在通过分析能够判定耳机的外表面上的触摸操作的类型的触摸传感器阵列的输出检测到先前规定的触摸类型的触摸操作时也变换到会话模式。
Description
技术领域
本公开涉及耳机、声信号处理方法和程序。更具体地,本发明涉及一种能够进行用于根据用户的发声从耳机的扬声器输出外部声音的模式改变的耳机、声学信号处理方法和程序。
背景技术
近来,广泛使用配备有外部声音捕获功能的耳机。也就是说,这种广泛使用的耳机具有当用户利用耳机收听音乐时将由麦克风捕获的外部声音与音乐一起输出到耳机的扬声器而不完全阻挡外部声音(环境声音)的功能。例如,专利文献1(日本专利申请公开号2009-021826)描述了具有外部声音捕获功能的耳机。
上述专利文献1公开了一种配置,其中通过用户的切换操作来切换用于捕获外部声音的模式和用于不捕获外部声音的模式。
然而,在上述专利文献1中描述的配置具有的问题在于,当切换到用于捕获外部声音的模式时,用户需要摸索开关并且执行切换操作,这是麻烦的。
引文列表
专利文献
专利文献1:日本专利申请公开号2009-021826
发明内容
本发明要解决的问题
例如,本公开是鉴于上述问题而做出的,并且提供了:能够在不对用户产生诸如摸索开关的负担的情况下在最佳定时切换到外部声音捕获模式的耳机;声信号处理方法;以及程序。
本公开的实施例提供:响应于用户的发声而立即切换到外部声音捕获模式的耳机;声信号处理方法;以及程序。
问题的解决方案
本公开的第一方面提供一种耳机,包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
此外,本公开的第二方面提供一种用于执行耳机的扬声器输出声音的控制的声学信号处理方法,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
此外,本公开的第三方面提供一种使耳机执行扬声器输出声音的控制的程序,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
注意,本公开的程序是例如可以通过提供计算机可读格式的程序代码的存储介质或通信介质提供给能够执行各种程序代码的信息处理装置或计算机系统的程序。通过提供这种计算机可读格式的程序,可以在信息处理装置或计算机系统中执行根据该程序的处理。
本公开的其他目的、特征和优点将从基于稍后描述的本公开的实施例和附图的详细描述变得显而易见。需要说明的是,本说明书中的系统是指多个装置的逻辑集合,并且各个装置不限于容纳在单个外壳内。
本发明的技术效果
根据本公开的一个实施例的配置,实现了一种能够进行转换到从扬声器输出外部声音的会话模式而不需要执行麻烦的用户操作的模式控制的耳机。
具体地,例如,耳机包括:麦克风,其捕获作为耳机周围的环境声音的外部声音;以及模式控制单元,其根据模式控制耳机的扬声器的输出声音。模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,切换到从扬声器输出外部声音的会话模式。此外,模式控制单元在通过分析能够识别耳机的外表面上的触摸操作的类型的触摸传感器阵列的输出来检测指定触摸类型的触摸操作时,也切换到会话模式。
利用该配置,实现了一种能够进行用于转换到从扬声器输出外部声音的会话模式而不需要执行麻烦的用户操作的模式控制。
应当注意,本说明书中描述的效果仅仅是说明性的而非限制性的,并且可以具有附加效果。
附图说明
图1是用于描述根据本公开的耳机的配置示例的图。
图2是用于详细描述耳机的配置示例的图。
图3是用于描述耳机中设置的触摸传感器阵列的图。
图4是用于描述在根据本公开的耳机中执行的模式转换的图。
图5是用于描述根据本公开的耳机的配置示例的图。
图6是用于描述由耳机的模式控制单元执行的处理序列的流程图。
图7是用于描述由耳机的模式控制单元执行的处理序列的流程图。
图8是用于描述由耳机的模式控制单元执行的模式转换的图。
图9是用于描述由耳机的模式控制单元执行的模式转换的图。
图10是用于描述根据本公开的耳机的硬件的配置示例的图。
具体实施方式
下面将参照附图详细描述根据本公开的耳机、声信号处理方法和程序。注意,将按以下顺序给出描述。
1.根据本公开的耳机的概述
2.在根据本公开的耳机中执行的模式转换
2-1.在(a)正常模式和(c)紧急模式之间的模式转换
2-2.在(a)正常模式和(b)会话模式之间的模式转换
2-3.在(b)会话模式和(c)紧急模式之间的模式转换
3.耳机的配置示例
4.由耳机的模式控制单元执行的处理序列
4-1.(处理示例1)在正常模式期间通过检测用户的发声而转换到会话模式的处理示例
4-2.(处理示例2)在正常模式下通过从触摸传感器阵列接收传感器检测信息来执行模式转换的处理示例
5.由模式控制单元执行的模式转换的总结
5-1.在当前模式是正常模式的情况下的模式转换
5-2.在当前模式是紧急模式的情况下的模式转换
5-3.在当前模式是第一会话模式(针对低环境声音水平)的情况下的模式转换
5-4.当前模式是第二会话模式(针对高环境声音水平)的情况下的模式转换
6.耳机硬件配置示例
7.本公开的配置的概述
[1.根据本公开的耳机的概述]
首先,将参照图1和随后的附图描述根据本公开的耳机的概述。
图1示出了佩戴耳机10的用户1和用户1所拥有的再现装置(用户终端)20。
在再现装置(用户终端)20中再现的再现声音(例如,音乐数据)通过无线通信被发送到耳机10,并且音乐再现声音从耳机的左和右(LR)扬声器输出。
图2示出耳机10的详细配置示例。图2示出耳机10的(a)外部视图、(b)侧视图和(c)内部视图。
(a)外部视图示出了不接触用户1的耳朵的外表面。如图2(a)所示,在耳机的外表面上设置有外部麦克风11和嘴部麦克风12。外部麦克风11是捕获外部声音(环境声音)的麦克风。
嘴部麦克风12主要是为了获取使用者1的发声声音而设置。嘴部麦克风12被安装在使用者1的嘴部附近。注意,外部声音(环境声音)也由嘴部麦克风12捕获。
此外,如(b)侧视图所示,在耳机的侧面上设置有能够由用户操作并且包括开关、按钮等的操作单元13。
操作单元13用在用户执行各种操作(诸如再现音乐的开始、停止、跳过、音量调节和静音)的情况下。
另外,如(b)侧视图所示,从耳机的外表面到侧面设置嘴部麦克风12,并且将其设置为有效地捕获用户1的发声。注意,可以仅在耳机的外表面上安装嘴部麦克风12。
图2(c)是内部视图,其示出了与用户1的耳朵接触的部分。如图2(c)所示,在耳机的内表面上设置扬声器14。扬声器14不仅用于输出再现声音,而且用于输出由麦克风捕获的声音。
如图2(c)所示,在耳机的内表面上还设置内部麦克风15。内部麦克风15也是用于捕获外部声音的麦克风。
接下来,将参照图3描述在耳机10中设置的触摸传感器阵列15。如图3所示,耳机10具有内置触摸传感器阵列15。
触摸传感器阵列15具有大量小触摸传感器的阵列,并且每个触摸传感器单独地输出检测值。也就是说,它检测到用户触摸耳机的外表面。此外,通过分析构成触摸传感器阵列15的大量触摸传感器的输出,可以判定用户用他/她的手触摸耳机的外表面的方式,即触摸的类型。
例如,在如图3(a)所示用户的手触摸耳机10的整个外表面的情况下,这种触摸被检测为表面触摸。
此外,在如图3(b)所示用户的手指触摸耳机10的外表面的一部分的情况下,这种触摸被检测为点触摸。
另外,如图3(b1)和3(b2)所示,在用户的一个手指触摸耳机10的外表面上的一个点的情况下,这样的触摸被检测为一点触摸,并且在用户的两个手指触摸彼此分离的两个点的情况下,这样的触摸被检测为两点触摸。
可以通过分析构成触摸传感器阵列15的大量触摸传感器的输出来判定触摸的类型。
[2.在根据本公开的耳机中执行的模式转换]
接下来,将描述在根据本公开的耳机中执行的模式转换。
图4是用于描述在根据本公开的耳机10中执行的模式转换的图。
如图4所示,根据本公开的耳机10具有以下三种模式。
(a)正常模式
(b)会话模式
(c)紧急模式
(a)正常模式是用于收听由再现装置再现的音乐的模式。在正常模式中,停止麦克风对外部声音的捕获和扬声器对外部声音的输出。或者,外部声音由麦克风捕获,但是从扬声器输出的外部声音被限制在给定水平或更低。注意,可以由用户设置正常模式下的外部声音的输出水平。
此外,在(a)正常模式中,用户可以通过操作操作单元14来执行各种操作,诸如音乐再现的再现控制,例如,再现开始、停止、跳过、音量调节、静音等。
另外,也可以执行通过以上参照图3(b1)描述的通过一点触摸的诸如再现开始、停止、跳过等的处理。
(b)会话模式是在例如佩戴耳机10的用户讲话的情况下从(a)正常模式转换的模式。
耳机10内部的模式控制单元在通过分析由设置给耳机10的多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音而判定佩戴耳机10的用户1说话时,从(A)正常模式转换到(b)会话模式。
在(b)会话模式中,外部声音由麦克风捕获,并且外部声音与由再现装置再现的音乐一起从扬声器输出。来自扬声器的外部声音的输出水平被提高到用户1能够充分识别外部声音的水平。也就是说,它被设置为可以进行正常会话的水平。注意,在会话模式中,外部声音可以由麦克风捕获,并且可以在再现的音乐静音或停止的情况下从扬声器输出,以便专门用于会话。
注意,在(b)会话模式中有两种会话模式。也就是说,存在以下两种例示的模式。
(b1)第一会话模式(针对低环境声音水平)
(b2)第二会话模式(针对高环境声音水平)
(b1)第一会话模式(针对低环境声音水平)是在环境声音水平不大于阈值(例如,80dBA)并且环境相对安静的情况下设置的模式。在第一会话模式(针对低环境声音水平)中,外部声音(环境声音)与再现音乐一起或者与停止或静音的再现音乐一起从扬声器输出。
注意,在(b1)第一会话模式(针对低环境声音水平)中存在两种类型的外部声音输出模式:环境声音模式-正常(ASM正常)模式和语音模式。
在ASM正常模式下,由安装到耳机10的多个麦克风(外部麦克风11、嘴麦克风12、内部麦克风15)获取的声音通过扬声器14无变化地输出。
在语音模式中,执行用于从由麦克风(外部麦克风11、嘴麦克风12、内部麦克风15)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器14输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
另一方面,(b2)第二会话模式(针对高环境声音水平)是在环境声音水平超过阈值(例如,80dBA)并且环境相对嘈杂的情况下设置的模式。在第二会话模式中,与第一会话模式中一样,外部声音(环境声音)也与再现音乐一起或者与停止或静音的再现音乐一起从扬声器输出。
注意,在(b2)第二会话模式中存在三种类型的外部声音输出模式(针对高环境声音水平):语音模式、波束成形模式和语音+波束成形模式。
在语音模式中,执行用于从由麦克风(外部麦克风11、嘴麦克风12、内部麦克风15)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器14输出处理后的信号。
在波束形成模式中,执行用于选择和强调来自佩戴耳机10的用户1的前方的声音的信号处理,并且通过扬声器14输出处理后的信号。
在语音+波束形成模式中,执行语音模式中的信号处理和波束形成模式中的信号处理,并且通过扬声器14输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
通过耳机10内部的模式控制单元基于由麦克风获取的声音判定外部声音(环境声音)的水平,来执行(b1)第一会话模式(针对低环境声音水平)和(b2)第二会话模式(针对高环境声音水平)之间的模式转换。稍后将参照流程图描述具体的处理序列。
(c)紧急模式是在佩戴耳机10的用户1想要听到外部声音的情况下能够被转换的模式,而不管用户是否说话。
在(b)正常模式中,当用户1在耳机10的外表面上执行表面触摸时,可以执行到(c)紧急模式的模式转换。
在(c)紧急模式中,外部声音由麦克风捕获,并且与由再现装置再现的诸如音乐的再现声音一起从扬声器输出。来自扬声器的外部声音的输出水平被提高到用户1能够充分识别外部声音的水平。
如上所述,根据本公开的耳机具有以下三种模式。
(a)正常模式
(b)会话模式
(c)紧急模式
耳机具有这三种模式。此外,(b)会话模式具有以下两种类型的会话模式。
(b1)第一会话模式(针对低环境声音水平)
(b2)第二会话模式(针对高环境声音水平)
(b)会话模式具有上述两种模式。
这些模式中的每一个由耳机10内的模式控制单元根据用户对操作单元13的操作、用户对耳机外表面的触摸(表面触摸、一点触摸、两点触摸等)、用户发声的有无等来切换。
在图4的模式转换图中,由多个虚线框表示各模式的切换条件。
下面将描述这些模式切换条件。
[2-1.(a)正常模式和(c)紧急模式之间的模式转换]
首先,将描述(a)正常模式和(c)紧急模式之间的模式转换。
(S11)
在检测到用户的表面触摸的情况下,执行从(a)正常模式到(c)紧急模式的转换。如参照图3(a)所述,在基于对触摸传感器阵列15的输出的分析而检测到用户触摸耳机的几乎整个外表面的情况下,模式控制单元执行从(a)正常模式到(c)紧急模式的模式转换。
(S12)
另一方面,在检测到用户对表面触摸的释放的情况下,执行从(c)紧急模式到(a)正常模式的转换。在基于对触摸传感器阵列15的输出的分析而检测到用户停止了用户触摸耳机的几乎整个外表面的表面触摸的情况下,模式控制单元执行从(c)紧急模式到(a)正常模式的模式转换。
[2-2.在(a)正常模式和(b)会话模式之间的模式转换]
接下来,将描述(a)正常模式和(b)会话模式之间的模式转换。
(S21)
在检测到以下事件中的任何一个的情况下执行从(a)正常模式到(b)会话模式的转换。
(1)自身发声的检测
(2)两点触摸
(1)通过检测自身发声进行的模式转换是在检测到佩戴耳机10的用户1的发声的情况下从(a)正常模式转换到(b)会话模式的处理。
耳机10内的模式控制单元通过分析由设置到耳机10的多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音来判定佩戴耳机10的用户1是否说话。
例如,通过分析由多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音来指定声源位置,并且在声源位置是佩戴耳机的用户的嘴部的情况下,判定用户已经说话,并且执行从(a)正常模式到(b)会话模式的转换。
(2)两点触摸的模式转换是在检测到耳机10的外表面上的两点触摸的情况下从(a)正常模式转换到(b)会话模式的处理。
如参照图3所描述的(b2),在基于对触摸传感器阵列15的输出的分析而检测到用户触摸耳机的外表面的两个分离的部分区域的情况下,模式控制单元执行从(a)正常模式转换到(b)会话模式的过程。
(S22)
另一方面,在检测到以下事件中的任何一个的情况下,执行从(b)会话模式到(a)正常模式的转换。
(1)自身发声结束检测
(2)两点触摸
(3)诸如再现开始的用户操作
(1)通过检测自身发声的结束的模式转换是在一定时间段内没有检测到佩戴耳机10的用户1的发声的情况下从(b)会话模式转换到(a)正常模式的处理。
如上所述,耳机10内的模式控制单元通过分析由设置到耳机10的多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音来判定佩戴耳机10的用户1是否说话。
在转换到(b)会话模式之后在规定的阈值时间(例如,30秒)或更长时间内没有检测到用户的发声的情况下,耳机10的模式控制单元从(b)会话模式转换到(a)正常模式。阈值时间可以由用户改变为各种时间。
注意,在如图4的(S23)所示的在转换到(b)会话模式之后以小于阈值时间的间隔检测到佩戴耳机10的用户1的发声的情况下,会话模式继续。
仅在规定的阈值时间或更长时间内未检测到用户的发声的情况下,执行从(b)会话模式到(a)正常模式的转换处理。
(2)两点触摸的模式转换是在检测到耳机10的外表面上的两点触摸的情况下从(b)会话模式转换到(a)正常模式的处理。
在基于对触摸传感器阵列15的输出的分析检测到在设置(b)会话模式的同时用户触摸耳机的外表面的两个分离的部分区域的情况下,模式控制单元执行从(b)会话模式转换到(a)正常模式的处理。
(3)通过诸如再现开始的用户操作进行的模式转换是在检测到耳机10的操作单元13上的用户操作(例如诸如再现开始的操作)的情况下,从(b)会话模式向(a)正常模式转换的处理。
模式控制单元在检测到用户对耳机10的操作单元13的操作(例如诸如再现开始的操作)的情况下,执行从(b)会话模式向(a)正常模式转换的处理。
[2-3.(b)会话模式和(c)紧急模式之间的模式转换]
接下来,将描述(b)会话模式和(c)紧急模式之间的模式转换。
(S31)
在检测到以下事件中的任何一个的情况下,执行从(c)紧急模式到(b)会话模式的转换。
(1)自身发音的检测
(2)两点触摸
(1)通过检测自身发声进行的模式转换是在紧急模式被设置的同时检测到佩戴耳机10的用户1的发声的情况下从(c)紧急模式转换到(b)会话模式的处理。
如上所述,耳机10内的模式控制单元通过分析由设置到耳机10的多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音来判定佩戴耳机10的用户1是否说话。
例如,通过分析由多个麦克风(外部麦克风11、嘴部麦克风12、内部麦克风15)获取的声音来指定声源位置,并且在声源位置是佩戴耳机的用户的嘴部的情况下,判定用户已经说话,并且执行从(c)紧急模式到(b)会话模式的转换。
(2)两点触摸的模式转换是在紧急模式被设置的同时检测到耳机10的外表面的两点触摸的情况下,从(c)紧急模式向(b)会话模式转换的处理。
如参照图3(b2)所描述的,在基于对触摸传感器阵列15的输出的分析而检测到用户触摸耳机的外表面的两个分离的部分区域的情况下,模式控制单元执行从(c)紧急模式转换到(b)会话模式的处理。
(S32)
另一方面,在检测到用户的表面触摸的情况下,执行从(b)会话模式到(c)紧急模式的转换。
在设置(b)会话模式的同时,如参照图3(a)所述,基于对触摸传感器阵列15的输出的分析而检测到用户触摸耳机的几乎整个外表面的情况下,模式控制单元执行从(c)紧急模式向(b)会话模式的转换处理。
[3.耳机的配置示例]
接下来,将参照图5描述根据本公开的耳机10的配置示例。
图5是示出根据本公开的耳机10的配置示例的框图。
如图5所示,耳机10包括触摸传感器阵列101、外部麦克风102a、内部麦克风102b、嘴麦克风102c、操作单元103、通信单元104、模式控制单元105和扬声器106。
触摸传感器阵列101对应于先前参照图3描述的触摸传感器阵列15。
如先前参照图3所述,触摸传感器阵列101具有大量小触摸传感器的阵列,并且每个触摸传感器单独地输出检测值。也就是说,检测到用户触摸耳机的外表面,并且进一步地,可以通过分析构成触摸传感器阵列101的大量触摸传感器的输出来识别用户用他/她的手触摸耳机的外表面的方式,即触摸的类型。
触摸传感器阵列101将能够识别表面触摸、一点触摸、两点触摸等的传感器输出值输出到模式控制单元105,例如,如参照图3(a)、(b1)和(b2)所述。
外部麦克风102a对应于先前参照图2(a)的外部视图描述的外部麦克风11。外部麦克风102a分别设置在耳机10的左右LR扬声器的外表面上。也就是说,在左扬声器侧的外表面上安装外部麦克风(L),并且在右扬声器侧的外表面上安装外部麦克风(R)。
内部麦克风102b对应于先前参照图2(c)的内部视图描述的内部麦克风15。内部麦克风102b分别设置在耳机10的左右LR扬声器的内表面上。也就是说,在左扬声器侧的内表面上安装内部麦克风(L),并且在右扬声器侧的内表面上安装内部麦克风(R)。
嘴部麦克风102c对应于先前参照图2(a)的外部视图和图2(b)的侧视图描述的嘴部麦克风12。在耳机10的左扬声器L或右扬声器R上设置嘴部麦克风12就足够了。或者,可以在耳机10的左扬声器L和右扬声器R上都设置嘴部麦克风12。
操作单元103对应于先前参照图2(b)的侧视图描述的操作单元13。例如,操作单元103用在用户执行各种操作(诸如开始、停止、跳过、音量调节和再现音乐的静音)的情况下。
通信单元104执行例如与再现装置20的通信,通过再现装置20接收再现数据,并经由模式控制单元105将接收到的数据输出到扬声器106。
此外,通信单元104还接收用于再现装置20的用户操作信息,并将用户操作信息输出到模式控制单元105。
模式控制单元105从各个组件接收各种信息,执行模式设置和模式转换,并控制到扬声器106的输出。
以下信息中的每一个被输入到模式控制单元105。
(1)来自触摸传感器阵列101的传感器检测信息
(2)来自麦克风(外部麦克风102a、内部麦克风102b、嘴麦克风102c)的麦克风获取声音信息
(3)来自操作单元103的用户操作信息
(4)经由通信单元104的再现声音信息和再现装置20的用户操作信息
如上所述,模式控制单元105从各个组件接收各种信息,执行模式设置和模式转换,并控制到扬声器106的输出。
扬声器106根据由模式控制单元105设置的模式执行声音输出。输出声音例如是以下声音之一。
(1)由再现装置20再现的再现声音
(2)由麦克风(外部麦克风102a、内部麦克风102b、嘴部麦克风102c)获取的外部声音(环境声音)和上述再现声音的混合声音
(3)由麦克风(外部麦克风102a、内部麦克风102b、嘴麦克风102c)获取的外部声音
输出声音是上述(1)至(3)中的任何一个。
[4.由耳机的模式控制单元执行的处理序列]
接下来,将描述由耳机的模式控制单元105执行的处理序列。
耳机10的模式控制单元105在开始时执行参照图4描述的各步骤的模式转换控制(S11至S32)。
下面,将参照流程图描述模式转换期间的以下两个典型处理示例。
(处理示例1)通过检测正常模式期间用户的发声来转换到会话模式的处理示例
(处理示例2)在正常模式中,在接收来自触摸传感器阵列的传感器检测信息并且执行模式转换的情况下的处理示例
[4-1.(处理示例1)通过检测正常模式期间用户的发声来转换到会话模式的处理示例]
首先,将参照图6所示的流程图描述在正常模式期间通过检测用户的发声而转换到会话模式的处理序列(处理示例1)。
图6是用于描述由耳机的模式控制单元105执行的处理序列的流程图。
注意,可以在例如具有程序执行功能的控制单元(例如CPU)的控制下,根据例如存储在耳机10的存储单元中的程序来执行根据下面描述的流程的处理。将顺序描述图6所示的流程图的每个步骤的处理。
(步骤S101)
首先,在步骤S101中,耳机的模式控制单元105接收由麦克风(外部麦克风、口部麦克风、内部麦克风)获取的声音信息。
(步骤S102)
接下来,在步骤S102中,耳机的模式控制单元105基于输入声音执行自身发声检测处理。
如前所述,耳机的模式控制单元105分析由多个麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音,以识别声源位置。在声源位置是佩戴耳机的用户的嘴部的情况下,判定用户已经说话。
(步骤S103)
接下来,耳机的模式控制单元105在步骤S103中判定佩戴耳机的用户是否已经说话,并且当判定用户已经说话时,处理进行到步骤S104。
当判定用户没有说话时,处理返回到开始,并且继续正常模式。
(步骤S104和S105)
当在步骤S103中判定戴着耳机的用户已经说话时,执行步骤S104和S105的处理。
在步骤S104和S105中,耳机的模式控制单元105分析由多个麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音,以判定外部声音(环境声音)的水平。
具体地,判定外部声音(环境声音)的水平是否超过或不大于预设阈值音量(例如,80dbA)。
当外部声音(环境声音)的水平超过预设阈值音量(例如,80dbA)时,处理进行到步骤S107,并且当外部声音(环境声音)的水平等于或低于预设阈值音量(例如,80dbA)时,处理进行到步骤S106。
(步骤S106)
当在步骤S105中判定外部声音(环境声音)的水平等于或低于预设阈值音量(例如,80dbA)时,执行步骤S106的处理。
在步骤S106中,耳机的模式控制单元105执行转换到第一会话模式(针对低环境声音水平)的处理。
如上所述,第一会话模式(针对低环境声音水平)是当环境声音水平不大于阈值(例如,80dBA)并且环境相对安静时设置的模式。
在第一会话模式(针对低环境声音水平)中,耳机的模式控制单元105通过扬声器一起输出由再现装置20再现的声音和外部声音(环境声音)。
如上所述,在“第一会话模式(针对低环境声音水平)”存在两种类型的外部声音输出模式:环境声音模式-正常(ASM正常)模式和语音模式。
在ASM正常模式下,由安装到耳机10的多个麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音通过扬声器输出而不改变。
在语音模式中,执行用于从由麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
(步骤S107)
另一方面,当在步骤S105中判定外部声音(环境声音)的水平超过预设阈值音量(例如,80dbA)时,执行步骤S107的处理。
在步骤S107中,耳机的模式控制单元105执行转换到第二会话模式(针对高环境声音水平)的处理。
如上所述,第二会话模式(针对高环境声音水平)是当环境声音水平超过阈值(例如,80dBA)并且环境相对嘈杂时设置的模式。
在第二会话模式(针对高环境声音水平)中,耳机的模式控制单元105通过扬声器一起输出由再现装置20再现的声音和外部声音(环境声音)。
如上所述,在“第二会话模式(针对高环境声音水平)”中存在三种类型的外部声音输出模式:语音模式、波束成形模式和语音+波束成形模式。
在语音模式中,执行用于从由麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器输出处理后的信号。
在波束形成模式中,执行用于选择和强调来自佩戴耳机的用户的前方的声音的信号处理,并且通过扬声器输出处理后的信号。
在语音+波束形成模式中,执行语音模式中的信号处理和波束形成模式中的信号处理,并且通过扬声器输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
(步骤S108)
在步骤S106或步骤S107中转换到第一会话模式(针对低环境声音水平)或第二会话模式(针对高环境声音水平)之后,模式控制单元105执行步骤S108的处理。
在步骤S108中,模式控制单元105判定是否检测到满足从作为当前模式的会话模式切换到正常模式的条件或者满足从作为当前模式的会话模式切换到紧急模式的条件的事件的发生。
当在步骤S108中判定检测到满足从作为当前模式的会话模式转换到正常模式的条件的事件发生时,模式控制单元转换到初始状态,即,开始时的正常模式。
另外,当在步骤S108中判定检测到满足从作为当前模式的会话模式转换到紧急模式的条件的事件发生时,处理进行到步骤S109,其中模式控制单元转换到紧急模式。
另一方面,当在步骤S108中没有检测到满足用于转换到正常模式的条件或用于转换到紧急模式的条件的事件发生时,处理返回到步骤S104,并且重复步骤S104和后续步骤的处理。
注意,满足从会话模式转换到正常模式的条件的事件是上面参照图4描述的步骤S22中的事件,并且是以下事件中的任何一个。
(1)自身发声结束检测
(2)两点触摸
(3)诸如再现开始的用户操作
当检测到上述事件(1)至(3)中的任何一个时,模式控制单元105在开始时转换到初始状态,即,正常模式。
此外,满足从会话模式转换到紧急模式的条件的事件是上面参照图4描述的步骤S32的事件,并且是下面的事件。
(1)用户的表面触摸的检测
当基于对触摸传感器阵列101的输出的分析检测到在设置会话模式的同时用户触摸耳机的几乎整个外表面时,模式控制单元105执行从(b)会话模式向(c)紧急模式转换的处理。
[4-2.(处理示例2)在正常模式下,接收来自触摸传感器阵列的传感器检测信息并且执行模式转换的情况下的处理示例]
接下来,将参照图7中的流程图描述(处理示例2),其是在正常模式中,接收来自触摸传感器阵列的传感器检测信息并且执行模式转换的情况下的处理示例。
将顺序描述图7所示的流程图的每个步骤的处理。
(步骤S201)
首先,在步骤S201中,耳机的模式控制单元105接收来自触摸传感器阵列101的传感器检测信息。
如先前参照图3所述,触摸传感器阵列101具有大量小触摸传感器的阵列,并且每个触摸传感器单独地输出检测值。也就是说,检测到用户触摸耳机的外表面,并且进一步地,可以通过分析构成触摸传感器阵列101的大量触摸传感器的输出来识别用户用他/她的手触摸耳机的外表面的方式。
例如,将能够识别如参照图3(a)、(b1)和(b2)所述的表面触摸、一点触摸、两点触摸等的传感器输出值输入到模式控制单元105。
(步骤S202)
接下来,在步骤S202中,模式控制单元105基于传感器检测信息识别没有触摸、表面触摸、一点触摸和两点触摸中的哪个事件发生。
(步骤S203)
首先,在步骤S203中,模式控制单元105基于传感器检测信息识别是否没有触摸或存在触摸(表面触摸、一点触摸或两点触摸)。
当获得表示没有触摸的识别结果时,处理返回到步骤S201,并且继续传感器检测信息的输入。
另一方面,当获得指示存在触摸的识别结果时,处理进行到步骤S204。
(步骤S204)
当在步骤S203中获得表示存在触摸的识别结果时,模式控制单元105在步骤S204中判定触摸的类型是否是表面触摸。
当判定触摸的类型是表面触摸时,处理进行到步骤S221。
另一方面,当判定触摸的类型不是表面触摸时,处理进行到步骤S205。
(步骤S205)
当在步骤S204中判定触摸的类型不是表面触摸时,处理进行到步骤S205。
在步骤S205中,模式控制单元105判定触摸的类型是一点触摸还是两点触摸。
当触摸的类型被判定为一点触摸时,处理进行到步骤S206。
另一方面,当判定触摸的类型是两点触摸时,处理进行到步骤S207。
(步骤S206)
当判定触摸的类型是一点触摸时,处理进行到步骤S206,在该步骤中执行与一点触摸预先相关联的再现控制。
如先前参考图4所述,在正常模式下,可以使用单点触摸作为开始再现或执行跳过操作的指令,并且在步骤S106中,与单点触摸相关联的再现控制处理被执行。
(步骤S207)
另一方面,当在步骤S205中判定触摸的类型是两点触摸时,处理进行到步骤S207。
如先前参照图4所述,两点触摸是满足用于转换到会话模式的条件的事件。
在这种情况下,耳机的模式控制单元105分析由多个麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音,以判定外部声音(环境声音)的水平。
具体地,判定外部声音(环境声音)的水平是否超过或不大于预设阈值音量(例如,80dbA)。
(步骤S208)
步骤S208是判定步骤。当在步骤S207中分析的外部声音(环境声音)的水平超过预设阈值音量(例如,80dbA)时,处理进入步骤S210,并且当外部声音(环境声音)的水平等于或低于预设阈值音量(例如,80dbA)时,处理进入步骤S209。
(步骤S209)
当在步骤S208中判定外部声音(环境声音)的水平等于或低于预设阈值音量(例如,80dbA)时,执行步骤S209的处理。
在步骤S209中,耳机的模式控制单元105执行转换到第一会话模式(针对低环境声音水平)的处理。
如上所述,第一会话模式(针对低环境声音水平)是当环境声音水平不大于阈值(例如,80dBA)并且环境相对安静时设置的模式。
在第一会话模式(针对低环境声音水平)中,耳机的模式控制单元105通过扬声器一起输出由再现装置20再现的声音和外部声音(环境声音)。
如上所述,在“第一会话模式(针对低环境声音水平)”中存在两种类型的外部声音输出模式:环境声音模式-正常(ASM正常)模式和语音模式。
在ASM正常模式下,由安装到耳机10的多个麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音通过扬声器输出而不改变。
在语音模式中,执行用于从由麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
(步骤S210)
另一方面,当在步骤S208中判定外部声音(环境声音)的水平超过预设阈值音量(例如,80dbA)时,执行步骤S210的处理。
在步骤S210中,耳机的模式控制单元105执行转换到第二会话模式(针对高环境声音水平)的处理。
如上所述,第二会话模式(针对高环境声音水平)是当环境声音水平超过阈值(例如,80dBA)并且环境相对嘈杂时设置的模式。
在第二会话模式(针对高环境声音水平)中,耳机的模式控制单元105通过扬声器一起输出由再现装置20再现的声音和外部声音(环境声音)。
如上所述,在“第二会话模式(针对高环境声音水平)”中存在三种类型的外部声音输出模式:语音模式、波束成形模式和语音+波束成形模式。
在语音模式中,执行用于从由麦克风(外部麦克风、嘴麦克风、内部麦克风)获取的声音中提取和强调接近人声频率的声音信号的信号处理,并且通过扬声器输出处理后的信号。
在波束形成模式中,执行用于选择和强调来自佩戴耳机的用户的前方的声音的信号处理,并且通过扬声器输出处理后的信号。
在语音+波束形成模式中,执行语音模式中的信号处理和波束形成模式中的信号处理,并且通过扬声器输出处理后的信号。
用户可以预先设置输出外部声音的模式,并且可以根据需要改变。
(步骤S211)
在步骤S209或步骤S210中转换到第一会话模式(针对低环境声音水平)或第二会话模式(针对高环境声音水平)之后,模式控制单元105执行步骤S211的处理。
在步骤S211中,模式控制单元105判定是否检测到满足从作为当前模式的会话模式转换到正常模式的条件或者满足从作为当前模式的会话模式转换到紧急模式的条件的事件的发生。
当在步骤S211中判定检测到满足从作为当前模式的会话模式转换到正常模式的条件的事件发生时,模式控制单元转换到初始状态,即,开始时的正常模式。
另外,当在步骤S211中判定检测到满足从作为当前模式的会话模式转换到紧急模式的条件的事件发生时,模式控制单元转换到紧急模式。紧急模式与流程图中的步骤S204的判定中检测到表面触摸的情况下设置的步骤S221所示的紧急模式相同,并且在转换到紧急模式后,执行步骤S222的处理。
注意,当在步骤S211中没有检测到满足用于转换到正常模式的条件或用于转换到紧急模式的条件的事件的发生时,处理返回到步骤S207,并且重复步骤S207和后续步骤的处理。
注意,满足从会话模式转换到正常模式的条件的事件是上面参照图4描述的步骤S22中的事件,并且是以下事件中的任何一个。
(1)自身发声结束检测
(2)两点触摸
(3)诸如再现开始的用户操作
当检测到上述事件(1)至(3)中的任何一个时,模式控制单元105在开始时转换到初始状态,即,正常模式。
此外,满足从会话模式转换到紧急模式的条件的事件是上面参照图4描述的步骤S32的事件,并且是下面的事件。
(1)用户的表面触摸的检测
当基于对触摸传感器阵列101的输出的分析检测到在设置会话模式的同时用户触摸耳机的几乎整个外表面时,模式控制单元105执行从(b)会话模式向(c)紧急模式转换的处理。
(步骤S221和S222)
最后,将描述步骤S221和S222的处理,其是在转换到紧急模式之后的处理。
当在步骤S204中判定触摸的类型是表面触摸时,模式控制单元105在步骤S205中执行用于从正常模式转换到紧急模式的模式转换处理。
此外,当在步骤S211中检测到满足从会话模式转换到紧急模式的条件的事件时,即(1)检测到用户的表面触摸时,模式控制单元105在步骤S211中执行用于从会话模式转换到紧急模式的模式转换处理。
在步骤S221中模式转换到紧急模式之后,执行步骤S222的处理。
在步骤S222中,判定是否发生了满足从作为当前模式的紧急模式转换到另一模式(正常模式、会话模式)的条件的事件。
当在步骤S222中判定检测到满足从紧急模式转换到正常模式的条件的事件发生时,模式控制单元转换到初始状态,即,开始时的正常模式。
另外,当在步骤S222中判定检测到满足用于从紧急模式转换到会话模式的条件的事件的发生时,处理进行到步骤S207。
另外,当在步骤S222中判定没有检测到满足从作为当前模式的紧急模式转换到另一模式(正常模式、会话模式)的条件的事件的发生时,处理返回到步骤S221,并且紧急模式继续。
注意,满足从紧急模式转换到正常模式的条件的事件是上面参照图4描述的步骤S12中的事件,并且是下面的事件。
(1)用户对表面触摸的释放的检测
当基于对触摸传感器阵列101的输出的分析检测到在设置紧急模式的同时用户释放了耳机的外表面上的表面触摸时,模式控制单元105执行从(c)紧急模式转换到(a)正常模式的处理。
此外,满足从紧急模式转换到会话模式的条件的事件是上面参照图4描述的步骤S31的事件,并且是以下事件中的任何一个。
(1)自身发声检测
(2)两点触摸
当模式控制单元105检测到事件(1)或(2)时,处理进入步骤S207。也就是说,模式控制单元转换到会话模式。
[5.模式控制单元执行的模式转换的概述]
接下来,将参照图8描述由根据本公开的耳机10的模式控制单元105执行的模式切换处理的概述。
图8是示出总结根据本公开的耳机10的(A)当前模式和基于在每个当前模式中发生的事件的模式转换的表格的图。具体地,图8示出了以下对应数据作为列表:
(A)当前模式,
(B)基于麦克风输入信息的模式转换,以及
(C)基于触摸传感器检测信息的模式转换。
(A)当前模式表示以下四种模式。
(1)正常模式
(2)紧急模式
(3)第一会话模式(针对低环境声音水平)
(4)第二会话模式(针对高环境声音水平)
在下文中,将描述在当前模式是上述(1)至(4)中的每一个的情况下(B)基于麦克风输入信息的模式转换和(C)基于触摸传感器检测信息的模式转换。
[5-1.在当前模式为正常模式情况下的模式转换]
首先,将描述在当前模式是正常模式的情况下的模式转换。
在当前模式是正常模式的情况下,模式控制单元105如下执行“(B)基于麦克风输入信息的模式转换”。
(p1)未检测到自身发声的情况=无处理(正常模式继续)
(p2)检测到自身发声,并且环境声音水平等于或低于阈值(例如,80dBA)的情况=转换到第一会话模式(针对低环境声音水平)
(p3)检测到自身发声,并且环境声音的水平超过阈值(例如80dBA)的情况=转换至第二会话模式(针对高环境声音水平)
此外,在当前模式是正常模式的情况下,模式控制单元105如下执行“(C)基于触摸传感器检测信息的模式转换”。
(q1)检测到表面接触的情况=转换到紧急模式
(q2)检测到表面触摸释放的情况=无处理(继续正常模式)
(q3)检测到一点触摸的情况=执行规定的再现控制(再现开始等)(正常模式继续)
(q4)检测到两点触摸的情况=转换到会话模式
注意,在(q4)转换到上述会话模式期间,根据环境声音水平执行转换到不同会话模式的处理。在环境声音水平不大于阈值(例如,80dBA)的情况下,模式控制单元切换到第一会话模式(针对低环境声音水平),并且在环境声音水平超过阈值(例如80dBA)的情况下,模式控制单元切换到第二会话模式(针对高环境声音水平)。
[5-2.在当前模式为紧急模式的情况下的模式转换]
接下来,将描述当前模式是紧急模式的情况下的模式转换。
在当前模式是紧急模式的情况下,模式控制单元105如下执行“(B)基于麦克风输入信息的模式转换”。
(p1)未检测到自身发声的情况=无处理(紧急模式继续)
(p2)检测到自身发声,并且环境声音水平等于或低于阈值(例如,80dBA)的情况=转换到第一会话模式(针对低环境声音水平)
(p3)检测到自身发声,并且环境声音水平超过阈值(例如80dBA)的情况=转换至第二会话模式(针对高环境声音水平)
此外,在当前模式是紧急模式的情况下,模式控制单元105如下执行“(C)基于触摸传感器检测信息的模式转换”。
(q1)检测到表面接触的情况=无处理(紧急模式继续)
(q2)检测到表面触摸释放的情况=转换到正常模式
(q3)检测到一点触摸的情况=无处理(紧急模式继续)
(q4)检测到两点触摸的情况=转换到会话模式
注意,在(q4)转换到上述会话模式期间,根据环境声音水平执行转换到不同会话模式的处理。在环境声音水平不大于阈值(例如,80dBA)的情况下,模式控制单元转换到第一会话模式(针对低环境声音水平),并且在环境声音水平超过阈值(例如80dBA)的情况下,模式控制单元转换到第二会话模式(针对高环境声音水平)。
[5-3.当前模式为第一会话模式的情况下的模式转换(针对低环境声音水平)]
接下来,将描述在当前模式是第一会话模式(针对低环境声音水平)的情况下的模式转换。
在当前模式是第一会话模式(针对低环境声音水平)的情况下,模式控制单元105如下执行“(B)基于麦克风输入信息的模式转换”。
(p1)没有检测到自身发声的情况=在预设阈值时间(例如,30秒)或更长时间内没有检测到用户发声的情况下转换到正常模式
(p2)检测到自身发声,并且环境声音水平等于或低于阈值(例如,80dBA)的情况=无处理(第一会话模式(针对低环境声音水平)继续)
(p3)检测到自身发声,并且环境声音水平超过阈值(例如80dBA)的情况=转换至第二会话模式(针对高环境声音水平)
此外,在当前模式是第一会话模式(针对低环境声音水平)的情况下,模式控制单元105如下执行“(C)基于触摸传感器检测信息的模式转换”。
(q1)检测到表面接触的情况=转换到紧急模式
(q2)检测到表面触摸释放的情况=无处理(第一会话模式(针对低环境声音水平)继续)
(q3)检测到一点触摸的情况=执行规定的再现控制(转换到正常模式)
(q4)检测到两点触摸的情况=转换到正常模式
[5-4.当前模式为第二会话模式(针对高环境声音水平)的情况下的模式转换]
接下来,将描述在当前模式是第二会话模式(针对高环境声音水平)的情况下的模式转换。
在当前模式是第二会话模式(针对高环境声音水平)的情况下,模式控制单元105如下执行“(B)基于麦克风输入信息的模式转换”。
(p1)没有检测到自身发声的情况=在预设阈值时间(例如,30秒)或更长时间内没有检测到用户发声的情况下转换到正常模式
(p2)检测到自身发声,并且环境声音水平等于或低于阈值(例如,80dBA)的情况=转换到第一会话模式(低环境声音水平)
(p3)检测到自身发声,并且环境声音水平超过阈值(例如,80dBA)的情况=不处理(第二会话模式(针对高环境声音水平)继续)
此外,在当前模式是第二会话模式(针对高环境声音水平)的情况下,模式控制单元105如下执行“(C)基于触摸传感器检测信息的模式转换”。
(q1)检测到表面接触的情况=转换到紧急模式
(q2)检测到表面触摸释放的情况=无处理(第二会话模式(针对高环境声音水平)继续)
(q3)检测到一点触摸的情况=执行规定的再现控制(切换到正常模式)
(q4)检测到两点触摸的情况=转换到正常模式
根据本公开的耳机10的模式控制单元105执行的模式转换处理可以概括为如图8所示。
请注意,该模式转换处理示例是一个示例,并且其他设置也是可能的。
例如,虽然在图8所示的模式转换处理示例中,来自触摸传感器阵列101的传感器检测值被识别为一点触摸或两点触摸,并且将一点触摸用于正常模式下的再现控制,诸如可以不提供这种再现控制。具体地,在检测到除了表面触摸之外的局部区域上的触摸(可以是一点触摸或两点触摸)的情况下,可以执行转换到会话模式或从会话模式转换到正常模式。
图9示出了如上所述的模式转换设置的示例。
在图9所示的模式转换数据中,检测到(q3)点触摸时的模式转换与检测到(q4)两点触摸时的模式转换具有相同的设置。
以这种方式,在检测到一点触摸的情况下,也可以执行类似于两点触摸的模式切换。
进一步地,对于两点以上的触摸,诸如三点触摸,也可以执行与两点触摸类似的处理。
替代地,可以识别一点触摸、两点触摸、三点触摸等中的每一个,并且可以执行对于每次触摸不同的模式转换。
[6.耳机硬件配置示例】
接下来,将描述上述实施例中描述的耳机的硬件的配置示例。
图10所示的硬件是上述实施例中描述的耳机的硬件配置的示例。
中央处理单元(CPU)301用作根据存储在只读存储器(ROM)302或存储单元308中的程序执行各种处理的控制单元或数据处理单元。例如,CPU 301根据上述实施例中描述的顺序执行处理。
具体地,执行上述模式控制单元105的处理等。
随机存取存储器(RAM)303存储由CPU 301执行的程序、数据等。CPU 301、ROM 302和RAM 303通过总线304互连。
CPU 301经由总线304连接到输入/输出接口305。输入/输出接口305连接到包括麦克风、传感器、操作单元等的输入单元306和包括扬声器的输出单元307等。CPU 301响应于从输入单元306输入的输入信息执行各种处理,并将处理结果输出到输出单元307。
具体地,CPU 301将取决于模式转换的输出声音输出到扬声器。
连接到输入/输出接口305的存储单元308存储由CPU 301执行的程序和各种数据。通信单元309用作Wi-Fi通信、蓝牙(注册商标)(BT)通信以及经由诸如因特网或局域网的网络的其他数据通信的发送/接收单元,并且与外部装置进行通信.
[7.本公开的配置概述]
以上已经结合具体实施例对本公开的实施例进行了详细描述。然而,显然本领域技术人员可以在不脱离本公开的范围的情况下修改或替换实施例。也就是说,本发明已经以说明性模式的形式公开,并且不应被解释为限制性的。为了判定本公开的主旨,应当考虑权利要求的范围。
注意,本说明书中描述的技术可以配置如下。
(1)一种耳机,包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
(2)根据(1)所述的耳机,还包括
触摸传感器阵列,其能够识别耳机的外表面上的触摸操作的类型,
其中,所述模式控制单元在通过分析所述触摸传感器阵列的输出而检测到规定触摸类型的触摸操作时,执行用于转换到所述会话模式的模式控制。
(3)根据(2)所述的耳机,其中,所述规定触摸类型的触摸操作是在所述耳机的外表面上的两点触摸或一点触摸。
(4)根据(1)所述的耳机,
其中,所述模式控制单元通过分析所述麦克风的输入声音来判定所述外部声音的水平是否超过规定水平,并且根据判定结果来执行不同的控制。
(5)根据(4)所述的耳机,
其中,所述模式控制单元在通过分析所述麦克风的输入声音而判定所述外部声音的水平等于或小于所述规定水平时,执行用于设置以下模式(a)或以下模式(b)的模式控制:
(a)环境声音模式-正常ASM正常模式,其中由麦克风获取的声音被输出到扬声器,
(b)语音模式,其中通过从由麦克风获取的声音中提取并强调人声频率附近的声音信号而获得的处理信号被输出到扬声器。
(6)根据(4)所述的耳机,
其中,所述模式控制单元在通过分析所述麦克风的输入声音而判定所述外部声音的水平超过所述规定水平时,执行用于设置以下模式(a)或以下模式(b)或者其中所述模式(a)和所述模式(b)混合的模式的模式控制:
(a)语音模式,其中输出通过从由麦克风获取的声音中提取并强调人声频率附近的声音信号而获得的处理信号,
(b)波束形成模式,其中通过选择并强调来自佩戴所述耳机的所述用户的前方的声音而获得的处理信号被输出到所述扬声器。
(7)根据(1)所述的耳机,其中所述麦克风包括设置在所述耳机的不同位置处的多个麦克风。
(8)根据(7)所述的耳机,其中所述多个麦克风包括位于佩戴所述耳机的所述用户的嘴部附近的嘴部麦克风。
(9)根据(1)所述的耳机,
其中,所述模式控制单元执行用于在从所述扬声器输出由麦克风获取的外部声音的会话模式和不从所述扬声器输出由麦克风获取的外部声音或者输出低水平的外部声音的正常模式之间切换的模式切换处理,以及
所述模式控制单元在设置正常模式的同时通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到会话模式的模式控制。
(10)根据(9)所述的耳机,
其中,所述模式控制单元在设置所述会话模式的同时在规定时间内没有检测到佩戴所述耳机的所述用户的发声时,执行用于转换到所述正常模式的模式控制。
(11)根据(1)所述的耳机,还包括
触摸传感器阵列,其能够识别所述耳机的外表面上的触摸操作的类型,
其中,所述模式控制单元在通过分析所述触摸传感器阵列的输出而检测到规定触摸类型的触摸操作时,执行转换到从所述扬声器输出由所述麦克风获取的所述外部声音的紧急模式的模式控制。
(12)根据(11)所述的耳机,其中所述规定触摸类型的触摸操作是在所述耳机的外表面上的表面触摸。
(13)根据(11)所述的耳机,
其中,所述模式控制单元在设置紧急模式的同时通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到会话模式的模式控制。
(14)一种用于执行耳机的扬声器输出声音的控制的声学信号处理方法,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
(15)一种使耳机执行扬声器输出声音的控制的程序,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
在所述模式控制单元通过分析所述麦克风的输入声音而检测到佩戴耳机的用户的发声时,所述程序使所述模式控制单元执行用于转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
此外,说明书中描述的一系列处理可以通过硬件、软件或通过组合硬件和软件获得的配置来执行。当处理由软件执行时,其中记录了处理序列的程序可以通过安装在内置于计算机专用硬件中的存储器中来执行,或者通过安装在能够执行各种处理的通用计算机中来执行.例如,程序可以预先记录在记录介质中。该程序可以从记录介质安装在计算机中,或者可以通过诸如局域网(LAN)或因特网的网络接收程序以安装在诸如内置硬盘的记录介质中。
需要注意的是,说明书中描述的各种处理不一定按照说明书中描述的顺序依次执行,并且可以根据执行处理的装置的处理能力或根据需要同时或单独执行。此外,本说明书中的系统是指多个装置的逻辑集合,并且各个装置不限于容纳在单个外壳内。
工业适用性
如上所述,根据本公开的一个实施例的配置,实现了一种能够进行模式控制以转换到外部声音从扬声器输出的会话模式,而无需执行麻烦的用户操作的耳机。
具体地,例如,耳机包括:麦克风,其捕获作为耳机周围的环境声音的外部声音;以及模式控制单元,其根据模式控制耳机的扬声器的输出声音。模式控制单元在通过分析麦克风的输入声音检测到佩戴耳机的用户的发声时,转换为从扬声器输出外部声音的会话模式。此外,模式控制单元在通过分析能够识别耳机的外表面上的触摸操作的类型的触摸传感器阵列的输出检测到规定的触摸类型的触摸操作时也转换到会话模式。
通过这种配置,实现了一种耳机,该耳机能够进行模式控制以转换到从扬声器输出外部声音的会话模式,而无需执行麻烦的用户操作。
附图标记列表
1 用户
10 耳机
11 外部麦克风
12 嘴部麦克风
13 操作单元
14 扬声器
15 内部麦克风
20 再现装置(用户终端)
101 触摸传感器阵列
102a 外部麦克风
102b 内部麦克风
102c 嘴部麦克风
103 操作单元
104 通信单元
105 模式控制单元
106 扬声器
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入单元
307 输出单元
308 存储单元
309 通信单元
Claims (15)
1.一种耳机,包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
2.根据权利要求1所述的耳机,还包括
触摸传感器阵列,其能够识别耳机的外表面上的触摸操作的类型,
其中,所述模式控制单元在通过分析所述触摸传感器阵列的输出而检测到规定触摸类型的触摸操作时,执行用于转换到所述会话模式的模式控制。
3.根据权利要求2所述的耳机,其中,所述规定触摸类型的触摸操作是在所述耳机的外表面上的两点触摸或一点触摸。
4.根据权利要求1所述的耳机,
其中,所述模式控制单元通过分析所述麦克风的输入声音来判定所述外部声音的水平是否超过规定水平,并且根据判定结果来执行不同的控制。
5.根据权利要求4所述的耳机,
其中,所述模式控制单元在通过分析所述麦克风的输入声音而判定所述外部声音的水平等于或小于所述规定水平时,执行用于设置以下模式(a)或以下模式(b)的模式控制:
(a)环境声音模式-正常ASM正常模式,其中由麦克风获取的声音被输出到扬声器,
(b)语音模式,其中通过从由麦克风获取的声音中提取并强调人声频率附近的声音信号而获得的处理信号被输出到扬声器。
6.根据权利要求4所述的耳机,
其中,所述模式控制单元在通过分析所述麦克风的输入声音而判定所述外部声音的水平超过所述规定水平时,执行用于设置以下模式(a)或以下模式(b)或者其中所述模式(a)和所述模式(b)混合的模式的模式控制:
(a)语音模式,其中输出通过从由麦克风获取的声音中提取并强调人声频率附近的声音信号而获得的处理信号,
(b)波束形成模式,其中通过选择并强调来自佩戴所述耳机的所述用户的前方的声音而获得的处理信号被输出到所述扬声器。
7.根据权利要求1所述的耳机,其中所述麦克风包括设置在所述耳机的不同位置处的多个麦克风。
8.根据权利要求7所述的耳机,其中所述多个麦克风包括位于佩戴所述耳机的所述用户的嘴部附近的嘴部麦克风。
9.根据权利要求1所述的耳机,
其中,所述模式控制单元执行用于在从所述扬声器输出由麦克风获取的外部声音的会话模式和不从所述扬声器输出由麦克风获取的外部声音或者输出低水平的外部声音的正常模式之间切换的模式切换处理,以及
所述模式控制单元在设置正常模式的同时通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到会话模式的模式控制。
10.根据权利要求9所述的耳机,
其中,所述模式控制单元在设置所述会话模式的同时在规定时间内没有检测到佩戴所述耳机的所述用户的发声时,执行用于转换到所述正常模式的模式控制。
11.根据权利要求1所述的耳机,还包括
触摸传感器阵列,其能够识别所述耳机的外表面上的触摸操作的类型,
其中,所述模式控制单元在通过分析所述触摸传感器阵列的输出而检测到规定触摸类型的触摸操作时,执行转换到从所述扬声器输出由所述麦克风获取的所述外部声音的紧急模式的模式控制。
12.根据权利要求11所述的耳机,其中所述规定触摸类型的触摸操作是在所述耳机的外表面上的表面触摸。
13.根据权利要求11所述的耳机,
其中,所述模式控制单元在设置紧急模式的同时通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行用于转换到会话模式的模式控制。
14.一种用于执行耳机的扬声器输出声音的控制的声学信号处理方法,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
其中,所述模式控制单元在通过分析麦克风的输入声音而检测到佩戴耳机的用户的发声时,执行转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
15.一种使耳机执行扬声器输出声音的控制的程序,
所述耳机包括:
麦克风,其捕获作为耳机周围的环境声音的外部声音;以及
模式控制单元,其根据模式控制所述耳机的扬声器的输出声音,
在所述模式控制单元通过分析所述麦克风的输入声音而检测到佩戴耳机的用户的发声时,所述程序使所述模式控制单元执行用于转换到从扬声器输出由麦克风捕获的外部声音的会话模式的模式控制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019002439 | 2019-01-10 | ||
JP2019-002439 | 2019-01-10 | ||
PCT/JP2019/050493 WO2020145122A1 (ja) | 2019-01-10 | 2019-12-24 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113261305A true CN113261305A (zh) | 2021-08-13 |
Family
ID=71521280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980087674.0A Pending CN113261305A (zh) | 2019-01-10 | 2019-12-24 | 耳机、声学信号处理方法和程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220095039A1 (zh) |
EP (1) | EP3910963A4 (zh) |
JP (2) | JP7380597B2 (zh) |
CN (1) | CN113261305A (zh) |
WO (1) | WO2020145122A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113573195B (zh) * | 2021-07-27 | 2023-03-17 | 歌尔科技有限公司 | 蓝牙耳机的模式控制方法、设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150222977A1 (en) * | 2014-02-06 | 2015-08-06 | Sol Republic Inc. | Awareness intelligence headphone |
CN104871556A (zh) * | 2012-11-02 | 2015-08-26 | 伯斯有限公司 | 用于具有主动透听的anr耳机的用户界面 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5034730B2 (ja) | 2007-07-12 | 2012-09-26 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム |
JP5499633B2 (ja) * | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
US20130339859A1 (en) * | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
US9313572B2 (en) * | 2012-09-28 | 2016-04-12 | Apple Inc. | System and method of detecting a user's voice activity using an accelerometer |
US8798283B2 (en) * | 2012-11-02 | 2014-08-05 | Bose Corporation | Providing ambient naturalness in ANR headphones |
JP6330251B2 (ja) * | 2013-03-12 | 2018-05-30 | ヤマハ株式会社 | 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン |
US20140378083A1 (en) * | 2013-06-25 | 2014-12-25 | Plantronics, Inc. | Device Sensor Mode to Identify a User State |
US10720153B2 (en) * | 2013-12-13 | 2020-07-21 | Harman International Industries, Incorporated | Name-sensitive listening device |
JP2015173369A (ja) * | 2014-03-12 | 2015-10-01 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
EP3188495B1 (en) * | 2015-12-30 | 2020-11-18 | GN Audio A/S | A headset with hear-through mode |
EP4362010A3 (en) * | 2016-04-11 | 2024-06-19 | Sony Group Corporation | Headphone, reproduction control method, and program |
JP6964608B2 (ja) * | 2016-06-14 | 2021-11-10 | ドルビー ラボラトリーズ ライセンシング コーポレイション | メディア補償されたパススルーおよびモード切り換え |
US9877100B1 (en) * | 2016-08-29 | 2018-01-23 | Motorola Mobility Llc | Audio sensing to alert device user |
US10284939B2 (en) * | 2017-08-30 | 2019-05-07 | Harman International Industries, Incorporated | Headphones system |
-
2019
- 2019-12-24 JP JP2020565685A patent/JP7380597B2/ja active Active
- 2019-12-24 CN CN201980087674.0A patent/CN113261305A/zh active Pending
- 2019-12-24 EP EP19909235.4A patent/EP3910963A4/en active Pending
- 2019-12-24 US US17/420,446 patent/US20220095039A1/en active Pending
- 2019-12-24 WO PCT/JP2019/050493 patent/WO2020145122A1/ja unknown
-
2023
- 2023-11-02 JP JP2023188838A patent/JP2024001353A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104871556A (zh) * | 2012-11-02 | 2015-08-26 | 伯斯有限公司 | 用于具有主动透听的anr耳机的用户界面 |
US20150222977A1 (en) * | 2014-02-06 | 2015-08-06 | Sol Republic Inc. | Awareness intelligence headphone |
Also Published As
Publication number | Publication date |
---|---|
JP7380597B2 (ja) | 2023-11-15 |
US20220095039A1 (en) | 2022-03-24 |
EP3910963A4 (en) | 2022-02-23 |
WO2020145122A1 (ja) | 2020-07-16 |
EP3910963A1 (en) | 2021-11-17 |
JPWO2020145122A1 (ja) | 2021-11-18 |
JP2024001353A (ja) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9961444B2 (en) | Reproducing device, headphone and reproducing method | |
CN110493678B (zh) | 耳机的控制方法、装置、耳机和存储介质 | |
CN108370466B (zh) | 头戴式耳机、再现控制方法和程序 | |
US10171923B2 (en) | Binaural hearing system and method | |
EP1556857B1 (en) | Controlling an apparatus based on speech | |
KR101731714B1 (ko) | 음질 개선을 위한 방법 및 헤드셋 | |
CN111464905A (zh) | 基于智能穿戴设备的听力增强方法、系统和穿戴设备 | |
EP2426950B1 (en) | Noise suppression for sending voice with binaural microphones | |
CN110602594A (zh) | 具体环境声音提醒模式的耳机装置 | |
JP2007019898A (ja) | 携帯電話機 | |
US11070914B2 (en) | Controller and control method | |
CN113711308A (zh) | 风噪声检测系统和方法 | |
CN112822585A (zh) | 一种入耳式耳机的音频播放方法、装置及系统 | |
CN114125616A (zh) | 无线耳机的低功耗方法、装置、无线耳机及可读存储介质 | |
JP2024001353A (ja) | ヘッドホン、および音響信号処理方法、並びにプログラム | |
CN109511040B (zh) | 一种耳语放大方法、装置及耳机 | |
EP3072314B1 (en) | A method of operating a hearing system for conducting telephone calls and a corresponding hearing system | |
CN110806850A (zh) | 一种耳机及其自动音量调节控制模块与方法及存储介质 | |
CN112804608B (zh) | 带助听功能tws耳机的使用方法、系统、主机及存储介质 | |
CN112585993B (zh) | 声音信号处理系统和声音信号处理装置 | |
EP4294040A1 (en) | Earphone, acoustic control method, and program | |
JP2005229422A (ja) | 音声処理装置 | |
KR101697755B1 (ko) | 보청기, 이를 포함하는 시스템 및 이의 제어 방법 | |
JP2006311413A (ja) | 音声通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |