Nothing Special   »   [go: up one dir, main page]

CN110223711B - 基于麦克风信号的语音交互唤醒电子设备、方法和介质 - Google Patents

基于麦克风信号的语音交互唤醒电子设备、方法和介质 Download PDF

Info

Publication number
CN110223711B
CN110223711B CN201910475978.6A CN201910475978A CN110223711B CN 110223711 B CN110223711 B CN 110223711B CN 201910475978 A CN201910475978 A CN 201910475978A CN 110223711 B CN110223711 B CN 110223711B
Authority
CN
China
Prior art keywords
sound
voice
user
wind noise
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910475978.6A
Other languages
English (en)
Other versions
CN110223711A (zh
Inventor
喻纯
史元春
秦岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910475978.6A priority Critical patent/CN110223711B/zh
Publication of CN110223711A publication Critical patent/CN110223711A/zh
Priority to US17/616,091 priority patent/US20220319538A1/en
Priority to PCT/CN2020/092283 priority patent/WO2020244416A1/zh
Application granted granted Critical
Publication of CN110223711B publication Critical patent/CN110223711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。该交互方法适用于用户在携带智能电子设备时进行语音输入，操作自然且简单，简化了语音输入的步骤，降低交互负担和难度，使得交互更加自然。

Description

基于麦克风信号的语音交互唤醒电子设备、方法和介质
技术领域
本发明总的来说涉及语音输入领域，且更为具体地，涉及智能电子设备、语音输入触发方法。
背景技术
随着计算机技术的发展，语音识别算法日益成熟，语音输入因其在交互方式上的高自然性与有效性而正变得越来越重要。用户可以通过语音与移动设备(手机、手表等)进行交互，完成指令输入、信息查询、语音聊天等多种任务。
而在何时触发语音输入这一点上，现有的解决方案都有一些缺陷：
1.物理按键触发
按下(或按住)移动设备的某个(或某些)物理按键后，激活语音输入。
该方案的缺点是：需要物理按键；容易误触发；需要用户按键。
2.界面元素触发
点击(或按住)移动设备的屏幕上的界面元素(如图标)，激活语音输入。
该方案的缺点是：需要设备具备屏幕；触发元素占用屏幕内容；受限于软件UI限制，可能导致触发方式繁琐；容易误触发。
3.唤醒词(语音)检测
以某个特定词语(如产品昵称)为唤醒词，设备检测到对应的唤醒词后激活语音输入。
该方案的缺点是：隐私性和社会性较差；交互效率较低。
发明内容
鉴于上述情况，提出了本发明：
根据本发明的一个方面，提供了一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
优选的，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话，判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音；根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断使用的特征包括音量、频谱特征，能量分布等。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还可操作来通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指中的一种。
优选的，电子设备还可操作来：使用神经网络模型判断声音信号中是否包含用户说话的语音以及说话产生的气流撞击麦克风产生的风噪声音。
优选的，电子设备还可操作来识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括识别声音信号中是否包含用户说话的语音；响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；针对音素序列中的每个音素，确定该音素是否为吐气音素，即：用户发声该音素时有气流从嘴中出来；将声音信号按照固定窗口长度切分为声音片段序列；利用频率特征，识别每个声音片段是否包含风噪声；将语音音素序列中的吐气音素和声音片段序列中识别为风噪声的片段做比较，同时将音素序列中的非吐气音素和风噪声片段作比较，当吐气音素与风噪声片段重合度高于一定阈值，且非吐气音素与风噪声片段重合度低于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
优选的，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：识别声音信号中包含风噪的声音特征；响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度；通过基于高斯混合贝叶斯模型分析风噪特征与音素序列的一致性，重合度高于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
根据本发明的另一方面，提供了一种由配备有麦克风的电子设备执行的语音输入触发方法，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行所述语音输入触发方法，所述语音输入触发方法包括：分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音；以及响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
根据本发明的另一方面，提供了一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行语音交互唤醒方法，所述语音交互唤醒方法包括：分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音；响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
根据本发明的另一方面，提供了一种内置有多个麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：分析多个麦克风采集的声音信号；判断用户是否正在近距离对着电子设备说话；响应于确定用户正在近距离对着电子设备说话，将麦克风采集的声音信号作为用户的语音输入处理。
优选的，多个麦克风构成麦克风阵列系统。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：利用到达阵列上各传声器的声音信号之间的时间差计算用户嘴部相对于麦克风阵列的位置；当用户嘴部距离电子设备的距离小于一定阈值时，确定用户正在近距离对着电子设备说话。
优选的，所述距离阈值为10厘米。
优选的，所述将该声音信号作为用户的语音输入做处理包括：根据说话人嘴部和电子设备之间距离的不同，对用户的语音输入做不同处理。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：判断是否至少有一个麦克风采集的声音信号中包含用户说话的语音信号；响应于确定至少有一个麦克风采集的声音信号中包含用户说话的语音信号，从麦克风采集的声音信号中提取语音信号；判断从不同麦克风采集的声音信号中提取的语音信号的幅度差异是否超过预定阈值时；响应于确定幅度差值超过预定阈值，确认用户正在近距离对着电子设备说话。
优选的，电子设备还可操作来：定义多个麦克风中，语音信号幅度最大的麦克风为响应麦克风；根据响应麦克风的不同，对用户的语音输入做不同的处理。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：利用提前训练的机器学习模型，处理多个麦克风的声音信号，判断用户是否正在近距离对着电子设备说话。
优选的，用户说话的语音包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音。
优选的，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话；判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音；以及根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断的特征包括音量、频谱特征，能量分布等。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还可操作来通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指、平板电脑中的一种。
根据本发明的另一方面，一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：判断麦克风采集的声音信号中是否包含语音信号；响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
优选的，所述低声说话包括声带不发声的低声说话和声带发声的低声说话两种方式。
优选的，电子设备还操作来：响应于确定用户在做低声说话；判断用户在做声带不发声的低声说话还是在做声带发声的低声说话；根据判断的结果不同，对声音信号做不同的处理。
优选的，不同的处理为激活不同的应用程序来响应语音输入。
优选的，判断用户是否在做低声说话时使用的信号特征包括音量、频谱特征，能量分布。
优选的，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话时使用的信号特征包括音量、频谱特征，能量分布。
优选的，所述判断用户是否在做低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户是否在低声说话。
优选的，所述机器学习模型为卷积神经网络模型或者循环神经网络模型。
优选的，所述判断用户在做声带不发声的低声说话还是在做声带发声的低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话。
优选的，所述机器学习模型为卷积神经网络模型或者循环神经网络模型。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指等。
根据本发明的一个方面，一种内置有麦克风的智能电子设备，所述智能电子便携设备如下操作与用户进行基于语音输入的交互：处理麦克风捕获的声音信号判断声音信号中是否存在语音信号；响应于确认声音信号中存在语音信号，基于麦克风采集的声音信号进一步判断智能电子设备与用户的嘴部距离是否小于预定阈值；响应于确定电子设备与用户嘴部距离小于预定阈值，将麦克风采集的声音信号作为语音输入处理。
优选的，预定阈值为3厘米。
优选的，预定阈值为1厘米。
优选的，电子设备的麦克风处还有接近光传感器，通过接近光传感器判断是否有物体接近电子设备。
优选的，电子设备的麦克风处还有距离传感器，通过距离传感器直接测量电子设备与用户嘴部的距离。
优选的，通过麦克风收集的声音信号特征来判断智能电子设备与用户的嘴部距离是否小于预定阈值。
优选的，所述语音信号包括下面各项之一或者组合：用户以正常音量说话发出的声音；用户低声说话发出的声音；用户声带不发声说话产生的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话；判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音；以及根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断中使用的特征包括音量、频谱特征，能量分布等。
优选的，判断智能电子设备与用户的嘴部距离是否小于预定阈值时使用的特征包括声音信号中的时域特征和频域特征，包括音量、频谱能量。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：从麦克风采集到的声音信号信号通过滤波器提取语音信号；判断所述语音信号的能量是否超过一定阈值；响应于语音信号强度超过一定阈值，判断电子设备与用户嘴部距离小于预定阈值。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：利用深度神经网络模型处理麦克风采集的数据，判断智能电子设备与用户的嘴部距离是否小于预定阈值。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：记录用户在未做语音输入时的语音信号；将麦克风当前采集的语音信号与未做语音输入时的语音信号作比较；如果判断麦克风当前采集的语音信号音量超过未做语音输入时的语音信号的音量一定阈值，判断智能电子设备与用户的嘴部距离小于预定阈值。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指等。
此处的移动设备包括但不限于手机、头戴式显示器、手表，以及智能戒指、腕表等更小型的智能穿戴设备。
本方案优势：
1.交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
2.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
3.收音质量高。设备的录音机在用户嘴边，收取的语音输入信号清晰，受环境音的影响较小。
4.高隐私性与社会性。设备在嘴前，用户只需发出相对较小的声音即可完成高质量的语音输入，对他人的干扰较小，同时用户姿势可以包括捂嘴等，具有较好的隐私保护。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的上述和/或其它目的、特征和优势将变得更加清楚并更容易理解。其中：
图1是根据本发明实施例的语音输入交互方法的示意性流程图。
图2示出了根据本发明的另一实施例的配置有多个麦克风的电子设备使用多个麦克风接收的声音信号的差别的语音输入触发方法的总体流程图。
图3示出了根据本发明实施例的内置有麦克风的电子设备基于低声说话方式识别的语音输入触发方法的总体流程图。
图4描述基于麦克风的声音信号的距离判断的语音输入触发方法的总体流程图
图5是根据本发明实施例的触发姿势中的将手机上端麦克风贴近嘴部的正面示意图。
图6是根据本发明实施例的触发姿势中的将手机上端麦克风贴近嘴部的侧面示意图。
图7是根据本发明实施例的触发姿势中的将手机下端麦克风贴近嘴部的示意图。
图8是根据本发明实施例的触发姿势中的将智能手表麦克风贴近嘴部的示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
本公开针对智能电子设备的语音输入触发，基于配置的麦克风捕捉的声音内在特征，来确定是否触发语音输入应用，其中无需传统的物理按键触发、界面元素触发、唤醒词检测，交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
下面将从以下几个方面来继续本公开：1、基于人类说话时风噪声特征的语音输入触发，具体地，通过识别人说话时候的语音和风噪声音来直接启动语音输入并将接收的声音信号作为语音输入处理；2、基于多个麦克风接收的声音信号的差别的语音输入触发；3、基于低声说话方式识别的语音输入触发；4、基于麦克风的声音信号的距离判断的语音输入触发。
一、基于人类说话时风噪声特征的语音输入触发
当用户近距离对着麦克风说话时，即使声音很小或者不触发声带发声，麦克风采集到的声音信号中包含两种声音成分，一是人声带和口腔震动发出的声音，二是人说话产生的气流撞击麦克风产生的风噪声音。可以基于这个特性来触发电子设备的语音输入应用。
图1示出了根据本发明实施例的语音输入交互方法100的示意性流程图。
在步骤S101中，分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，
在步骤S102中，响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
本发明实施例的语音输入交互方法特别适合于在隐私要求比较高的情况下，不用声带发声地进行语音输入。
这里用户说话的语音可以包括：用户以正常音量说话的声音、用户以小音量说话的声音、用户以声带不发声方式说话发出的声音。
在一个示例中，可以识别上述不同的说话方式，根据识别结果产生不同的反馈，比如正常说话就是控制手机的语音助理，低声说话就是控制微信，声带不发声说话就是做语音转录笔记。
作为示例，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：
将声音信号存储到电子设备上的可存储介质；
将声音信号通过互联网发送出去；
将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；
将声音信号中的语音信号识别为文字，通过互联网发送出去；
将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例中，还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
在一个示例中，电子设备为智能手机、智能手表、智能戒指中的一种。
在一个示例中，使用神经网络模型判断声音信号中是否包含用户说话的语音以及说话产生的气流撞击麦克风产生的风噪声音。此仅为示例，可以使用其他机器学习算法。
在一个示例中，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中是否包含用户说话的语音；
响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；
针对音素序列中的每个音素，确定该音素是否为吐气音素，即：用户发声该音素时有气流从嘴中出来；
将声音信号按照固定窗口长度切分为声音片段序列；
利用频率特征，识别每个声音片段是否包含风噪声；
将语音音素序列中的吐气音素和声音片段序列中识别为风噪声的片段做比较，同时将音素序列中的非吐气音素和风噪声片段作比较，当吐气音素与风噪声片段重合度高于一定阈值，且非吐气音素与风噪声片段重合度低于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
在一个示例中，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中包含风噪的声音特征；
响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；
响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；
针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；
针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度；
通过基于高斯混合贝叶斯模型分析风噪特征与音素序列的一致性，重合度高于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
二、基于多个麦克风接收的声音信号的差别的语音输入触发
图2示出了根据本发明的另一实施例的配置有多个麦克风的电子设备使用多个麦克风接收的声音信号的差别的语音输入触发方法的总体流程图。
电子设备例如手机内置有多个麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行本实施例的语音输入触发方法。
如图2所示，在步骤S201中，分析多个麦克风采集的声音信号。
在一个示例中，多个麦克风包括至少3个麦克风，构成麦克风阵列系统，通过声音信号达到各个麦克风的时间差可以估计声源相对于智能设备的空间位置。
这里的声音信号包括例如声音信号的幅度、频率等等。
在步骤S202中，基于多个麦克风采集的声音信号，判断用户是否正在近距离对着电子设备说话。
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：
利用到达阵列上各传声器的声音信号之间的时间差计算用户嘴部相对于麦克风阵列的位置，
当用户嘴部距离电子设备的距离小于一定阈值时，确定用户正在近距离对着电子设备说话。
在一个示例中，所述距离阈值为10厘米。
在步骤S203中，响应于确定用户正在近距离对着电子设备说话，将麦克风采集的声音信号作为用户的语音输入处理。
在一个示例中,将该声音信号作为用户的语音输入做处理包括：
根据说话人嘴部和电子设备之间距离的不同，对用户的语音输入做不同处理。例如，当距离为0-3cm时，激活语音助手响应用户的语音输入；当距离为3-10cm时，激活微信应用程序响应用户的语音输入，将语音信息发送给好友；
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：
判断是否至少有一个麦克风采集的声音信号中包含用户说话的语音信号，
响应于确定至少有一个麦克风采集的声音信号中包含用户说话的语音信号，从麦克风采集的声音信号中提取语音信号，
判断从不同麦克风采集的声音信号中提取的语音信号的幅度差异是否超过预定阈值时，
响应于确定幅度差值超过预定阈值，确认用户正在近距离对着电子设备说话。
在上面的例子中，还可以包括：
定义多个麦克风中语音信号幅度最大的麦克风为响应麦克风，
根据响应麦克风的不同，对用户的语音输入做不同的处理。例如，当响应麦克风是智能手机底部的麦克风时，激活智能手机上的语音助手；当响应麦克风是智能手机顶部的麦克风时，激活录音机功能将用户的语音记录到存储设备；
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：利用提前训练的机器学习模型，处理多个麦克风的声音信号，判断用户是否正在近距离对着电子设备说话。一般地，准备训练样本数据，然后利用训练样本数据来训练选定的机器学习模型，在实际应用时(有时也叫测试)，将多个麦克风捕获的声音信号(作为测试样本)输入机器学习模型，得到的输出表示用户是否正在近距离对着电子设备说话。作为示例，机器学习模型例如为深度学习神经网络、支持向量机、决策树等。
在一个示例中，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
在一个示例中，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例，还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
作为示例，电子设备为智能手机、智能手表、智能戒指、平板电脑等。
本实施例利用内置的不同麦克风之间声音信号的差别来识别用户是否近距离对着电子设备说话，进而决定是否启动语音输入，具有识别可靠，计算方法简单等优点。
三、基于低声说话方式识别的语音输入触发
低声说话是指说话音量小于正常说话(比如与他人正常交谈)音量的方式。低声说话包括两种方式。一种是声带不震动的低声说话(俗称悄悄话)，另一种是声带发生震动的低声说话。在声带不震动的低声说话方式下，产生的声音主要包含空气通过喉部、嘴部发出的声音以及嘴内舌头牙齿发出的声音。在声带震动的低声说话方式下，发出的声音除了包含声带不震动的低声说话方式下产生的声音，还包括声带震动产生的声音。但相比于正常音量的说话方式，声带震动的低声说话过程中，声带震动程度较小，产生的声带震动声音较小。声带不震动低声说话产生的声音和声带震动产生的声音的频率范围不同，可以区分。声带震动低声说话和声带震动的正常音量说话可以通过音量阈值来区分，具体的阈值可以提前设定，也可以由用户来设定。
示例方法：对麦克风采集的语音信号做滤波处理，提取两部分信号，分别为声带震动产生的声音成分V1和空气通过喉部、嘴部发出的以及嘴内舌头牙齿发出的声音V2。当V1和V2的能量比值小于一定阈值时，判定用户在做低声说话。
一般情况下，低声说话只有当用户距离麦克风比较近的时候才能检测，比如距离小于30厘米时。而定义近距离情况下的低声说话作为语音输入，对用户而言是一种易于学习和理解和方便操作的交互方式，可以免除显式的唤醒操作，比如按压特定的唤醒按键或者是通过语音唤醒词。且这种方式在绝大多数的实际使用情况下，不会被误触发。
图3示出了根据本发明实施例的配备有麦克风的电子设备基于低声说话方式识别的语音输入触发方法的总体流程图。配备有麦克风的电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行根据本发明实施例的语音输入触发方法。
如图3所示，在步骤S301中，判断麦克风采集的声音信号中是否包含语音信号。
在步骤S302中，响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话。
在步骤S303中，响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
低声说话可以包括声带不发声的低声说话和声带发声的低声说话两种方式。
在一个示例中,语音输入触发方法还可以包括：响应于确定用户在做低声说话，判断用户在做声带不发声的低声说话还是在做声带发声的低声说话，根据判断的结果不同，对声音信号做不同的处理。
作为示例，不同的处理为将语音输入交给不同的应用程序来处理。比如正常说话就是控制手机的语音助理，低声说话就是控制微信，声带不发声说话就是做语音转录笔记。
作为示例，判断用户是否在做低声说话时使用的信号特征可以包括音量、频谱特征，能量分布等。
作为示例，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话时使用的信号特征包括音量、频谱特征，能量分布等。
作为示例，判断用户是否在做低声说话可以包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户是否在低声说话。
作为示例，机器学习模型可以为卷积神经网络模型或者循环神经网络模型。
作为示例，判断用户在做声带不发声的低声说话还是在做声带发声的低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话。
作为示例，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：
将声音信号存储到电子设备上的可存储介质；
将声音信号通过互联网发送出去；
将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；
将声音信号中的语音信号识别为文字，通过互联网发送出去；
将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
作为示例，语音输入触发方法还可以包括：通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
作为示例，电子设备可以为智能手机、智能手表、智能戒指等。
有关低声说话模式以及检测方法，作为示例，可以参考下述参考文献：
Zhang,Chi,and John HL Hansen."Analysis and classification of speechmode:whispered through shouted."Eighth Annual Conference of the InternationalSpeech Communication Association.2007.
Meenakshi,G.Nisha,and Prasanta Kumar Ghosh."Robust whisper activitydetection using long-term log energy variation of sub-band signal."IEEESignal Processing Letters 22.11(2015):1859-1863.
四、基于麦克风的声音信号的距离判断的语音输入触发
下面结合图4描述基于麦克风的声音信号的距离判断的语音输入触发方法的总体流程图。
如图4所示，在步骤401中，处理麦克风捕获的声音信号判断声音信号中是否存在语音信号。
在步骤402中，响应于确认声音信号中存在语音信号，基于麦克风采集的声音信号进一步判断智能电子设备与用户的嘴部距离是否小于预定阈值。
在步骤403中，响应于确定电子设备与用户嘴部距离小于预定阈值，将麦克风采集的声音信号作为语音输入处理。
在一个示例中，预定阈值为10厘米。
语音信号可以包括下面各项之一或者组合：用户以正常音量说话发出的声音；用户低声说话发出的声音；用户声带不发声说话产生的声音。
在一个示例中，判断智能电子设备与用户的嘴部距离是否小于预定阈值时使用的特征包括声音信号中的时域特征和频域特征，包括音量、频谱能量。
在一个示例中，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：利用深度神经网络模型处理麦克风采集的数据，判断智能电子设备与用户的嘴部距离是否小于预定阈值。
在一个示例中，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：记录用户在未做语音输入时的语音信号，将麦克风当前采集的语音信号与未做语音输入时的语音信号作比较，如果判断麦克风当前采集的语音信号音量超过未做语音输入时的语音信号的音量一定阈值，判断智能电子设备与用户的嘴部距离小于预定阈值。
在一个示例中，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例中，语音输入触发还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
在一个示例中，电子设备为智能手机、智能手表、智能戒指等。
图5至图8显示了几例用户将智能电子便携设备的麦克风放置到嘴边较近距离的位置，此时用户发出的语音将作为语音输入。其中，图5与图6分别是手机上端有麦克风的情况，在这种情况下，用户有语音交互意图时，可以将手机的麦克风移动到嘴边0～10厘米处，直接说话即可作为语音输入。图7是手机下端有麦克风的情况，与前述上端有麦克风相类似，两种姿势不是互斥的，如果手机上下端均有麦克风则任意一种姿势均可以实施交互方案。图8是对应设备为智能手表时的情况，与上述设备为手机的情况类似。上述对触发姿势的说明是示例性的，并非穷尽性的，并且也不限于所披露的各种设备和麦克风情况。
作为使用单个麦克风来接收声音输入并触发语音输入的一个具体实施例子，可以首先通过分析单麦克风接收到的声音输入，判断是否为语音，并通过分析语音的近距离特有的特征，如麦克风爆破音、近场风噪、吹气声、能量、频谱特征、时域特征等，判断电子设备自身与用户的嘴的距离是否小于给定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将麦克风信号作为语音输入。
作为使用双麦克风来接收声音输入并触发语音输入的一个具体实施例子，通过分析双麦克风输入信号的特征差异，如能量特征、频谱特征，判断发声位置是否贴近其中一个麦克风，通过双麦克风的信号差异从而屏蔽环境噪音、分离语音到对应的单声道，然后通过上述单麦克风的特征分析方法，判断电子设备自身与用户的嘴的距离小于给定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将信号作为语音输入。
作为使用多麦克风阵列来接收声音输入并触发语音输入的一个具体实施例子，通过比较分析不同麦克风接收到的声音输入的信号的差异，通过从环境中分离近场语音信号，识别与检测声音信号是否包括语音，通过多麦克风阵列的声源定位技术判断语音信号的用户嘴的位置与设备之间的距离是否小于预定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将信号作为语音输入。
在一个示例中，在智能电子便携设备通过分析语音信号，检测到发音位置位于自身附近，也即移动设备位于用户嘴部较近位置，智能电子便携设备便将声音信号作为语音输入，根据任务与上下文的不同，再结合自然语言处理技术理解用户的语音输入并完成相应的任务。
麦克风并不局限于前述示例，而是可以包括下面各项之一或者其组合：设备内置单麦克风；设备内置双麦克风；设备内置多麦克风阵列；外接无线麦克风；以及外接有线麦克风。
如前所述，智能电子便携设备可以为手机，装备有双耳蓝牙耳机、带有麦克风的有线耳机或者其他麦克风传感器。
智能电子便携设备可以为手表，以及智能戒指、腕表中的一种智能穿戴设备。
智能电子便携设备为头戴式智能显示设备，装备有麦克风或者多麦克风组。
在一个示例中，在电子设备激活语音输入应用后，可以做出反馈输出，反馈输出包括震动、语音、图像中的一种或者其组合。
本发明各个实施例的方案可以提供下述一种或几种优势：
1.交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
2.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
3.收音质量高。设备的录音机在用户嘴边，收取的语音输入信号清晰，受环境音的影响较小。
4.高隐私性与社会性。设备在嘴前，用户只需发出相对较小的声音即可完成高质量的语音输入，对他人的干扰较小，同时用户姿势可以包括捂嘴等，具有较好的隐私保护。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (13)

1.一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：
分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，
响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理，
其中识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中是否包含用户说话的语音；
响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；
针对音素序列中的每个音素，确定该音素是否为吐气音素，
即：用户发声该音素时有气流从嘴中出来；
将声音信号按照固定窗口长度切分为声音片段序列；
利用频率特征，识别每个声音片段是否包含风噪声；
或者识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中包含风噪的声音特征；
响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；
响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；
针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；
针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度。
2.根据权利要求1的电子设备，用户说话的语音包括至少一个：
用户以正常音量说话的声音，
用户以小音量说话的声音，
用户以声带不发声方式说话发出的声音。
3.根据权利要求1的电子设备,还包括：
响应于确定用户正在近距离对着电子设备说话，
判断用户在以如下方式中的一种在发声，包括：
用户以正常音量说话的声音，
用户以小音量说话的声音，
用户以声带不发声方式说话发出的声音，
根据判断的结果不同，对声音信号做不同的处理。
4.根据权利要求3的电子设备，所述不同的处理为激活不同的应用程序处理语音输入。
5.根据权利要求3的电子设备，判断的特征包括音量、频谱特征，能量分布。
6.根据权利要求1的电子设备，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：
将声音信号存储到电子设备上的可存储介质；
将声音信号通过互联网发送出去；
将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；
将声音信号中的语音信号识别为文字，通过互联网发送出去；
将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
7.根据权利要求1的电子设备，还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
8.根据权利要求1的电子设备，电子设备为智能手机、智能手表、智能戒指中的一种。
9.根据权利要求1的电子设备，其中：
使用神经网络模型判断声音信号中是否包含用户说话的语音以及说话产生的气流撞击麦克风产生的风噪声音。
10.根据权利要求1的电子设备，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
将语音音素序列中的吐气音素和声音片段序列中识别为风噪声的片段做比较，同时将音素序列中的非吐气音素和风噪声片段作比较，当吐气音素与风噪声片段重合度高于一定阈值，且非吐气音素与风噪声片段重合度低于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
11.根据权利要求1的电子设备，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
通过基于高斯混合贝叶斯模型分析风噪特征与音素序列的一致性，重合度高于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
12.一种由配备有麦克风的电子设备执行的语音交互唤醒方法，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行所述语音交互唤醒方法，所述语音交互唤醒方法包括：
分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，
响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理，
其中识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中是否包含用户说话的语音；
响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；
针对音素序列中的每个音素，确定该音素是否为吐气音素，
即：用户发声该音素时有气流从嘴中出来；
将声音信号按照固定窗口长度切分为声音片段序列；
利用频率特征，识别每个声音片段是否包含风噪声；
或者识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中包含风噪的声音特征；
响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；
响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；
针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；
针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度。
13.一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行语音交互唤醒方法，所述语音交互唤醒方法包括：
分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，
响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理，
其中识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中是否包含用户说话的语音；
响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；
针对音素序列中的每个音素，确定该音素是否为吐气音素，
即：用户发声该音素时有气流从嘴中出来；
将声音信号按照固定窗口长度切分为声音片段序列；
利用频率特征，识别每个声音片段是否包含风噪声；
或者识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中包含风噪的声音特征；
响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；
响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；
针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；
针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度。
CN201910475978.6A 2019-06-03 2019-06-03 基于麦克风信号的语音交互唤醒电子设备、方法和介质 Active CN110223711B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910475978.6A CN110223711B (zh) 2019-06-03 2019-06-03 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US17/616,091 US20220319538A1 (en) 2019-06-03 2020-05-26 Voice interactive wakeup electronic device and method based on microphone signal, and medium
PCT/CN2020/092283 WO2020244416A1 (zh) 2019-06-03 2020-05-26 基于麦克风信号的语音交互唤醒电子设备、方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910475978.6A CN110223711B (zh) 2019-06-03 2019-06-03 基于麦克风信号的语音交互唤醒电子设备、方法和介质

Publications (2)

Publication Number Publication Date
CN110223711A CN110223711A (zh) 2019-09-10
CN110223711B true CN110223711B (zh) 2021-06-01

Family

ID=67819016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910475978.6A Active CN110223711B (zh) 2019-06-03 2019-06-03 基于麦克风信号的语音交互唤醒电子设备、方法和介质

Country Status (3)

Country Link
US (1) US20220319538A1 (zh)
CN (1) CN110223711B (zh)
WO (1) WO2020244416A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223711B (zh) * 2019-06-03 2021-06-01 清华大学 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110097875B (zh) * 2019-06-03 2022-09-02 清华大学 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110610706A (zh) * 2019-09-23 2019-12-24 珠海格力电器股份有限公司 声音信号采集方法、装置、电器设备控制方法及电器设备
CN112908316A (zh) * 2019-12-02 2021-06-04 浙江思考者科技有限公司 Ai智能语音流采集
CN111343410A (zh) * 2020-02-14 2020-06-26 北京字节跳动网络技术有限公司 一种静音提示方法、装置、电子设备及存储介质
KR20220111078A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 전자 장치, 사운드 입출력 기기를 포함하는 시스템 및 그 제어 방법
CN117133284A (zh) * 2023-04-06 2023-11-28 荣耀终端有限公司 一种语音交互方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1773604A (zh) * 2004-11-08 2006-05-17 蔡源鸿 以声音分贝值作为程序参数值的方法
JP2011209787A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN107889031A (zh) * 2017-11-30 2018-04-06 广东小天才科技有限公司 一种音频控制方法、音频控制装置及电子设备
CN109074805A (zh) * 2016-03-31 2018-12-21 索尼公司 信息处理设备、信息处理方法和程序
CN109448759A (zh) * 2018-12-28 2019-03-08 武汉大学 一种基于气爆音的抗语音认证欺骗攻击检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577564B2 (en) * 2003-03-03 2009-08-18 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for detecting illicit activity by classifying whispered speech and normally phonated speech according to the relative energy content of formants and fricatives
WO2007147049A2 (en) * 2006-06-14 2007-12-21 Think-A-Move, Ltd. Ear sensor assembly for speech processing
JP6244658B2 (ja) * 2013-05-23 2017-12-13 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
JP6611474B2 (ja) * 2015-06-01 2019-11-27 クラリオン株式会社 集音装置、及び集音装置の制御方法
US10192552B2 (en) * 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
KR102317686B1 (ko) * 2017-03-22 2021-10-26 삼성전자주식회사 잡음 환경에 적응적인 음성 신호 처리방법 및 장치
WO2018223388A1 (en) * 2017-06-09 2018-12-13 Microsoft Technology Licensing, Llc. Silent voice input
US11227626B1 (en) * 2018-05-21 2022-01-18 Snap Inc. Audio response messages
CN109558788B (zh) * 2018-10-08 2023-10-27 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质
CN110223711B (zh) * 2019-06-03 2021-06-01 清华大学 基于麦克风信号的语音交互唤醒电子设备、方法和介质
US11315586B2 (en) * 2019-10-27 2022-04-26 British Cayman Islands Intelligo Technology Inc. Apparatus and method for multiple-microphone speech enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1773604A (zh) * 2004-11-08 2006-05-17 蔡源鸿 以声音分贝值作为程序参数值的方法
JP2011209787A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN109074805A (zh) * 2016-03-31 2018-12-21 索尼公司 信息处理设备、信息处理方法和程序
CN107889031A (zh) * 2017-11-30 2018-04-06 广东小天才科技有限公司 一种音频控制方法、音频控制装置及电子设备
CN109448759A (zh) * 2018-12-28 2019-03-08 武汉大学 一种基于气爆音的抗语音认证欺骗攻击检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Generative Modeling of Pseudo-Whisper for Robust Whispered Speech Recognition》;Shabnam Ghaffarzadegan et al.;《IEEE/ACM Transactions on Audio,Speech and Language Processing》;20161031;第24卷(第10期);第1705-1720页 *
《Robust Whisper Activity Detection Using Long-Term Log Energy Variation of Sub-Band Signal》;G.Nisha Meenakshi et al.;《IEEE Signal Processing Letters》;20151130;第22卷(第11期);第1859-1863页 *
《Whisper-to-speech conversion using restricted Boltzmann machine arrays》;Jingjie Li et al.;《Electronics Letters》;20101201;第50卷(第24期);第1781-1782页 *

Also Published As

Publication number Publication date
WO2020244416A1 (zh) 2020-12-10
US20220319538A1 (en) 2022-10-06
CN110223711A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110428806B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110223711B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110097875B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
WO2020244411A1 (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110310623B (zh) 样本生成方法、模型训练方法、装置、介质及电子设备
US10276164B2 (en) Multi-speaker speech recognition correction system
CN112074900B (zh) 用于自然语言处理的音频分析
CN112739253B (zh) 用于肺部状况监测与分析的系统和方法
CN104168353B (zh) 蓝牙耳机及其语音交互控制方法
CN111432303B (zh) 单耳耳机、智能电子设备、方法和计算机可读介质
CN108346425B (zh) 一种语音活动检测的方法和装置、语音识别的方法和装置
EP2779160A1 (en) Apparatus and method to classify sound to detect speech
CN109346075A (zh) 通过人体振动识别用户语音以控制电子设备的方法和系统
US10755704B2 (en) Information processing apparatus
KR102628211B1 (ko) 전자 장치 및 그 제어 방법
EP4002363A1 (en) Method and apparatus for detecting an audio signal, and storage medium
WO2016183961A1 (zh) 智能设备的界面切换方法、系统、设备及非易失性计算机存储介质
JP6268916B2 (ja) 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
CN110728993A (zh) 一种变声识别方法及电子设备
KR102114365B1 (ko) 음성인식 방법 및 장치
CN110197663A (zh) 一种控制方法、装置及电子设备
KR20170029390A (ko) 음성 명령 모드 진입 방법
KR20080061901A (ko) 로봇의 입출력 장치에 의한 효율적인 음성인식 방법 및시스템
WO2019187543A1 (ja) 情報処理装置および情報処理方法
CN106899625A (zh) 一种根据用户心情状态调整设备环境配置信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant