Nothing Special   »   [go: up one dir, main page]

CN109567936B - 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法 - Google Patents

一种基于听觉注意和多焦电生理的脑机接口系统和实现方法 Download PDF

Info

Publication number
CN109567936B
CN109567936B CN201811364012.7A CN201811364012A CN109567936B CN 109567936 B CN109567936 B CN 109567936B CN 201811364012 A CN201811364012 A CN 201811364012A CN 109567936 B CN109567936 B CN 109567936B
Authority
CN
China
Prior art keywords
auditory
sound
module
sound source
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811364012.7A
Other languages
English (en)
Other versions
CN109567936A (zh
Inventor
张思杰
方翔
汪静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201811364012.7A priority Critical patent/CN109567936B/zh
Publication of CN109567936A publication Critical patent/CN109567936A/zh
Application granted granted Critical
Publication of CN109567936B publication Critical patent/CN109567936B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种基于听觉注意和多焦电生理的脑机接口系统和实现方法,其技术特点是:脑机接口系统包括听觉刺激器模块、信号采集模块、信号处理模块、执行模块;听觉刺激器模块能同时产生多种频率、多个声道的声音源,并将其分布在虚拟听觉空间的不同位置;每个声音源受同一M序列控制,M序列为1时声音源发声,为0时不发声;信号采集模块通过传感器采集得到听觉反应的混合电生理信号,并进行信号放大和模拟/数字转换;信号处理模块将混合电生理信号与M序列进行快速互相关计算,获得各个声音源对应的听觉反应信号;然后对各个声音源的听觉反应信号进行特征值提取,通过判别分类模块对特征向量进行分类,解码出受检者听觉注意到的声音源,从而确定受试者心中所想,进而控制执行模块执行相应的动作。

Description

一种基于听觉注意和多焦电生理的脑机接口系统和实现方法
技术领域:
本发明公开了一种基于听觉注意和多焦电生理的脑机接口系统和实现方法,属于神经认知科学、信息处理、自动化控制相交叉的技术领域。
背景技术:
脑-机接口是目前神经工程学研究的热门课题之一。脑-机是在人脑与计算机或其它电子设备之间建立直接的交流和控制通道。通过这种通道,人就可以直接通过大脑来表达想法或操着设备,而不需要通过语言或肢体的动作。
对于那些完全丧失外周神经肌肉控制能力的病人,要想对外界环境进行控制,如控制周围的电器设备,就得将大脑信号解读成相应的控制命令。产生特定的大脑控制信号的办法较多,大致可以分为独立的或非独立的两类。非独立方式产生的大脑控制信号是指受试者在接受某种外部刺激后来产生具有一定特征的脑电信号,如基于头皮检测到稳态的视觉诱发电位(SSVEP)可用来来实现脑-机接口;而所谓独立产生大脑控制信号则是指是受试者通过自我意识来调节脑电中的某些节律成分,或通过想象运动过程等过程来产生具有一定特征的脑电信号,如清华大学医学院神经工程研究所研制出的脑-机接口系统,可通过系统用“思维”来踢足球。不过该方式中信号所含信息的解码难度大,个体差异也大。
在人的听觉系统中,存在着听觉注意现象:当人的听觉注意集中于某一事物时,意识将一些无关声音刺激排除在外,而无意识却监察外界的刺激,一旦一些特殊的刺激与己有关,就能立即引起注意。这种听觉加工中存在的现象又叫做“鸡尾酒会”效应,因常见于酒会上而得名。如在各种声音嘈杂的鸡尾酒会上,有音乐声、谈话声、脚步声、酒杯餐具的碰撞声等,当某人的注意集中于欣赏音乐或别人的谈话,对周围的嘈杂声音充耳不闻时,若在另一处有人提到他的名字,他会立即有所反应,或者朝说话人望去,或者注意说话人下面说的话等。被试者可以运用声源位置与声谱线索立即识别被注意的说话者,将信息存贮与皮层,然后对这一信息进行不断的更新。
关于听觉信息处理机制,听觉通路有两条,大脑将听觉的空间信息和内容信息作为两个相对独立的部分分别交给两条信息通路进行加工,即“where”通路和“what”通路,分别处理声音在哪里(空间信息)和声音是什么(包含频率、强度和长度等信息)。脑磁图的研究还表明,“where”通路的激活较“what”通路的激活还要早30ms左右,从而确保了对全部声音刺激进行全局粗略的处理,进而对关键声音刺激进行局部细节分析。其中听觉的选择性注意起到了关键的调控作用。
根据大量的生理研究结果,在注意和非注意的声音刺激诱发的电位是存在着差异的。听觉的空间注意同其他特征注意处理通路不同,可以利用空间分布,将声音分布在空间的不同方位,令受试者将其注意力集中于某一方位,而忽略其他方位,通过“自上而下“的控制,对目标和非目标信号进行选择性处理,这种选择性处理可在后期的信号处理中体现出来,作为区分目标和非目标的一个特征信号。脉冲M序列及互相技术曾用于脑干听觉诱发电位的提取,与传统脑干听觉诱发电位相比,除了可以提取一阶反应波形外,还可以提取高阶反应波形。同时,脉冲M序列及互相技术提取出的一阶和高阶听觉反应波形,还具有抗干扰能力强的特点
综上所述,根据人听觉系统的听觉注意的电生理特点,结合多焦电生理技术,可用于脑-机接口的控制:利用前面所述的系统,如果受检者想执行某一操作,可将听觉注意力集中到该控制操作所对应的某一频率声音源发出的声音,那么该声源刺激得到的听觉反应波形的幅值或潜伏期将相应发生变化。计算机通过对听觉注意引起的电生理信号变化的判断,可确定受试者心中所想,从而执行相应的控制动作。
发明内容:
本发明根据人的听觉注意的电生理特点,结合多焦电生理技术,从听觉通道的角度提出一种脑-机接口的控制系统和方法,可为视功能受损的患者建立一条新的和外界交流的通道。由于听觉注意产生的听觉电生理信号的变化对人而言是普遍存在的,可以较好解决脑-机接口技术中存在的个体差异问题,同时该方法对人是无创、无损的。
为实现上述目的及其他相关目的,本发明提供一种基于听觉注意和多焦电生理的脑机接口系统和实现方法。
一种基于听觉注意和多焦电生理的脑机接口系统,包括听觉刺激器模块、信号采集模块、信号处理模块、执行模块;所述听觉刺激器模块用于刺激受检者产生听觉诱发电位;所述信号采集模块用于采集各个声音源诱发产生的听觉诱发电位的混合电生理信号;所述信号处理模块分离各个声音源对应的听觉反应的一阶和高阶波形,并进行特征提取和分类,解码出受检者听觉注意到的声音源;所述执行模块与信号处理模块相连,用于分类判断结果的执行。
优选地,该听觉刺激器模块能同时产生多种频率、多个声道的声音源,选择合适的算法函数,将这些声音源分布在虚拟听觉空间的不同位置;受试者通过耳机接收具有空间立体分布感的听觉刺激,可以选择性注意不同空间位置的声音源。
优选地,该信号采集模块包括用于电生理信号提取的传感器、生物微弱信号放大器、模拟信号到数字信号的转换模块;听觉反应信号的采集仅需三个皮肤电极作为传感器,地电极安装在前额正中、负电极放置在耳后乳突,正电极放置在头顶;皮肤电极提取出的混合电生理信号通过生物微弱信号放大器放大、滤波后,经过模拟/数字转换后送入信号处理模块,由信号处理模块进行进一步的分析处理。
优选地,信号处理模块将信号采集模块得到的混合电生理信号与M序列进行快速互相关计算,从而获得各个声音源对应的听觉反应信号;在同等刺激的情况下,听觉注意到的声音源对应的听觉诱发电位特征点的潜伏期和幅值等特征值有明显变化;通过判别分类模块对特征向量进行分类,解码出受检者听觉注意到的声音源。
优选地,不同的声音源代表了不同的含义,从而执行相应的操作。信号处理通过对听觉注意引起的电生理信号变化的判断,可确定听觉注意到的声音源,从而确定受试者心中所想,进而控制执行模块执行相应的动作。
一种基于听觉注意和多焦电生理的脑机接口系统的实现方法,包括以下步骤:
(1)听觉刺激器模块产生多个声音源,每个声音源频率为纯音,声音频率依次递增;选择合适的算法函数,将这些声音源分布在虚拟听觉空间的不同位置。
(2)听觉刺激器模块中采用M序列对听觉刺激器的每个声音源进行调制,控制声音源的发声:M序列为1时声音源发声,为0时不发声;每个声音源受同一M序列控制,但起始时刻不同,依次滞后相等的时间间隔;每个声音源需执行一个或多个完整的M序列循环。
(3)听觉刺激器模块通过耳机对受检者进行声音刺激,不同频率的声音源对受检者耳蜗内不同部位的听觉感受器(毛细胞)进行等量的刺激。
(4)信号采集模块通过传感器采集得到听觉反应的混合电生理信号,并进行信号放大和模拟/数字转换。
(5)信号处理模块对采集得到的混合电生理信号进行预处理,消除市电等干扰信号,然后将混合电生理信号与M序列进行快速互相关计算,获得各个声音源对应的听觉反应信号;各个声音源的听觉反应一阶和高阶信号均匀等间隔分布在M序列的循环周期中。
(6)对各个声音源的听觉反应信号进行特征值提取,通过判别分类模块对特征向量进行分类,解码出受检者听觉注意到的声音源。
(7)信号处理模块与执行模块相连;不同的声音源代表了不同的含义,信号处理模块解码出受检者听觉注意到的声音源,从而确定受试者心中所想,进而控制执行模块执行相应的动作。
而且,所述步骤(6)的具体实现步骤如下:
(1)截取各个声音源对应听觉反应的一阶和高阶波形;
(2)对各个声音源的一阶和高阶波形的特征点的潜伏期和幅值进行特征提取,获得特征向量;
(3)信号处理模块通过判别分类模块对特征向量进行分类,解码出受检者听觉注意到的声音源。
本发明的优点在于:
(1)根据人的听觉注意的电生理特点,从听觉通道的角度提出一种脑-机接口系统和实现方法,可为视功能受损的患者建立一条新的和外界交流的通道;由于听觉注意产生的听觉电生理信号的变化对人而言是普遍存在的,可以较好解决脑-机接口技术中存在的个体差异问题,同时该方法对人是无创、无损的。
(2)采用多焦电生理技术,用同一M序列控制各个声音源,刺激时间相同,只是起始时刻滞后,可以保证各个声音源对听觉系统的刺激是相等的,确保各个声音源对应的听觉反应的一阶和高阶波形的差异更多的来源于听觉注意。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1为本发明脑机接口控制系统框图;
图2为听觉刺激器模块框图;
图3为听觉刺激器模块中各个声音源在M序列的起始时刻示意图;
图4为各个声音源对应听觉反应一阶和高阶波形分离的示意图;
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,下面结合附图并举实施例进一步详细说明。应当理解的是,本发明的应用不限于下述的举例,对本领域的专业人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都属于本发明所附权利要求的保护范围。
本申请涉及的一种基于听觉注意和多焦电生理的脑机接口系统如图1所示,系统100包括听觉刺激器模块101、头戴式耳机102、皮肤电极103,信号采集模块104、信号处理模块105、执行模块106。
图1中,所述听觉刺激器模块101通过头戴式耳机102对受检者进行声音刺激;所述信号采集模块104通过皮肤电极103采集声音源刺激产生的听觉诱发电位的混合电生理信号,并进行信号放大和模拟/数字信号转换;所述信号处理模块105分离各个声音源对应的听觉反应的一阶和高阶波形,并进行特征提取和分类,解码出受检者听觉注意到的声音源;所述执行模块106与信号处理模块相连,用于分类判断结果的执行。
一种基于听觉注意和多焦电生理的脑机接口系统的实现方法,包括以下步骤:
(1)图2所示为多频率、多声源的虚拟空间听觉刺激器示意图;选择合适的算法函数,由听觉刺激器模块控制耳机产生多个虚拟声音源1、2、…、N,并将声音源分布在虚拟空间的不同位置。
(2)图4所示为听觉刺激器模块通过耳机产生多个声音源,每个声音源频率为纯音,声音源1、2、…、N的声音频率依次递增;再采用M序列对听觉刺激器的每个声音源进行调制,控制声音源的发声:M序列为1时声音源发声,为0时不发声;图3说明每个声音源受同一M序列控制,但起始时刻不同,依次滞后相等的时间间隔,Tk中k=1、2、…、N中的某一个数,Tk表示调制第k个声音源对应的M序列的起始点;每个声音源受M序列控制,需执行一个或多个完整的M序列循环。
(3)听觉刺激器通过耳机对受检者进行声音刺激,不同频率的声音源对受检者耳蜗内不同部位的听觉感受器(毛细胞)进行刺激。受试者通过耳机接收具有空间立体分布感的听觉刺激,可以选择性注意不同空间位置、不同声音频率的声音源。
(4)信号采集模块通过皮肤电极采集得到听觉反应的混合电生理信号。信号的采集仅需三个皮肤电极,地电极安装在前额正中、负电极放置在耳后乳突,正电极放置在头顶。皮肤电极提取出的混合电生理信号通过生物微弱信号放大器放大、滤波后,经过模拟/数字转换后送入信号处理模块,由信号处理模块进行进一步的分析处理。
(5)信号处理模块对采集得到的混合电生理信号进行预处理,去除市电等干扰,然后将混合电生理信号与M序列进行快速互相关计算,获得各个声音源对应的听觉反应信号,各个声音源的听觉反应一阶和高阶信号波形均匀等间隔分布在M序列的循环周期中,如图4所示。
(6)截取各个声音源对应听觉反应的一阶和高阶波形;对一阶和高阶波形的特征点的潜伏期和幅值进行特征提取,获得特征向量;信号处理模块通过判别分类模块对特征向量进行分类,解码出受检者听觉注意到的声音源。
(7)信号处理模块与执行模块相连;不同的声音源代表了不同的含义,信号处理模块解码出受检者听觉注意到的声音源,从而确定受试者心中所想,进而控制执行模块执行相应的动作。

Claims (2)

1.一种基于听觉注意和多焦电生理的脑机接口系统,其特征在于系统由听觉刺激器模块、信号采集模块、信号处理模块、执行模块四个部分构成;所述的听觉刺激器模块能产生多种频率、多个声道的声音源,并将其分布在虚拟听觉空间的不同位置;声音源产生的声音为纯音,受M序列调制;各个声音源同时发声,对受检者进行刺激,受试者可以选择性注意不同空间位置的声音源;所述的信号采集模块,用于采集各个声音源诱发产生的听觉反应的混合电生理信号,混合电生理信号通过生物微弱信号放大器放大、滤波后,经过模拟/数字转换后送入信号处理模块;所述的信号处理模块将信号采集模块采集到的混合电生理信号与M序列进行快速互相关计算,从而获得各个声音源对应的听觉反应信号;信号处理模块对听觉反应信号的一阶和高阶波形进行特征值提取和分析,解码出受检者听觉注意到的声音源;所述的执行模块与信号处理模块相连,系统根据信号处理模块确定听觉注意到的声音源,判断出受试者心中所想,进而控制执行模块执行相应的动作。
2.一种如权利要求1所述的基于听觉注意和多焦电生理的脑机接口系统的实现方法,其特征在于包括以下步骤:
(1)听觉刺激器模块产生多个声音源,每个声音源频率为纯音,声音频率依次递增,并将这些声音源分布在虚拟听觉空间的不同位置;
(2)听觉刺激器模块采用M序列对听觉刺激器的每个声音源进行调制,控制声音源的发声;每个声音源受同一M序列控制,但起始时刻不同,依次滞后相等的时间间隔;每个声音源需执行一个或多个完整的M序列循环;
(3)听觉刺激器通过耳机对受检者进行声音刺激,不同频率的声音源对受检者耳蜗内不同部位的听觉感受器进行等量的刺激;
(4)信号采集模块通过传感器采集得到听觉反应的混合电生理信号,并进行信号的放大和模拟/数字转换;
(5)信号处理模块将混合电生理信号与M序列进行快速互相关计算,获得各个声音源对应的听觉反应信号;各个声音源的听觉反应一阶和高阶信号波形均匀等间隔分布在M序列的循环周期中;
(6)系统截取出各个声音源对应听觉反应的一阶和高阶波形,然后对各个声音源的听觉反应信号进行特征值提取、分析,解码出受检者听觉注意到的声音源,从而确定受试者心中所想,进而控制执行模块执行相应的动作。
CN201811364012.7A 2018-11-16 2018-11-16 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法 Expired - Fee Related CN109567936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811364012.7A CN109567936B (zh) 2018-11-16 2018-11-16 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811364012.7A CN109567936B (zh) 2018-11-16 2018-11-16 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法

Publications (2)

Publication Number Publication Date
CN109567936A CN109567936A (zh) 2019-04-05
CN109567936B true CN109567936B (zh) 2021-10-15

Family

ID=65922812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811364012.7A Expired - Fee Related CN109567936B (zh) 2018-11-16 2018-11-16 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法

Country Status (1)

Country Link
CN (1) CN109567936B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110333777B (zh) * 2019-05-20 2020-11-20 北京大学 一种利用内源性频率标记技术反映大脑脑部信号的脑机接口方法及系统
CN112270991A (zh) * 2020-11-13 2021-01-26 深圳镭洱晟科创有限公司 一种老年人听力康复用的听觉功能评估耳机及其评估方法
CN115469749B (zh) * 2022-09-28 2023-04-07 北京理工大学 一种基于听觉脑机接口的目标定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058473B2 (en) * 2007-08-29 2015-06-16 International Business Machines Corporation User authentication via evoked potential in electroencephalographic signals
CN104814734A (zh) * 2015-05-13 2015-08-05 西安电子科技大学 基于csp和互相关的运动想象脑电信号分类方法
CN106510702B (zh) * 2016-12-09 2019-09-17 广州大学 基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法
CN108469896A (zh) * 2018-01-23 2018-08-31 天津大学 一种基于非对称脑电特征的脑-机接口混合编码范式方法

Also Published As

Publication number Publication date
CN109567936A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
Su et al. STAnet: A spatiotemporal attention network for decoding auditory spatial attention from EEG
Baier et al. Event-based sonification of EEG rhythms in real time
US11609633B2 (en) Monitoring of biometric data to determine mental states and input commands
GB2608690A (en) Personalized mental state adjustment system and method based on brainwave music
CN110947076B (zh) 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN101464729B (zh) 基于听觉认知神经信号的自主意愿表达方法
CN109567936B (zh) 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
WO2001032078A1 (fr) Procede et systeme de commande faisant appel a des reponses cerebrales electriques provoquees en mode statique, et procede et systeme de detection par les organes sensoriels
Kim et al. A vision-free brain-computer interface (BCI) paradigm based on auditory selective attention
CN111012342B (zh) 一种基于p300的视听双通道竞争机制脑-机接口方法
CN107562191A (zh) 基于混合特征的精细想象动作在线脑‑机接口方法
CN106502404A (zh) 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统
Punsawad et al. Multi‐command SSAEP‐based BCI system with training sessions for SSVEP during an eye fatigue state
Wang et al. Developing an online steady-state visual evoked potential-based brain-computer interface system using EarEEG
CN109284009B (zh) 一种提高听觉稳态响应脑-机接口性能的系统及方法
Kaongoen et al. An auditory P300-based brain-computer interface using Ear-EEG
Ferracuti et al. Auditory paradigm for a P300 BCI system using spatial hearing
Hsieh et al. Home care by auditory Brain Computer Interface for the blind with severe physical disabilities
CN117860544A (zh) 一种基于多模态虚拟现实交互的智能按摩系统
Paulraj et al. A machine learning approach for distinguishing hearing perception level using auditory evoked potentials
Lai et al. A chromatic transient visual evoked potential based encoding/decoding approach for brain–computer interface
CN113807402A (zh) 抑制mi-bci系统误触发的系统及其训练和测试方法
Souza et al. Vision-free brain-computer interface using auditory selective attention: evaluation of training effect
US20230191129A1 (en) Auditory neural interface device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211015

CF01 Termination of patent right due to non-payment of annual fee