Nothing Special   »   [go: up one dir, main page]

CN115390655A - 人机交互方法、人机交互装置及存储介质 - Google Patents

人机交互方法、人机交互装置及存储介质 Download PDF

Info

Publication number
CN115390655A
CN115390655A CN202110566088.3A CN202110566088A CN115390655A CN 115390655 A CN115390655 A CN 115390655A CN 202110566088 A CN202110566088 A CN 202110566088A CN 115390655 A CN115390655 A CN 115390655A
Authority
CN
China
Prior art keywords
stimulation
visual
area
user
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110566088.3A
Other languages
English (en)
Inventor
明东
蒋永斌
许敏鹏
李鹏坤
周晓宇
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Huawei Technologies Co Ltd
Original Assignee
Tianjin University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University, Huawei Technologies Co Ltd filed Critical Tianjin University
Priority to CN202110566088.3A priority Critical patent/CN115390655A/zh
Priority to PCT/CN2022/096920 priority patent/WO2022247956A1/zh
Priority to EP22810679.5A priority patent/EP4300266A4/en
Publication of CN115390655A publication Critical patent/CN115390655A/zh
Priority to US18/518,194 priority patent/US20240094816A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请实施例提供一种人机交互方法、人机交互装置及存储介质，该方法包括：显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。本申请能够使得用户无需直视视觉刺激且快速下发不同的操作命令，提高用户体验。

Description

人机交互方法、人机交互装置及存储介质
技术领域
本申请涉及人机交互技术领域，尤其涉及一种人机交互方法、人机交互装置及存储介质。
背景技术
脑-机接口(Brain-Computer Interface,BCI)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出。
随着BCI技术的不断发展和广受关注，诸多脑信息检测技术已应用于BCI系统中。其中，脑电(electroencephalography,EEG)信号能够直接反映大脑的电生理活动信息，时间分辨率高，采集设备相对易于轻量化，是当前阶段首选的非侵入式BCI技术。
由于脑电信号具有非线性及非平稳性的特征，从繁杂的背景脑电中提取微弱的脑电信号特征是BCI系统的重要技术之一。事件相关电位(event-related potential，ERP)是大脑对来自外界环境的特定的感觉、认知或运动事件等产生的心理反应的测量；在小概率事件(刺激)出现后的固定潜伏期，人的大脑皮层会出现相应波峰，因此，ERP在临床和实际应用中都有巨大价值。
基于ERP的视觉定位是脑-机接口领域应用之一，如文字输入，机器人移动指令下发等。其原理是通过给予使用者视觉刺激，诱发使用者脑电信号产生ERP成分，由于ERP波形与刺激具有严格锁时关系，可以叠加平均方法获取ERP成分，进一步分析视觉刺激与ERP成分的时序关系，识别视觉刺激位置，即实现视觉定位，使用者完成操作指令的下发。
但是，在现有的BCI技术的应用场景中，一个视觉刺激对应一个可执行的操作命令，若需要执行多个操作命令时，用户需要注视多个视觉刺激，容易造成用户的视觉疲劳，且若要在短识别时间和高正确识别率下实现支持多条命令，采用现有的技术方案存在很大挑战。
发明内容
本申请公开了一种人机交互方法、人机交互装置及存储介质，能够使得用户无需直视视觉刺激且快速下发不同的操作命令，可以缓解用户视觉疲劳，提高用户体验。
第一方面，本申请提供一种人机交互方法，该方法包括：显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。
可选的，当该用户注视该第一区域时的视线与当该用户注视该视觉刺激区域中心点时的视线之间的夹角在预设范围内，例如该夹角不大于5°，从而可以保证视觉刺激区域对用户的视觉刺激强度足够诱发较高强度的脑电信号。
在本申请中，用户意图下发操作命令时，无需直视视觉刺激区域本身，而是注视视觉刺激区域周围的区域即可完成命令的下发，相比于现有的技术方案需要直视视觉刺激区域下发操作命令，本申请能够缓解用户的视觉疲劳，提高在人机交互过程中的用户体验。另外，在本申请中，用户注视视觉刺激区域周围不同的区域可以诱发不同的脑电信号，因此，可以设置用户注视视觉刺激区域周围不同的区域表明用户意图下发不同的操作命令，即在本申请中，能够实现基于单一视觉刺激对应多个操作命令，当用户需连续下发多个操作命令时，无需注视多个视觉刺激区域，只需要按照自身的操作意图注视视觉刺激区域周围的多个区域即可连续下发多个操作命令，降低操作复杂度，提高用户体验。另外，现有的方案中一个视觉刺激对应一个操作命令，当有多个操作命令时需要在人机界面显示同样数量的视觉刺激，从而加重了处理器的负担且实现复杂；而本申请可以实现单一视觉刺激对应多个操作命令，因此，可以减少人机界面中视觉刺激区域的显示，减轻处理器的负担且实现起来更加简单易操作。
一种可能的实施方式中，上述不同的脑电信号为上述用户注视上述不同的区域时在初级视觉皮层中不同的区域诱发的，上述第一区域是基于该第一信号在初级视觉皮层中出现的区域确定的。
在本申请中，可以基于视网膜-皮层映射原理来实现上述基于单一视觉刺激对应多个操作命令的功能，该原理中视觉刺激在用户的视场中的不同位置可以诱发不同时空分布特征的脑电信号，即用户注视人机界面中视觉刺激区域周围不同的区域时，可以在大脑的初级视觉皮层中不同的区域诱发对应的脑电信号，通过识别采集到的脑电信号的时空分布特征可以确定用户注视的位置或区域，从而解析出用户的操作意图。
一种可能的实施方式中，该视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；该混合刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式结合的刺激模式；
该闪烁刺激模式为该视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，该运动刺激模式为该视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，该元素跳变刺激模式为该视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式。
可选的，上述视觉刺激组成元素具备以下特征中的至少一项特征：第一特征，该视觉刺激的组成元素的形状为几何图形，或者为几何图形经过任意组合或变形得到的图形；第二特征，该视觉刺激的组成元素的颜色为光学三原色中的一种，或者为光学三原色中的至少两种颜色按照任意比例叠加后得到的颜色。
在本申请中，通过设计视觉刺激模式，可以提高视觉刺激的新异形，进而可以诱发高信噪比的脑电信号，提高不同脑电信号特征识别的准确率，进而提高识别用户操作意图的准确率。
一种可能的实施方式中，该混合刺激模式包括该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
在本申请中，采用上述混合刺激模式刺激用户视觉，可以进一步提高视觉刺激的新异性，并且可以减弱重复抑制效应，即可以抑制脑电信号因相同刺激模式重复显现而衰弱的效应。
一种可能的实施方式中，该至少两种刺激模式中包括第一刺激模式，该第一刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中的一种；该第一刺激模式至少显示两次，其中，该第一刺激模式的第一次显示和第二次显示的视觉刺激不同。
可选的，该视觉刺激不同可以是视觉刺激组成元素的颜色、形状和底纹中的一项或多项不同等等。
在本申请中，在相同视觉刺激模式的视觉刺激出现多次的情况下，通过设计不同时间出现的视觉刺激不同，能够进一步提高视觉刺激的新异性，诱发高信噪比的脑电信号。
一种可能的实施方式中，该视觉刺激区域在该用户的2度视角的范围内。这么设计的视觉刺激区域的尺寸较小，刺激强度不大，减少对用户视觉的强烈刺激，从而可以减轻用户的视觉疲劳。
一种可能的实施方式中，该视觉刺激区域的大小随着该用户的眼睛与该人机界面的距离增大而增大，和/或随着该用户的眼睛与该人机界面的距离减小而减小。这么设计可以保证足够刺激强度的情况下，不会因距离太远导致视觉刺激弱而诱发不了高信噪比的脑电信号，也不会因距离太近导致视觉刺激太强造成用户的视觉疲劳。
一种可能的实施方式中，该视觉刺激区域与该可操作对象的显示区域重叠；该多个区域为分布在以该视觉刺激区域为中心向周围发散的多个方向上的区域；该第一区域为分布在第一方向上的区域，该第一方向为该多个方向中的一个。
在本申请中，设计视觉刺激区域与可操作对象的显示区域重叠，并且用户可以注视以视觉刺激区域为中心向周围散发的多个方向不同方向上的区域，以对该可操作对象下发不同的操作命令，从而实现了基于单一视觉刺激对应多个操作命令的功能。
一种可能的实施方式中，该多个方向上的区域包括至少一个辅助图形，该至少一个辅助图形用于向该用户指示注视的位置；该第一区域包括该至少一个辅助图形中的第一辅助图形；该第一信号为该用户注视该第一辅助图形产生的脑电信号。
在本申请中，可以通过辅助图形来引导用户注视的位置，能够快速帮助新手用户掌握该人机界面的交互方法，提高用户体验。
一种可能的实施方式中，该第一操作命令指示该可操作对象向该第一方向移动。
在本申请中，由于视觉刺激区域与可操作对象的显示区域重叠，那么，用户可以注视该视觉刺激区域周围的多个方向中任一个方向上的区域，来下发指示可操作对象往该注视的方向移动的命令。
一种可能的实施方式中，该第一操作命令指示往该第一方向调整该可操作对象的显示区域大小。
在本申请中，由于视觉刺激区域与可操作对象的显示区域重叠，那么，用户可以注视该视觉刺激区域周围的多个方向中任一个方向上的区域，来下发指示往该注视的方向调整可操作对象显示区域大小的命令。
一种可能的实施方式中，该人机界面包括多个该视觉刺激区域；该第一信号包括该多个视觉刺激区域刺激该用户的视觉产生的多个脑电信号；该多个脑电信号分别指示该第一区域与该多个视觉刺激区域的位置关系。
在本申请中，人机界面中可以部署多个视觉刺激区域，通过该多个视觉刺激区域可以组合定位用户注视的位置或区域。具体的，当用户注视人机界面上的某个位置或区域时，基于上述的视网膜-皮层映射原理，该某个位置或区域周围的多个视觉刺激区域可以诱发多个时空分布特征不同的脑电信号，基于该多个脑电信号可以确定该某个位置或区域相对于该多个视觉刺激区域的空间方位，从而定位出该某个位置或区域，从而可以识别出用户的操作意图，执行对应的操作命令。
一种可能的实施方式中，该第一区域包括第一子区域和第二子区域，该多个脑电信号包括第一子信号和第二子信号；该第一子信号为该用户注视该第一子区域产生的脑电信号，该第二子信号为该用户注视该第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；该第一操作命令根据第一信号确定，包括，该第一操作命令根据该第一子信号和第二子信号共同确定。
在本申请中，基于多个视觉刺激组合定位用户注视的区域的原理，用户可以注视人机界面中的两个子区域联合下发一个具体的操作命令。
一种可能的实施方式中，该第一区域为该可操作对象的显示区域；该对该可操作对象执行第一操作命令，包括：对该可操作对象执行选中的操作命令。
可选的，该选中操作例如可以是高亮、下划线、画面渲染增强、添加阴影底纹或者方框框起等等。
在本申请中，用户注视的区域即为可操作对象的显示区域，可以基于多个视觉刺激组合定位到用户注视的区域，进而可以执行对该可操作对象的选中操作。
一种可能的实施方式中，该人机界面的形状为多边形，该多个视觉刺激区域部分或全部设置在该多边形的多个内角的区域。
在本申请中，在人机界面的四周设置视觉刺激区域，能够基于上述视网膜-映射原理，通过多个视觉刺激区域组合定位到人机界面中用户注视的任意位置。
一种可能的实施方式中，该方法还包括：根据该用户的脑电特征改变该视觉刺激区域中的视觉刺激模式。
在本申请中，通过适应性调整人机界面显示的视觉刺激模式，为用户匹配到高敏感度的视觉刺激模式，可以诱发高信噪比的用户脑电信号，以提高脑电信号的时空分布特征的识别准确率，进而提高用户意图操作命令的识别准确率。
第二方面，本申请提供一种人机交互装置，该装置包括：
显示单元，用于显示人机界面，该人机界面包括可操作对象和视觉刺激区域；
处理单元，用于对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。
可选的，当该用户注视该第一区域时的视线与当该用户注视该视觉刺激区域中心点时的视线之间的夹角在预设范围内，例如该夹角不大于5°，从而可以保证视觉刺激区域对用户的视觉刺激强度足够诱发较高强度的脑电信号。
一种可能的实施方式中，该不同的脑电信号在初级视觉皮层中出现的区域不同，该第一区域是基于该脑电信号在初级视觉皮层中出现的区域确定的。
一种可能的实施方式中，该视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；该混合刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式结合的刺激模式；
该闪烁刺激模式为该视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，该运动刺激模式为该视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，该元素跳变刺激模式为该视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式。
一种可能的实施方式中，该混合刺激模式包括该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
一种可能的实施方式中，该至少两种刺激模式中包括第一刺激模式，该第一刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中的一种；
该第一刺激模式至少显示两次，其中，该第一刺激模式的第一次显示和第二次显示的视觉刺激不同。
一种可能的实施方式中，该视觉刺激区域在该用户的2度视角的范围内。
一种可能的实施方式中，该视觉刺激区域的大小随着该用户的眼睛与该人机界面的距离增大而增大，和/或随着该用户的眼睛与该人机界面的距离减小而减小。
一种可能的实施方式中，该视觉刺激区域与该可操作对象的显示区域重叠；该多个区域为分布在以该视觉刺激区域为中心向周围发散的多个方向上的区域；该第一区域为分布在第一方向上的区域，该第一方向为该多个方向中的一个。
一种可能的实施方式中，该多个方向上的区域包括至少一个辅助图形，该至少一个辅助图形用于向该用户指示注视的位置；该第一区域包括该至少一个辅助图形中的第一辅助图形；该第一信号为该用户注视该第一辅助图形产生的脑电信号。
一种可能的实施方式中，该第一操作命令指示该可操作对象向该第一方向移动。
一种可能的实施方式中，该第一操作命令指示往该第一方向调整该可操作对象的显示区域大小。
一种可能的实施方式中，该人机界面包括多个该视觉刺激区域；该第一信号包括该多个视觉刺激区域刺激该用户的视觉产生的多个脑电信号；该多个脑电信号分别指示该第一区域与该多个视觉刺激区域的位置关系。
一种可能的实施方式中，该第一区域包括第一子区域和第二子区域，该多个脑电信号包括第一子信号和第二子信号；该第一子信号为该用户注视该第一子区域产生的脑电信号，该第二子信号为该用户注视该第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；该第一操作命令根据第一信号确定，包括，该第一操作命令根据该第一子信号和第二子信号共同确定。
一种可能的实施方式中，该第一区域为该可操作对象的显示区域；该对该可操作对象执行第一操作命令，包括：对该可操作对象执行选中的操作命令。
一种可能的实施方式中，该人机界面的形状为多边形，该多个视觉刺激区域部分或全部设置在该多边形的多个内角的区域。
一种可能的实施方式中，该处理单元还用于：根据该用户的脑电特征改变该视觉刺激区域中的视觉刺激模式。
第三方面，本申请提供一种人机交互装置，该装置可以包括处理器和存储器，用于实现上述第一方面及其可能的实施方式描述的人机交互方法。该存储器与处理器耦合，处理器执行存储器中存储的计算机程序时，可以实现上述第一方面或第一方面任一种可能的实现方式所述的方法。该装置还可以包括通信接口，通信接口用于该装置与其它装置进行通信，示例性的，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。该通信接口包括接收接口和发送接口，该接收接口用于接收消息，该发送接口用于发送消息。
在一种可能的实现中，该装置可以包括：
存储器，用于存储计算机程序；
处理器，用于显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。
需要说明的是，本申请中存储器中的计算机程序可以预先存储也可以使用该装置时从互联网下载后存储，本申请对于存储器中计算机程序的来源不进行具体限定。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或连接，其可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面及其可能的实施方式任意一项所述的方法。
第五方面，本申请提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其可能的实施方式任意一项所述的方法。
可以理解地，上述提供的第二方面和第三方面所述的装置、第四方面所述的计算机存储介质以及第五方面所述的计算机程序产品均用于执行第一方面中任一项所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1所示为视网膜-皮层映射原理的示意图；
图2所示为本申请提供的一种应用场景示意图；
图3所示为本申请提供的人机交互装置的组成示意图；
图4所示为本申请提供的人机交互方法的流程示意图；
图5A所示为本申请提供的视觉刺激区域和视觉刺激组成元素的示意图；
图5B所示为传统人机交互范式与本申请提供的交互范式的示意图；
图5C所示为本申请提供的脑电信号的特征波形示意图；
图5D所示为本申请提供的初级视觉皮层中受视觉刺激激活的区域示意图；
图5E所示为本申请提供的视觉刺激区域周围的示意图；
图6所示为本申请提供的一种具体的人机交互范式和人机界面示意图；
图7所示为本申请提供的视觉刺激模式示意图；
图8和图9所示为本申请提供的视觉刺激模式的时序示意图；
图10和图11所示为本申请提供的视觉刺激示意图；
图12A、图12B和图12C所示为本申请提供的脑电信号的特征波形示意图；
图13所示为本申请示出的视觉刺激区域周围的多个方向的示意图；
图14A和图14B所示为本申请提供的一种人机界面示意图；
图15A和图15B所示为本申请提供的一种人机界面示意图；
图16所示为本申请提供的定位注视区域的示意图；
图17和图18所示为本申请提供的一种人机界面示意图；
图19为本申请提供的一种装置的逻辑结构示意图；
图20为本申请提供的一种装置的实体结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
首先介绍一下本申请涉及到的相关概念。
1、事件相关电位(event-related potential，ERP)
事件相关电位ERP指的是与特定的物理事件或心理事件，在时间上相关的电压波动。事件相关电位ERP是一种特殊的脑诱发电位，诱发电位(evoked potentials，EPs)，也称诱发反应(evoked response)，是指给予神经系统(从感受器到大脑皮层)特定的刺激，或使大脑对刺激(正性或负性)的信息进行加工，在该神经系统和脑的相应部位产生的可以检出的、与刺激有相对固定时间间隔(锁时关系)和特定位相的生物电反应。这种电位或者电反应可以被颅外记录，并凭借滤波和信号叠加技术，从脑电信号中被提取出来。
2、视觉诱发电位(visualevokedpotentials,VEPs)
VEPs是事件相关电位ERP中一种，是视觉刺激在大脑皮层枕区诱发的生物电反应。
3、视网膜-皮层映射原理
视觉投射系统有特定的传入通路和皮层代表区，视觉诱发电位VEPs的空间拓扑模式与视觉刺激在用户视野中呈现的位置相关，且视觉皮层激活区域面积与视觉刺激强弱成正相关。具体地，光通过左侧或右侧角膜刺激视网膜上的感光杆和视锥细胞，并通过视神经及视交叉神经传导至丘脑处的外侧膝状核，最终视觉信号传递至初级视觉皮层。由于视交叉神经的对侧性质，左侧视野的视觉信息将被传导至初级视觉皮层的右侧枕叶，右侧视野的视觉信息将被传导至初级视觉皮层的左侧枕叶；视觉纤维在枕叶皮层投射时，上半视野投射到距状裂下唇，下半视野投射到距状裂上唇。示例性地，视觉刺激在视野中的位置与相应视觉信号传递至的初级视觉皮层区域对应关系如图1所示。
在图1中，视场可以看成是用户的视野范围，该视野范围被划分成12个区域。初级视觉皮层位于枕叶距状裂周围，包括左右两侧的视觉皮层，该初级视觉皮层也被划分为12个区域。理论上，视觉刺激出现在视场中的编号A(该编号A为1至12中的任一个编号)的区域，那么，视觉信息将被投射到初级视觉皮层中相同的编号A的区域。
需要说明的是，图1仅为一个示例，在具体实现中，视场和初级视觉皮层均不限于划分为12个区域，图1所示不构成对本申请的限制。
研究发现，通过多导联在枕叶获得的VEPs时域波形中，可以观测到由于视觉刺激在视野中位置不同造成的VEPs的空间分布特异性。例如，视觉闪烁刺激呈现在单侧视野，可在位于对侧初级视觉皮层区的导联处采集得到幅值更大的VEPs；与呈现在下侧视野中相比，呈现在上侧视野中的视觉闪烁刺激可诱发得到反向电位。因此，基于上述介绍的视网膜-皮层映射原理，通过识别不同VEPs的空间拓扑模式，可判定“视觉注视位置”与“标定刺激”之间的相对空间位置关系，进而解码视觉注视位置。
4、标定刺激
在本申请中，标定刺激也可以称为视觉标定刺激，指的是可以明确知道位置的视觉刺激。即在人机界面中出现的视觉刺激，数据处理模块可以实时感知和确定该视觉刺激在该界面中的位置。
5、人机界面(human machine interaction，HMI)
人机界面又称用户界面或使用者界面，是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。
参照图2所示，为本申请实施例提供的一种人机交互系统的场景示意图。该系统包括可穿戴产品和可显示产品，该可穿戴产品和可显示产品之间可通过无线连接进行通信，或者，该可穿戴产品和可显示产品之间可通过有线连接进行通信等。进一步地，该可穿戴产品和可显示产品也可以是一体化的。
其中，可显示产品用于向用户呈现画面。该可显示产品可以是虚拟现实(VirtualReality，VR)/增强现实(Augmented Reality，AR)眼镜或智慧显示屏等。可穿戴产品用于采集用户的脑电信号。该可穿戴产品可以是VR/AR眼镜或耳机等。用户可通过观看可显示产品展示的画面，根据自己的操作意图，通过注视视野中的对象或区域下发操作命令。
参照图3所示，为本申请实施例提供的一种人机交互装置的结构示意图。该人机交互装置包括视觉呈现模块、数据采集模块和数据处理模块。
其中，视觉呈现模块用于向用户展示可操作的人机界面。例如：VR/AR场景中的人机界面、智慧屏中的游戏界面，显示屏窗口界面等。采用本申请设计的一种可能的新型交互范式，针对界面中的可操作对象设置视觉标定刺激，利用新型标定刺激模式进行编解码，实现用户注视位置相对于视觉刺激的方向或实现注视位置的定位，进而根据用户注视的不同位置下发不同操作命令。示例地，视觉呈现模块可以是虚拟现实(Virtual Reality，VR)/增强现实(Augmented Reality，AR)眼镜的显示系统或智慧显示屏等屏幕。其也可以是其他任意形态的具显示功能的设备，如带有屏幕的其他智能物联网(InternetofThings，IoT)设备(如智慧空调或服务机器人等)或者投影仪等。
数据采集模块用于通过电极采集用户的脑电信号，对脑电信号放大、滤波处理和A/D转换后形成数据信息，并发送给数据处理模块。数据采集模块运行于可穿戴设备上，可以集成于眼镜或耳机等可穿戴设备；或者，数据采集模块可以部署于独立佩戴于用户头部的带有脑电传感器的采集器。
数据处理模块用于分析数据信息，检测出脑电信号的时空分布特征(该时空分布特征是基于上述介绍的ERP(或VEPs)和视网膜-皮层映射原理获得的，后面会介绍该时空分布特征，此处暂不详述)。由于注视视觉刺激区域周围不同的位置或区域可以诱发时空分布特征不同的脑电信号，因此，通过脑电信号的时空分布特征可以判断出用户意图操作的对象与当前注视点的相对空间位置关系，确定用户当前下发的指令。例如，用户观看视觉呈现模块展示的界面，根据自己的操作意图，相对视野中的可操作对象(假设该可操作对象的显示区域与视觉刺激区域重叠)，注视其周围空间的某个区域或方位，即可下发操作命令。示例性地，数据处理模块可以与数据采集模块或视觉呈现模块等集成于同一设备(例如VR/AR眼镜)；或者，数据处理模块可以与视觉呈现模块部署于用户的独立设备，如手机、电脑或平板等；或者，数据处理模块也可以部署于云端服务器，通过无线网络与数据采集模块和视觉呈现模块通信。
视觉呈现模块还用于根据数据处理模块发送的指令，向用户反馈操作命令执行结果。例如：VR/AR场景中按照意图成功移动物体的空间位置或人物的位置；或者，显示屏内的窗口大小成功调整；或者，显示屏内视频进度条拉动到目标位置等。
下面介绍一下上述数据处理模块采用到的脑电信号解码原理和算法。具体的，基于上述相关概念的介绍中可知，不同的注视方位条件下，多导联VEPs信号具有不同的时间和空间等多维度特征模式。为了分辨不同类的特征模式，在脑电信号解码中首先需要借助任务相关成分分析等去噪算法，来抑制任务无关的背景脑电信号噪声的特征提取，以提升任务相关特征信号的信噪比。随后可以基于不同类的脑电信号之间的时-空/空-频特征差异最大化准则，采用线性判别分析和共空间模式分析等模式识别算法在相应判别空间中实现脑电信号类别的辨识。识别不同的注视方位条件下的各类脑电信号的特征模式后，即可判定“视觉注视位置”与“标定刺激”之间的相对空间位置关系，进而基于“标定刺激”的实时位置信息，解码视觉注视位置。任务相关成分分析，线性判别分析和共空间模式分析等算法原理如下所示：
任务相关成分分析
任务相关成分分析(task-related component analysis,TRCA)算法通过最大化事件之间任务相关成分信号的相关性，降低任务无关背景脑电信号的干扰，可高效解码任务相关特征。模型建立中，认为采集的多通道脑电信号由任务相关信号s(t)与事件非相关信号n(t)线性组合而成，如式(1)所示：
xj(t)＝a1,js(t)+a2,jn(t)；j＝1,2,…,Nc (1)
其中，j为导联编号，a1,j、a2,j为相应权值，Nc为导联数。通过一组x(t)复现s(t)，可表示为如式(2)所示：
Figure BDA0003080724930000091
为了最大程度复现s(t)，即y(t)＝s(t)，可以通过事件之间协方差最大化实现。所有可能事件之间协方差之和可以表示为如式(3)所示：
Figure BDA0003080724930000092
其中，Nt为事件数，h1、h2分别表示第h1事件、第h2事件，w为投影矩阵，wT为w的转置矩阵，
Figure BDA0003080724930000093
定义如式(4)所示：
Figure BDA0003080724930000094
为获得确定解，y(t)的方差限定为1，即如式(5)所示：
Figure BDA0003080724930000095
该约束优化问题，可通过如式(6)所示方式进行求解。
Figure BDA0003080724930000096
获得各类投影矩阵后，将原信号经投影矩阵投影，然后将与任务相关信号从原信号中提取出来，完成降噪。
线性判别分析
线性判别分析(linear discrimination analysis,LDA)是一种常用于ERP特征解码中的监督学习算法，具有计算量低和分类效果良好等特点。LDA将高维样本数据投影至低维空间，保证样本数据在该空间中有最大类间距离和最小类内距离，其目标函数可表示为如式(7)所示：
Figure BDA0003080724930000101
其中，Sb为类间散度矩阵，Sw为类内散度矩阵。通过求解Sw -1Sb最大的d个特征值和对应的d个特征向量(w1,w2,w3,…,wd)，得到投影矩阵W。该投影矩阵与上述任务相关成分分析算法中得到的投影矩阵不同。得到投影矩阵W后，可以通过该投影矩阵将上述降噪后的信号进行投影，得到类内方差最小且类间方差最大的低维空间信号。
共空间模式
共空间模式(common spatial pattern,CSP)是解码脑电信号频域能量空间分布特征的常用算法。CSP寻找一个合适的投影矩阵w(该投影矩阵与上述任务相关成分分析和线性判别分析算法中得到的投影矩阵不同)，使得一类的投影信号方差最大化而另一类的方差被最小化。
其目标函数可表示为如式(8)所示，其中，Ci为第i类的空间协方差矩阵。
Figure BDA0003080724930000102
求解中，添加约束wTC2w＝1，并使用拉格朗日数乘方法，该约束优化问题转换为如式(9)所示的求极值问题。
L(λ,w)＝wTC1w-λ(wTC2w-1) (9)
Figure BDA0003080724930000103
Figure BDA0003080724930000104
式(9)的极值求解过程，如式(10)、(11)所示。空间滤波器w由矩阵C2 -1C1最大的d个特征值、最小的d个特征值对应的特征向量构成。通过上述式(8)至式(11)计算得到投影矩阵后，通过该投影矩阵将线性判别分析后得到的信号投影，然后将投影后得到的信号的空间特征分布与训练好的各个特征分布匹配，从而确定出对应的特征类型，完成信号的分类。
一种可能的实施方式中，数据处理模块除了采用上述介绍的TRCA、LDA和CSP等算法处理脑电信号外，还可以结合支持向量机(support vector machines，SVM)、典型相关分析(canonical correlation analysis，CCA)和判别典型模式匹配(discriminativecanonical pattern matching，DCPM)等算法进行处理。
具体而言，本申请提供了一种新型人机交互范式，视觉呈现模块能够向用户展示多个可操作对象，并且显示视觉标定刺激，用户根据操作意图，注视视觉呈现模块显示的界面中的视觉标定刺激周围的区域；数据采集模块采集用户的脑电信号，完成预处理；数据处理模块分析脑电信号的时空分布特征，通过脑电信号的时空分布特征可以判断出用户意图操作的对象与当前注视点的相对空间位置关系，进而确定用户当前下发的指令。至于在实际应用过程中各个模块的硬件形态、各模块的部署方式和通信方式等，均不影响本申请的技术实质。
基于上述的介绍，本申请提供一种人机交互方法。示例性的，该方法可以由上述介绍的视觉呈现模块或VR/AR眼镜等来执行。参照图4所示，为本申请实施例提供的一种人机交互方法的流程示意图。该方法可包括但不限于步骤401和步骤402，具体如下：
401、显示人机界面，所述人机界面包括可操作对象和视觉刺激区域。
具体的，人机界面中的可操作对象可以包括一个或多个，可以基于操作命令对可操作对象执行相关的操作。人机界面中的视觉刺激区域也可以包括一个或多个，用于刺激用户的视觉使得用户产生脑电信号。
视觉刺激区域内包括视觉刺激组成元素，视觉刺激组成元素可以通过各种视觉刺激模式呈现视觉刺激，该视觉刺激模式可以包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式和混合刺激模式。该闪烁刺激模式为视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，该运动刺激模式为视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，该元素跳变刺激模式为视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中的至少一项不断变化的刺激模式。该混合刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式结合的刺激模式。该闪烁刺激模式、运动刺激模式和元素跳变刺激模式中视觉刺激组成元素可以是瞬态呈现的。
具体的，上述视觉刺激组成元素的形状可以为任意的几何图形的形状，例如可以为矩形、散点、横线或者立体图形等等。可选的，视觉刺激组成元素的颜色为光学三原色中的一种，或者为光学三原色中的至少两种颜色按照任意比例叠加后得到的颜色。
在本申请中，由于视觉刺激区域的位置可以被数据处理模块感知和确定，因此，视觉刺激区域内产生的视觉刺激又称为标定刺激。
为了便于理解上述视觉刺激区域、视觉刺激组成元素、视觉刺激模式和视觉刺激之间的关系，可以示例性地参见图5A。图5A示例性示出了人机界面中包括的一个视觉刺激区域501，该视觉刺激区域501为人机界面中呈现视觉刺激的区域。在该视觉刺激区域501内包括视觉刺激组成元素502，该视觉刺激组成元素502以散点为例示出，但在具体实现过程中该视觉刺激组成元素502不限于是散点，并且可以是变化的。视觉刺激模式则为视觉刺激组成元素502的变化模式，该变化例如可以是闪烁、向各个方向运动或者视觉刺激组成元素502的形状、颜色或底纹的改变等等。视觉刺激是视觉刺激组成元素502以一种或多种视觉刺激模式呈现在视觉刺激区域501中，给用户的视觉造成的刺激。
402、执行对所述可操作对象的第一操作命令，其中，所述第一操作命令根据第一信号确定，所述第一信号为用户注视第一区域产生的脑电信号，所述第一区域为所述视觉刺激区域周围的多个区域中的区域，所述用户注视所述多个区域中不同的区域产生不同的脑电信号，所述不同的脑电信号指示执行与所述可操作对象相关的不同的操作命令。
在本申请实施例中，设计了一种人机交互的新型交互范式。在该新型的交互范式中，人机界面中设置有视觉刺激区域和可操作对象，用户可以注视视觉刺激周围的多个区域中的不同区域，基于上述的视网膜-皮层映射原理的介绍可知，用户注视该多个区域中不同的区域可以产生时空分布特征不同的脑电信号；又基于上述介绍的脑电信号解码原理和算法可知，数据处理模块可以识别时空分布特征不同的脑电信号；该时空分布特征不同的脑电信号与不同的操作命令相对应，因此，数据处理模块识别出具体的脑电信号特征后，可以匹配到具体的操作命令，进而将该具体的操作命令转达到视觉呈现模块，由视觉呈现模块执行该操作命令，并将命令的执行的结果显示在视觉呈现模块中。即在该新型的交互范式中，可以根据用户注视视觉刺激周围不同的区域解码出用户的意图操作，并快速响应完成该意图操作，并呈现在视觉呈现模块中反馈给用户。
为了便于理解上述介绍的新型交互范式，示例性地，可以参见图5B。图5B中示例性示出了传统交互范式和本申请提出的交互范式。该传统交互范式，视觉刺激区域叠加在可操作对象的显示区域上，当用户意图操作可操作对象时，需要注视叠加在该可操作对象上的视觉刺激区域来激发脑电信号，且一个视觉刺激只能对应下发一个操作命令。
而图5B中本申请提出的交互范式，视觉刺激区域可以叠加在可操作对象的显示区域上，或者，视觉刺激也可以设置在可操作对象的周围区域。或者，在人机界面中的可操作对象包括多个，视觉刺激区域也包括多个的情况下，多个视觉刺激区域可以设置在该多个可操作对象的周围区域。
当用户意图操作可操作对象时，不需要直视视觉刺激区域本身，而是根据操作意图注视视觉刺激区域周围的区域。图5B中还示例性在视觉刺激区域周围画出了多个辅助图形，该多个辅助图形主要用于向用户指示注视的位置。例如，图5B中示例性画出了4个辅助图形，假设视觉刺激叠加在可操作对象的显示区域中，那么，该4个辅助图形分别设置在该可操作对象的上下左右四个方向上，该4个辅助图形可以指示可操作对象的4个不同的移动方向。用户想让该可操作对象向某个移动，那么，用户可以注视该可操作对象周围该某个方向上的辅助图形。基于上述视网膜-皮层映射原理，用户注视该某个方向上的辅助图形可以产生对应时空分布特征的脑电信号，数据处理器可以识别出该脑电信号的时空分布特征，从而匹配出对应的操作命令。
需要说明的是，上述图5B中所示的辅助图形的数量和形状仅为一个示例，视觉刺激区域周围的辅助图形的数量可以是任意大于1的整数个，该辅助图形的形状可以是任意几何图形的形状等，本申请对辅助图形的数量和形状不做限制。
具体的，上述用户注视多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号为用户注视该不同的区域时在初级视觉皮层中不同的区域诱发的。具体的，该不同的脑电信号为基于视网膜-皮层映射原理采集到的时空分布特征不同的信号。该时空分布特征不同为被诱发的脑电信号的特征波形中波峰出现的时间不同，以及在初级视觉皮层中该被诱发的脑电信号出现的区域不同。上述第一区域是基于脑电信号在初级视觉皮层中出现的区域确定的。具体实现过程中，脑电信号的时空分布特征可以指示用户注视的区域相对于视觉刺激区域的方向，因此，上述第一区域是基于上述第一信号的时空分布特征确定的。为了便于理解，示例性的，可以参见图5C和图5D。
图5C中示出了两个不同的脑电信号(脑电信号A和脑电信号B)的特征波形示意图，假设该脑电信号A为用户注视视觉刺激区域的左侧区域产生的脑电信号，该脑电信号B为用户注视该视觉刺激区域的右侧区域产生的脑电信号。用户注视该视觉刺激区域的左侧区域，则视觉刺激区域在用户视场的右侧区域，基于上述介绍的视网膜-皮层映射原理可知，视觉信息将会被传导至初级视觉皮层的左侧枕叶，即初级视觉皮层的左侧枕叶被激活诱发较高强度的脑电信号(经采集器采集即得到脑电信号A)，激活区域可以示例性地参见图5D中的(a)。用户注视该视觉刺激区域的右侧区域，则视觉刺激区域在用户视场的左侧区域，基于上述介绍的视网膜-皮层映射原理可知，视觉信息将会被传导至初级视觉皮层的右侧枕叶，即初级视觉皮层的右侧枕叶被激活诱发较高强度的脑电信号(经采集器采集即得到脑电信号B)，激活区域可以示例性地参见图5D中的(b)。从图5D可以看出该两个脑电信号的空间分布特征不相同。另外，在图5C中可以看到，脑电信号A和脑电信号B的特征波形中波峰(波谷)出现的时间不相同，因此，可以看出该两个脑电信号的时间分布特征不相同。需要说明的是，上述的左侧和右侧均为基于用户自身的左侧和右侧来确定。图5C和图5D所示仅为一个示例，不构成对本申请的限制。
为了便于理解上述视觉刺激区域周围，可以示例性地参见图5E。在图5E中，以视觉刺激区域的中心点O为原点，构建极坐标，OX为该极坐标的极轴，M为注视区域的中心点，OM与OX之间的夹角为
Figure BDA0003080724930000131
用户注视原点O和注视M之间的视线的夹角为θ，在本申请中，该
Figure BDA0003080724930000132
的取值范围可以为0度至360之间的任意角度，该θ的取值范围为0度至180之间的任意角度，但是θ不取0度，即注视区域与视觉刺激区域不重叠。即满足该
Figure BDA0003080724930000133
且θ∈(0°,180°]的区域或位置均属于视觉刺激区域的周围的区域或位置。
可选的，当该用户注视该第一区域时的视线与当该用户注视该视觉刺激区域中心点时的视线之间的夹角在预设范围内，即上述夹角θ的取值在该预设范围内，例如该夹角θ不大于5°，从而可以保证视觉刺激区域对用户的视觉刺激强度足够诱发较高强度的脑电信号。
综上，基于脑电信号的时空分布特征的不同，或者说基于脑电信号的时空分布特征的特异性，可以识别出不同类别的脑电信号以识别出用户注视的区域，或者识别出用户注视的位置相对于视觉刺激区域的方向，进而可以匹配出用户意图操作的指令。
一种可能的实施方式中，可以设计视觉刺激区域的大小，以及设计辅助图形与视觉刺激区域的距离。具体的，用户直视视觉刺激区域的中心点得到的视线，与用户直视该视觉刺激区域中离该中心点最远的点得到的视线之间的夹角为不大于第一预设度数的视角，该第一预设度数例如可以为0.5°视角或者0.6°视角等等，该第一预设度数可以根据实际需要设置。另外，视觉刺激区域与任一辅助图形之间的距离在人机界面中可以用一条线段来表示，那么，可以设计用户直视该线段的一个端点得到的视线，与用户直视该线段的另一个端点得到的视线之间的夹角不大于第二预设度数的视角，该第二预设度数例如可以为2°视角或者3°视角等等，该第二预设度数可以根据实际需要设置。为了便于理解，示例性地，可以参见图6所示的视线和夹角。
由于上述辅助图形的作用是向用户指示注视的位置，引导用户下发可操作命令，该辅助图形存在与否不影响用户注视不同的区域下发不同的命令，因此，一种可能的实施方式中，人机界面中视觉刺激区域的周围可以不显示或者部分显示该辅助图形。
一种可能的实施方式中，本申请中人机界面显示的视觉刺激区域中的视觉刺激模式可以进行设计。基于前面的描述，该视觉刺激模式可以包括上述闪烁刺激模式、运动刺激模式、元素跳变刺激模式及混合刺激模式。示例性地，可以参见图7。在图7中，以视觉刺激组成元素为矩形、圆形、散点和横线为例，闪烁刺激模式中，视觉刺激区域内的矩形或散点可以时而显现时而消失。在运动刺激模式中，视觉刺激区域内的横线可以向上运动，或者，视觉刺激区域内的散点可以逆时针循环移动等。在元素跳变刺激模式中，视觉刺激区域内的视觉刺激组成元素由圆形跳变为散点。图7中所示的矩形、散点或横线也可以是元素跳变模式中的视觉刺激的组成元素，例如，一个元素跳变模式的视觉刺激可以是该矩形、散点和横线之间任意切换跳变。可选的，在切换跳变的过程中元素的颜色也可以改变等等。图7中均以有辅助图形为例示出，在具体实施过程中，可以隐去辅助图形。
示例性地，在图7中，闪烁刺激模式中视觉刺激区域中的视觉刺激组成元素可以以0.5秒为周期交替显现和消失，即显现0.5秒后消失0.5秒等。示例性地，运动刺激模式中视觉刺激区域中的视觉刺激组成元素在0.5秒内顺时针移动、逆时针移动或者上下移动后静止0.8秒等等。示例性地，元素跳变刺激模式中，可以是多个视觉刺激的组成元素之间来回切换显示，每次切换后显示0.3秒等。
为了便于理解各个视觉刺激模式中的刺激时序，示例性地可以参见图8。图8示例性地示出了闪烁刺激模式、运动刺激模式和元素跳变模式的刺激时序示意图。在图8中，闪烁刺激模式的视觉刺激组成元素分别在t0时刻和t2时刻显现并显现一定的时长，其它时间可以不显现。而，运动刺激模式的视觉刺激组成元素分别在t1时刻和t3时刻开始运动并运动一定的时长，其它时间可以不运动即保持静止。元素跳变模式则在t0至t3时刻中每个时刻都显现一个视觉刺激的组成元素，相邻的两个视觉刺激组成元素可以不同(例如形状、颜色底纹中的至少一项不同)，每个组成元素显现一定时长后消失，然后再显现另外一个组成元素。可选的，元素跳变模式中的元素切换可以是瞬间切换，即两个元素显现之间无等待时长。图8所示仅为示例，不构成对本申请的限制。
一种可能的实施方式中，上述混合刺激模式可以包括该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式交替呈现的刺激模式。为了便于理解，示例性地，可以参见图9。
图9示例性地示出了一种闪烁刺激模式和运动刺激模式结合的混合刺激模式的刺激时序示意图。在图9中可以看到，闪烁刺激模式的刺激和运动刺激模式的刺激可以交替出现。可选的，图9中的闪烁刺激模式1和闪烁刺激模式2可以是相同的刺激模式，也可以是不同的刺激模式。对于不同的闪烁刺激模式，可以是视觉刺激组成元素的形状、颜色、底纹、闪烁频率或者显现的时长中的一项或多项不同。同理，可选的，图9中的运动刺激模式1和运动刺激模式2可以是相同的刺激模式，也可以是不同的刺激模式。对于不同的运动刺激模式，可以是视觉刺激组成元素的形状、颜色、底纹、运动的方式、运动的速度或者运动的时长中的一项或多项不同。该运动的方式可以包括顺时针运动、逆时针运动、上下运动或者沿着任意方向任意移动等等。
另外，除了闪烁刺激模式和运动刺激模式结合的混合刺激模式，上述闪烁刺激模式、运动刺激模式和元素跳变刺激模式中的两个模式或三个模式结合得到的其它混合刺激模式的刺激时序可以示例性地参考上述图9，不再赘述。而对于不同的元素跳变刺激模式，可以是视觉刺激组成元素的形状、颜色、底纹、跳变频率或者显现的时长中的一项或多项不同。
一种可能的实施方式中，混合刺激模式中包括第一刺激模式，该第一刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中的一种；该第一刺激模式至少显示两次，其中，该第一刺激模式的第一次显示和第二次显示的视觉刺激不同。为了便于理解，示例性地，参见图10和表1，或者参见图11和表2。
图10中示出了一种混合刺激模式中视觉刺激组成元素的形状，以横线、三角形和正方形为例，其中，横线以运动刺激模式实现刺激，三角形和正方形以闪现模式实现刺激。三角形和正方形的颜色可以相同，例如均为红色；或者，可以不同，例如三角形为蓝色，正方向为绿色等等。另外，横线的颜色也可以设计，可以是任意颜色。参见表1，表1示例性示出了该图10所示的混合刺激模式的刺激时序。
表1
Figure BDA0003080724930000141
Figure BDA0003080724930000151
在表1中可以看到，该混合刺激模式中，假设刺激总时长为2秒，将该2秒时间窗划分为4个0.5秒的子时间窗。其中，第1子时间窗(t0)和第3子时间窗(t2)为闪烁刺激模式，采用三角形和正方形刺激视觉，且呈现持续0.2秒后消失。第2子时间窗(t1)和第4子时间窗(t3)为运动刺激模式，分别采用横线向上移动和向下移动的方式刺激视觉，横线颜色可以与前一个子窗显示的对象的颜色保持一致，且移动0.2秒后消失。
需要说明的是，表1中的刺激总时长不限定是2秒，各个子时间窗的时长也不限定为0.5秒，可以是其它的时长例如0.6秒或0.4秒等等。另外，各个刺激视觉的对象显示或移动的时长可以相同，或者可以不相同，例如，显示三角形的时长可以为0.3秒，横线向上移动的时长可以为0.4秒，显示正方向的时长可以为0.1秒，横线向下移动的时长可以为0.2秒等等，本申请对此不做限制。此外，在具体实现中，图10中的辅助图形可以省略不显现。
示例性地，参见图11，图11中示出了另一种混合刺激模式中视觉刺激组成元素的形状，均以散点为例。其中，在运动刺激模式中，散点可以突然散开或者突然聚集实现刺激；在运动刺激模式中，散点可以顺时针转动或者逆时针转动实现刺激。另外，散点的颜色也可以设计，可以是任意颜色。可选的，不同刺激模式下的散点的颜色可以不同，或者可以相同。参见表2，表2示例性示出了该混合刺激模式的刺激时序。
表2
Figure BDA0003080724930000152
在表2中可以看到，该混合刺激模式中，假设刺激总时长为3秒，将该3秒时间窗划分为4个子时间窗。其中，第1子时间窗(t0)和第3子时间窗(t2)为运动刺激模式，第2子时间窗(t1)和第4子时间窗(t3)为闪烁刺激模式。具体的，第1子时间窗中采用散点逆时针转动来刺激视觉，且持续转动0.3秒后消失；第2子时间窗中采用散点散开来刺激视觉，且持续循环散开0.2秒后消失；第3子时间窗中采用散点顺时针转动来刺激视觉，且持续转动0.5秒后消失；第4子时间窗中采用散点聚集来刺激视觉，且持续循环聚集0.6秒后消失。
需要说明的是，表2中的刺激总时长、各个子时间窗的时长以及各个刺激的持续时长均不做限制。另外，上述图10、表1、图11和表2所示的混合刺激模式仅为本申请的示例，不构成对本申请的限制。
一种可能的实施方式中，上述视觉刺激模式还可以包括闪烁刺激模式和元素跳变刺激模式的结合模式，运动刺激模式和元素跳变刺激模式的结合模式，以及闪烁刺激模式、运动刺激模式和元素跳变刺激模式三者的结合模式。具体的结合方式可以示例性参考上述图9、图10、表1、图11和表2的相关描述，不再举例赘述。
通过上述任意一种对标定刺激的设计，可以提高视觉刺激的新异形，进而可以诱发高信噪比的脑电信号，提高不同脑电信号特征识别的准确率，进而提高识别用户操作意图的准确率。特别地，采用上述混合刺激模式刺激用户视觉，可以进一步提高视觉刺激的新异性，并且可以减弱重复抑制效应，即可以抑制脑电信号因相同刺激模式重复显现而衰弱的效应。
为了便于理解该重复抑制效应，可以参见图12A至图12C。图12A所示为闪烁刺激模式刺激下产生的两个脑电信号的特征波形示意图，可以看到相同模式的刺激下，产生的脑电信号的幅度随着刺激时间的推移逐渐变小，即随着刺激时间的推移产生的脑电信号越来越弱。图12B所示为运动刺激模式刺激下产生的两个脑电信号的特征波形示意图，同样的，可以看到相同模式的刺激下，产生的脑电信号的幅度随着刺激时间的推移逐渐变小，即随着刺激时间的推移产生的脑电信号越来越弱。图12C所示为混合刺激模式刺激下产生的两个脑电信号的特征波形示意图，可以看到，混合刺激模式刺激下产生的脑电信号的幅度不会随着刺激时间的推移而减弱，仍然能够保持较大幅度。比较图12A、图12B和图12C可以看到，采用上述混合刺激模式，可以有效减弱重复抑制效应，提高脑电信号的信噪比，进而可以提高脑电信号识别的正确率和解码效率。
一种可能的实施方式中，基于上述介绍的任意一种本申请设计的标定刺激，视觉刺激区域可以设计在用户的第三预设度数的视角范围内，示例性的，该第三预设度数可以是1°或者1.5°等等。该第三预设度数不大于2°。这么设计的视觉刺激区域的尺寸较小，刺激强度不大，减少对用户视觉的强烈刺激，从而减轻用户的视觉疲劳。但由于采用了上述介绍的本申请设计的标定刺激，虽然刺激区域尺寸小，刺激强度不大，仍然可以诱发用户产生稳定的高信噪比的脑电信号，从而可以提高脑电信号模式识别的准确率，进而提高用户意图操作命令判别的准确率。可选的，具体实施例中可以通过传感器等设备测量该第三预设度数。
一种可能的实施方式中，视觉刺激区域的大小可以随着用户的眼睛与该人机界面的距离增大而增大，和/或随着该用户的眼睛与该人机界面的距离减小而减小。
综上所示，基于上述视网膜-皮层映射原理，本申请设计了一种新型的人机交互范式，用户通过注视视觉刺激区域周围不同方向上的区域，可以诱发时空分布特征不同的脑电信号，通过识别出脑电信号的模式确定用户意图下发的操作命令，从而可以实现基于单一视觉刺激区域下发多种不同操作命令的功能，且可以连续执行，避免现有的技术方案中需要注视多个视觉刺激造成对用户视觉的干扰与不适。
基于上述介绍的人机交互方法，下面示例性地结合具体的应用场景介绍该人机交互方法的应用。
一种可能的实施方式中，视觉刺激区域与可操作对象的显示区域重叠；上述步骤402中不同的脑电信号用于指示对该可操作对象执行不同的操作命令。可选的，上述多个区域为分布在以视觉刺激区域为中心向周围发散的多个方向上的区域；上述不同的脑电信号具体用于指示让该可操作对象往该多个方向中不同的方向移动。上述步骤402中的第一区域为分布在第一方向上的区域，该第一方向为该多个方向中的一个。为了便于理解该多个方向，可以参加图13。
图13示例性示出了以视觉刺激区域为中心向周围发散的多个方向，该视觉刺激区域与可操作对象的显示区域可以有重叠。该多个方向是用户面对人机界面看向视觉刺激区域的情况下，站在用户的角度确定的方向，具体如图13所示，该多个方向可以包括上、下、左、右、左上、左下、右上和右下八个方向。当用户意图操作可操作对象往某个方向移动时，只需注视该可操作对象上叠加显示的视觉刺激区域周围对应的某个方向上的位置或区域，即可完成操作指令的下发。需要说明的是，图13中所示的方向仅为一个示例，具体实现中不限制该多个方向的方向数量和具体方向的角度。
示例性地，以在VR/AR眼镜中的应用为例介绍。
在该VR/AR眼镜应用场景中，上述介绍的数据采集模块、数据处理模块和视觉呈现模块全部部署于VR/AR眼镜。用户佩戴该VR/AR眼镜后，可以通过VR/AR眼镜中的视觉呈现模块为用户展示人机界面，该人机界面中包括可操作对象和视觉刺激区域，用户注视视觉刺激区域周围的区域诱发脑电信号，通过VR/AR眼镜中的数据采集模块采集用户的脑电信号，并通过VR/AR眼镜中的数据处理模块识别脑电信号的模式以判别出用户意图的操作命令，然后转达视觉呈现模块执行该操作命令，并通过视觉呈现模块将执行结果展现在人机界面中。为了便于理解整个流程，可以示例性地参见图14A。
图14A以VR环境下的游戏地图这一实际应用场景举例。示例性地，图14A中所示即为用户佩戴上VR/AR眼镜后看见的人机界面，该人机界面中的可操作对象为一个人物，视觉刺激区域叠加在可操作对象的显示区域上，视觉刺激区域周围或者说可操作对象周围还显示了4个辅助图形，该4个辅助图形分别指示向上、下、左和右这四个方向走动(如图14A中所示)；在具体实现中，该4个辅助图形可以省略不显示。以用户意图操作该可操作对象向上走为例，用户可以注视指示向上走的辅助图形(当辅助图形省略不显示时，可以注视该指示向上走的辅助图形所在的位置区域)，这时视觉刺激区域在用户视场的下半侧，该视觉刺激诱发用户产生对应时空分布特征的脑电信号，VR/AR眼镜中的数据采集模块采集随用户的操作意图产生的脑电信号，完成去噪、放大等模拟信号处理和A/D转换等预处理操作之后，将预处理之后的信号发送到数据处理模块，数据处理模块可以基于上述介绍的视网膜-皮层映射原理和脑电信号解码原理和算法，进行脑电信号的特征处理和特征识别，判定用户注视位置与视觉标定刺激的相对空间位置关系，从而识别用户意图下发的操作指令为让可操作对象向上走。进而将该具体的操作命令通知到VR/AR眼镜中的视觉呈现模块，由该视觉呈现模块执行该操作命令，并将执行后结果显示在人机界面中。示例性地，显示执行后的结果的人机界面可以参见图14B，可以看到，相比于图14A，图14B中的可操作对象向上移动了。
一种可能的实施方式中，以智慧显示屏的应用为例介绍。在该应用场景中，用户通过注视智慧显示屏视觉刺激区域周围的区域，可以实现拖拽窗口位置、调整可操作对象的大小(例如调整窗口大小、调整图片的大小、调整人物显示区域的大小或者调整虚拟键盘的按键大小等)、滑动控制按钮位置、调整视频播放进度条或者调节音量条等操作命令的下发。
在智慧显示屏的应用场景中，上述介绍的数据采集模块可以部署于独立佩戴于用户头部的带有脑电传感器的采集器。可选的，该采集器可以集成于眼镜或耳机等可穿戴设备中，也可以是独立佩戴于用户头部的其他硬件形态，本申请对此不作限制。数据处理模块和视觉呈现模块可以部署于智慧显示屏中。采集器与智慧显示屏通过无线网络进行通信。
用户在头部佩戴带有脑电传感器的采集器后，可以注视智慧显示屏展示的人机界面，该人机界面中包括可操作对象和视觉刺激区域，用户注视视觉刺激区域周围的区域诱发脑电信号，通过采集器采集用户的脑电信号，然后，采集器将采集到的脑电信号发送给智慧显示屏，智慧显示屏中的数据处理模块识别脑电信号的时空分布特征以判别出用户意图的操作命令，然后转达视觉呈现模块执行该操作命令，并通过视觉呈现模块将执行结果展现在人机界面中。为了便于理解整个流程，可以示例性地参见图15A。
图15A中所示为智慧显示屏显示的人机界面，该人机界面中示例性地示出了多个可操作对象，该多个可操作对象包括可操作窗口、可移动对象(例如桌面的图标等)和可拖曳功能键(例如音量键或者视频播放进度条等等)，需要说明的是该多个可操作对象在实际应用场景中可以不同时显示在一个人机界面中。另外，该多个可操作对象每个对象的显示区域都叠加显示有一个视觉刺激区域，该视觉刺激区域可以叠加显示在可操作对象显示区域的任意位置，本申请对此不做限制。图15A中还示例性画出了视觉刺激区域向周围散发的多个方向。该多个方向的相关描述可以参见上述对图13的描述，此处不再赘述。
以图15A中的可拖曳功能键1为例，当用户意图让该可拖曳功能键1向右滑动时，用户可以注视该可拖曳功能键1右侧方向上的区域，由于可拖曳功能键1上叠加的视觉刺激区域的刺激，用户产生了诱发脑电信号，戴在用户头上的采集器采集到该脑电信号，经过预处理后发送给数据处理模块，数据处理模块基于上述视网膜-皮层映射原理和脑电信号解码算法识别出该脑电信号的时空分布特征，进而识别出用户注视的位置相对于可拖曳功能键1上叠加的视觉刺激区域的方向为右侧方向，从而解码出用户对该可拖曳功能键1的意图操作为向右滑动，执行该操作并通过视觉呈现模块显示在人机界面中。
以图15A中的可移动对象为例，当用户意图让该可移动对象向右上移动时，用户可以注视该可移动对象右上侧方向上的区域，由于可移动对象上叠加的视觉刺激区域的刺激，用户产生了诱发脑电信号，戴在用户头上的采集器采集到该脑电信号，经过预处理后发送给数据处理模块，数据处理模块基于上述视网膜-皮层映射原理和脑电信号解码算法识别出该脑电信号的时空分布特征，进而识别出用户注视的位置相对于可移动对象上叠加的视觉刺激区域的方向为右上侧方向，从而解码出用户对该可移动对象的意图操作为向右上方移动，执行该操作并通过视觉呈现模块显示在人机界面中。
以图15A中的可操作窗口为例，当用户意图让该可操作窗口向左下拉伸时，用户可以注视该可操作窗口左下侧方向上的区域，由于可操作窗口上叠加的视觉刺激区域的刺激，用户产生了诱发脑电信号，戴在用户头上的采集器采集到该脑电信号，经过预处理后发送给数据处理模块，数据处理模块基于上述视网膜-皮层映射原理和脑电信号解码算法识别出该脑电信号的时空分布特征，进而识别出用户注视的位置相对于可操作窗口上叠加的视觉刺激区域的方向为左下侧方向，从而解码出用户对该可操作窗口的意图操作为向左下方拉伸，执行该操作并通过视觉呈现模块显示在人机界面中。可操作窗口向左下拉伸后的人机界面可以示例性地参见图15B，可以看到图15B所示的可操作窗口相比于图15A所示的可操作窗口向左下侧方向拉伸了。
需要说明的是，上述图14A、图14B、图15A和图15B所述的人机界面、根据用户注视区域相对于视觉刺激区域的方向以及用户意图的操作等等，仅为一个示例，不构成对本申请的限制。
一种可能的实施方式中，视觉呈现模块显示给用户的人机界面中可以包括多个该视觉刺激区域；上述步骤402中所述的第一区域可以为该多个该视觉刺激区域周围的多个区域中的区域；且上述步骤402中所述的第一信号可以包括该多个视觉刺激区域刺激用户的视觉产生的多个脑电信号，该多个脑电信号可以分别指示该第一区域与该多个视觉刺激区域的位置关系。具体的，上述步骤402中的第一操作命令为基于用户注视的该第一区域确定，该第一区域为基于该多个脑电信号确定，即基于多个视觉刺激诱发的脑电信号组合定位用户注视的区域或位置。
可选的，在人机界面中包括多个视觉刺激区域的情况下，该多个视觉刺激区域中任意两个视觉刺激区域中的视觉刺激不同，该视觉刺激不同包括该任意两个视觉刺激区域中的视觉刺激的组成元素的形状、颜色、底纹或视觉刺激模式中的一项或多项不同。
为了便于理解基于多个视觉刺激诱发的脑电信号组合定位用户注视的区域或位置，示例性地可以参见图16，图16以两个视觉刺激诱发的脑电信号为例描述如何组合定位用户注视的区域或位置。图16所示的人机界面中包括视觉刺激区域1和视觉刺激区域2，并示例性画出了视觉刺激区域向周围散发的多个方向，该多个方向的相关描述可以参见上述对图13的描述，此处不再赘述。图16还示例性标示出了用户的注视区域，假设该注视区域在视觉刺激区域1的右侧方向，且在视觉刺激区域2的下侧方向。当用户注视图16中的注视区域时，由于视觉刺激区域1的刺激，基于上述介绍的视网膜-映射原理，数据采集模块可以在用户的初级视觉皮层的左侧采集到诱发脑电信号，通过数据处理模块的分析解码可以确定用户注视的区域在视觉刺激区域1的右侧方向；又基于视觉刺激区域2的刺激，数据采集模块可以在初级视觉皮层的上侧采集到诱发脑电信号，通过数据处理模块的分析解码可以确定用户注视的区域在视觉刺激区域2的下侧方向；结合该两个方向，确定该两个方向延伸交叉的区域即为用户注视的区域。
图16只是以两个视觉刺激区域为例介绍，人机界面包括两个以上的视觉刺激区域时，也可以参见上述图16所示的方式组合定位用户的注视区域。
一种可能的实施方式中，当人机界面中包括多个视觉刺激区域的情况下，可以忽略离注视位置较远的视觉刺激区域，通过离注视位置较近的两个或两个以上的视觉刺激区域诱发的脑电信号来定位用户注视的区域。具体的，在数据处理模块中，可以忽略信噪比不高的脑电信号，采用信噪比较高的脑电信号来判断解码用户注视区域即可。该信噪比不高的脑电信号即为离注视位置较远的视觉刺激区域诱发的信号，由于距离较远，诱发的信号信噪比不高。信噪比较高的脑电信号即为离注视位置较近的两个或两个以上的视觉刺激区域诱发的脑电信号，由于距离较近，诱发的信号信噪比较高。
基于上述多个视觉刺激区域组合定位用户注视位置的原理，下面结合具体应用场景做示例性介绍。
可选的，上述第一区域包括第一子区域和第二子区域，该多个脑电信号包括第一子信号和第二子信号；该第一子信号为该用户注视该第一子区域产生的脑电信号，该第二子信号为该用户注视该第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；上述步骤402中的第一操作命令根据第一信号确定，包括，该第一操作命令根据该第一子信号和第二子信号共同确定。为了便于理解，示例性地，以智慧显示屏的应用为例介绍。在该应用场景中，用户通过注视智慧显示屏中多个视觉刺激区域周围的区域，可实现注视位置的定位，从而可以实现可操作对象选中等操作命令的下发。
在智慧显示屏的应用场景中，关于数据采集模块，数据处理模块和视觉呈现模块的部署和通信方式参见前面的描述，此处不再赘述。
用户在头部佩戴带有脑电传感器的采集器后，可以注视智慧显示屏展示的人机界面，该人机界面中包括至少一个可操作对象和多个视觉刺激区域，在用户意图操作该至少一个可操作对象时，可以注视该至少一个可操作对象的显示区域组成的矩形区域中任一条对角线两端的区域；或者，若用户意图操作的至少一个对象处在同一行，那么，可以注视该至少一个对象的显示区域的两端区域。通过采集器采集用户注视区域周围的至少两个视觉刺激区域所诱发的脑电信号(每个视觉刺激均诱发相应的脑电信号)，经预处理后发送给数据处理模块，数据处理模块基于上述的组合定位原理定位到用户注视的两个区域，然后，定位到以该两个区域的中心点为对角点的矩形区域覆盖到的可操作对象，并通过视觉呈现模块将定位后的操作结果(例如选中等操作结果)显示在人机界面上。
上述选中的方式可以是同有颜色的矩形框把选中的区域框起来显示，或者，整个选中区域高亮显示，或者，在选中的对象下方显示下划线等等，本申请对此不做限制。被选中的可操作对象可以是图片、文本或者图标等等，本申请对此也不做限制。
为了便于理解整个流程，可以示例性地参见图17。图17中所示为移动终端(例如手机)显示屏显示的人机界面，该人机界面中示例性地示出了多个可操作对象(图中的小矩形)和多个视觉刺激区域(图中的小黑圆点)。该多个可操作对象可以是图片、文件或者图标等等。示例性地，该多个视觉刺激区域部署于人机界面的四个角落和中心。图17中还标示出了用户意图选中的区域和用户的注视区域1和2。
在图17所示的人机界面中，在用户意图选中图中所示的意图选中区域时，可以先注视图中的注视区域1，然后，移动视线注视图中的注视区域2。由注视区域周围的多个视觉刺激区域刺激诱发脑电信号，通过采集器采集用户的脑电信号，经预处理后发送给数据处理模块，数据处理模块基于上述的组合定位原理定位到用户注视的该两个区域的位置，然后，选中以该两个区域的中心点为对角点的矩形区域覆盖到的可操作对象，即选中图17中意图选中区域内的对象，然后，并通过视觉呈现模块将选中的结果显示在人机界面上。
一种可能的实施方式中，数据处理模块定位到两个注视区域的位置后，还可以计算该两个位置之间的距离，若该距离大于预设的距离值时，视觉呈现模块在显示选取对象的过程中可以加快选取的速度。例如，以选中的对象周围可以用预设的颜色标示，那么，在两个注视区域之间的距离大于预设的距离值时，可以加快在选中的对象周围标示颜色的速度。示例性地，正常选中速度时颜色标示需要0.1秒，那么，加快之后可以缩短至0.05秒等等。在本实施例中，加快对象的选中速度可以降低操作命令的下发时间，提升用户操作的流畅感。
一种可能的实施方式中，上述第一区域为可操作对象的显示区域；上述对可操作对象执行第一操作命令，包括：对可操作对象执行选中的操作命令。示例性地，在智慧显示屏的应用场景中，用户通过注视智慧显示屏中多个视觉刺激区域周围的可操作对象的显示区域，可以实现可操作对象的突显等选中操作命令的下发。该突显操作例如可以是对可操作窗口的放大、对目标区域的渲染增强、对信息的放大显示等等。
为了便于理解整个流程，可以示例性地参见图18。图18中所示为智慧显示屏显示的人机界面，该人机界面中示例性地示出了多个可操作对象和多个视觉刺激区域(图中的小黑圆点)。该多个可操作对象可以是新闻标题的显示区域、文本显示区域或者图片显示区域等等。示例性地，该多个视觉刺激区域部署于人机界面的四个角落和中间界面的多个位置中。基于图18所示人机界面，以可操作对象1为例，在用户的视线注视的区域为可操作对象1时，由该可操作对象1周围的多个视觉刺激区域刺激诱发脑电信号，通过采集器采集用户的脑电信号，经预处理后发送给数据处理模块，数据处理模块基于上述的组合定位原理定位到用户注视区域的位置，然后，将用户注视区域的可操作对象1选中，并通过视觉呈现模块将选中的可操作对象1突显显示在人机界面上。
可选的，多个视觉刺激区域中的部分或全部设置在人机界面的边缘区域。示例性地，该人机界面的形状为多边形，该多个视觉刺激区域中的部分或全部设置在该多边形的多个内角的区域。为了便于理解可以参见上述图17或图18中多个视觉刺激区域的部署。在人机界面的四周设置视觉刺激区域，能够基于上述视网膜-映射原理，通过多个视觉刺激区域组合定位到人机界面中用户注视的任意位置。
一种可能的实施方式中，本申请提供的人机交互方法还可以包括根据用户的脑电信号的特征改变视觉刺激区域中的视觉刺激模式。
具体实现中，在采用不同的视觉刺激模式刺激视觉时，用户可能对不同的视觉刺激模式的视觉刺激的敏感程度不同。例如，对于用户A，闪烁刺激模式的视觉刺激诱发的脑电信号的信噪比大于运动刺激模式的视觉刺激诱发的脑电信号。另外，每个用户都对应有敏感程度相对较高的视觉刺激模式，例如，用户A在通过闪烁刺激模式刺激视觉时可以诱发信噪比较高的脑电信号，而用户B和用户C在通过运动刺激模式刺激视觉时可以诱发信噪比较高的脑电信号。因此，为了能够采集到高信噪比的脑电信号，本申请中可以根据各个用户视觉刺激诱发的脑电信号的特征适应性地为用户匹配敏感度较高的视觉刺激模式。该脑电信号的特征例如可以是脑电信号的信噪比或者脑电信号的强度等，该强度例如可以是脑电信号的波峰或波谷的幅度等。
在具体实施例中，可以通过训练的方式学习不同用户更敏感的视觉刺激模式。示例性地，可以提前使用不同的视觉刺激模式刺激用户的视觉诱发不同的脑电信号，通过比较该不同的脑电信号的信噪比确定用户更敏感的视觉刺激模式。可选的，针对确定好更敏感的视觉刺激模式的用户，可以将该更敏感的视觉刺激模式的信息与该用户的信息关联存储起来，以便下一次该用户进行人机交互时快速找到用户更敏感的视觉刺激模式，并以该模式在人机界面显示视觉刺激。在更敏感的视觉刺激模式不同的用户进行人机界面交互时，视觉呈现模块可以快速将人机界面中视觉刺激区域内的视觉刺激模式调整为用户更敏感的视觉刺激模式。
可选的，用户更敏感的视觉刺激模式也可以是由用户指定后，将该指定的更敏感的视觉刺激模式的信息与该用户的信息关联存储起来，以备后续使用。
需要说明的是，本实施例所述的改变视觉刺激区域中的视觉刺激模式，可以是闪烁刺激模式、运动刺激模式和元素跳变刺激模式之间的改变；或者，可以是闪烁刺激模式、运动刺激模式和元素跳变刺激模式中同一种刺激模式内视觉刺激组成元素的改变，例如颜色、形状和底纹中的至少一项的改变等等。
本申请实施例通过适应性调整人机界面显示的视觉刺激模式，可以诱发高信噪比的用户脑电信号，以提高脑电信号的时空分布特征的识别准确率，进而提高用户意图操作命令的识别准确率。
综上所述，本申请实施例采用本发明设计的脑-机接口新型交互方法，相对于现有技术，其可操作对象与视觉刺激中心不重合，视觉刺激采用标定模块，其尺寸小、刺激微弱，用户通过注视视觉标定刺激周围区域即可完成操作指令下发。用户无需直视刺激，减少对用户形成的干扰，用户视觉体验友好，不易引发用户视觉疲劳，可长时间使用。其次，采用本发明设计的视觉标定刺激范式，相对于现有技术，能够实现单一视觉刺激对应多个操作命令。利用视觉标定刺激不在用户视线中心时，用户注视视觉标定刺激周围不同位置诱发的时空特异性脑电特征，判断用户正在注视的位置与视觉标定刺激的上下左右的相对空间位置关系，通过视网膜-皮层映射原理实现对用户注视位置的高效解码。特别是采用本发明设计的视觉标定刺激设计方法，针对视觉标定刺激，将闪烁刺激模式、运动刺激模式和元素跳变刺激模式中至少两种基础刺激模式串行混合，并分别采用新异性调制，显著减弱重复抑制效应，为解码提供高信噪比的脑电空间特征，提升解码速度和正确率。
上述主要对本申请实施例提供的人机交互方法进行了介绍。可以理解的是，各个设备为了实现上述对应的功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本文中所公开的实施例描述的各示例的单元及步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图19示出了装置的一种可能的逻辑结构示意图，该装置可以是上述图4所述方法及其可能的实施方式中的视觉呈现模块或VR/AR眼镜，或者可以是该视觉呈现模块或VR/AR眼镜中的芯片，或者可以是该视觉呈现模块或VR/AR眼镜中的处理系统等。该装置1900包括显示单元1901和处理单元1902。其中：
显示单元1901，用于显示人机界面，该人机界面包括可操作对象和视觉刺激区域；该显示单元1901可以执行图4所示的步骤401中所述的操作。
处理单元1902，用于对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。该处理单元1902可以执行图4所示的步骤402中所述的操作。
一种可能的实施方式中，该不同的脑电信号在初级视觉皮层中出现的区域不同，该第一区域是基于该脑电信号在初级视觉皮层中出现的区域确定的。
一种可能的实施方式中，该视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；该混合刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种模式结合的刺激模式；
该闪烁刺激模式为该视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，该运动刺激模式为该视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，该元素跳变刺激模式为该视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式。
一种可能的实施方式中，该混合刺激模式包括该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
一种可能的实施方式中，该至少两种刺激模式中包括第一刺激模式，该第一刺激模式为该闪烁刺激模式、该运动刺激模式和该元素跳变刺激模式中的一种；
该第一刺激模式至少显示两次，其中，该第一刺激模式的第一次显示和第二次显示的视觉刺激不同。
一种可能的实施方式中，该视觉刺激区域在该用户的2度视角的范围内。
一种可能的实施方式中，该视觉刺激区域的大小随着该用户的眼睛与该人机界面的距离增大而增大，和/或随着该用户的眼睛与该人机界面的距离减小而减小。
一种可能的实施方式中，该视觉刺激区域与该可操作对象的显示区域重叠；该多个区域为分布在以该视觉刺激区域为中心向周围发散的多个方向上的区域；该第一区域为分布在第一方向上的区域，该第一方向为该多个方向中的一个。
一种可能的实施方式中，该多个方向上的区域包括至少一个辅助图形，该至少一个辅助图形用于向该用户指示注视的位置；该第一区域包括该至少一个辅助图形中的第一辅助图形；该第一信号为该用户注视该第一辅助图形产生的脑电信号。
一种可能的实施方式中，该第一操作命令指示该可操作对象向该第一方向移动。
一种可能的实施方式中，该第一操作命令指示往该第一方向调整该可操作对象的显示区域大小。
一种可能的实施方式中，该人机界面包括多个该视觉刺激区域；该第一信号包括该多个视觉刺激区域刺激该用户的视觉产生的多个脑电信号；该多个脑电信号分别指示该第一区域与该多个视觉刺激区域的位置关系。
一种可能的实施方式中，该第一区域包括第一子区域和第二子区域，该多个脑电信号包括第一子信号和第二子信号；该第一子信号为该用户注视该第一子区域产生的脑电信号，该第二子信号为该用户注视该第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；该第一操作命令根据第一信号确定，包括，该第一操作命令根据该第一子信号和第二子信号共同确定。
一种可能的实施方式中，该第一区域为该可操作对象的显示区域；该对该可操作对象执行第一操作命令，包括：对该可操作对象执行选中的操作命令。
一种可能的实施方式中，该人机界面的形状为多边形，该多个视觉刺激区域部分或全部设置在该多边形的多个内角的区域。
一种可能的实施方式中，该处理单元1902还用于：根据该用户的脑电特征改变该视觉刺激区域中的视觉刺激模式。
图19所示装置1900中各个单元的具体操作以及有益效果可以参见上述图4及其可能的方法实施例中对应的描述，此处不再赘述。
图20所示为本申请提供的装置的一种可能的硬件结构示意图，该装置可以是上述实施例所述方法中的视觉呈现模块或者VR/AR眼镜等。该装置2000包括：处理器2001、存储器2002和通信接口2003。处理器2001、通信接口2003以及存储器2002可以相互连接或者通过总线2004相互连接。
示例性的，存储器2002用于存储装置2000的计算机程序和数据，存储器2002可以包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-onlymem ory，ROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)或便携式只读存储器(compact disc read-only memory，CD-ROM)等。
通信接口2003包括发送接口和接收接口，通信接口2003的个数可以为多个，用于支持装置2000进行通信，例如接收或发送数据或消息等。
示例性的，处理器2001可以是中央处理器单元、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。处理器2001可以用于读取上述存储器2002中存储的程序，执行如上述图4及其可能的实施例中所述的任一种人机交互方法。
一种可能的实施方式中，处理器2001可以用于读取上述存储器2002中存储的程序，执行如下操作：
显示人机界面，该人机界面包括可操作对象和视觉刺激区域；对该可操作对象执行第一操作命令，其中，该第一操作命令根据第一信号确定，该第一信号为用户注视第一区域产生的脑电信号，该第一区域为该视觉刺激区域周围的多个区域中的区域，该用户注视该多个区域中不同的区域产生不同的脑电信号，该不同的脑电信号指示执行与该可操作对象相关的不同的操作命令。
图20所示装置2000中各个单元的具体操作以及有益效果可以参见上述图4及其可能的方法实施例中对应的描述，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述图4及其可能的方法实施例中任一实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品被计算机读取并执行时，上述图4及其可能的方法实施例中任一实施例所述的方法将被执行。
综上所述，在本申请中，用户意图下发操作命令时，无需直视视觉刺激区域本身，而是注视视觉刺激区域周围的区域即可完成命令的下发，相比于现有的技术方案需要直视视觉刺激区域下发操作命令，本申请能够缓解用户的视觉疲劳，提高在人机交互过程中的用户体验。另外，在本申请中，用户注视视觉刺激区域周围不同的区域可以诱发不同的脑电信号，因此，可以设置用户注视视觉刺激区域周围不同的区域表明用户意图下发不同的操作命令，即在本申请中，能够实现基于单一视觉刺激对应多个操作命令，当用户需连续下发多个操作命令时，无需注视多个视觉刺激区域，只需要按照自身的操作意图注视视觉刺激区域周围的多个区域即可连续下发多个操作命令，降低操作复杂度，提高用户体验。另外，现有的方案中一个视觉刺激对应一个操作命令，当有多个操作命令时需要在人机界面显示同样数量的视觉刺激，从而加重了处理器的负担且实现复杂；而本申请可以实现单一视觉刺激对应多个操作命令，因此，可以减少人机界面中视觉刺激区域的显示，减轻处理器的负担且实现起来更加简单易操作。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种人机交互方法，其特征在于，所述方法包括：
显示人机界面，所述人机界面包括可操作对象和视觉刺激区域；
对所述可操作对象执行第一操作命令，其中，所述第一操作命令根据第一信号确定，所述第一信号为用户注视第一区域产生的脑电信号，所述第一区域为所述视觉刺激区域周围的多个区域中的区域，所述用户注视所述多个区域中不同的区域产生不同的脑电信号，所述不同的脑电信号指示执行与所述可操作对象相关的不同的操作命令。
2.根据权利要求1所述的方法，其特征在于，所述不同的脑电信号为所述用户注视所述不同的区域时在初级视觉皮层中不同的区域诱发的；所述第一区域是基于所述第一信号在初级视觉皮层中出现的区域确定的。
3.根据权利要求1或2所述的方法，其特征在于，当所述用户注视所述第一区域时的视线与当所述用户注视所述视觉刺激区域中心点时的视线之间的夹角在预设范围内。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述视觉刺激区域与所述可操作对象的显示区域重叠；
所述多个区域为分布在以所述视觉刺激区域为中心向周围发散的多个方向上的区域；
所述第一区域为分布在第一方向上的区域，所述第一方向为所述多个方向中的一个。
5.根据权利要求4所述的方法，其特征在于，所述第一操作命令指示所述可操作对象向所述第一方向移动；或者，
所述第一操作命令指示往所述第一方向调整所述可操作对象的显示区域大小。
6.根据权利要求4或5所述的方法，其特征在于，所述多个方向上的区域包括至少一个辅助图形，所述至少一个辅助图形用于向所述用户指示注视的位置；
所述第一区域包括所述至少一个辅助图形中的第一辅助图形；
所述第一信号为所述用户注视所述第一辅助图形产生的脑电信号。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述人机界面包括多个所述视觉刺激区域；所述第一信号包括所述多个视觉刺激区域刺激所述用户的视觉产生的多个脑电信号，所述多个脑电信号分别指示所述第一区域与所述多个视觉刺激区域的位置关系。
8.根据权利要求7所述的方法，其特征在于，所述第一区域包括第一子区域和第二子区域，所述多个脑电信号包括第一子信号和第二子信号；所述第一子信号为所述用户注视所述第一子区域产生的脑电信号，所述第二子信号为所述用户注视所述第二子区域产生的脑电信号，第一子信号发生在第二子信号之前；
所述第一操作命令根据第一信号确定，包括，所述第一操作命令根据所述第一子信号和第二子信号共同确定。
9.根据权利要求7所述的方法，其特征在于，所述第一区域为所述可操作对象的显示区域；所述对所述可操作对象执行第一操作命令，包括：对所述可操作对象执行选中的操作命令。
10.根据权利要求7-9任一项所述的方法，其特征在于，所述人机界面的形状为多边形，所述多个视觉刺激区域部分或全部设置在所述多边形的多个内角的区域。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：
根据所述用户的脑电信号的特征改变所述视觉刺激区域中的视觉刺激模式。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；
所述闪烁刺激模式为所述视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，所述运动刺激模式为所述视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，所述元素跳变刺激模式为所述视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式，所述混合刺激模式为所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种模式结合的刺激模式。
13.根据权利要求12所述的方法，其特征在于，所述混合刺激模式包括所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
14.根据权利要求12或13所述的方法，其特征在于，所述至少两种刺激模式中包括第一刺激模式，所述第一刺激模式为所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中的一种；
所述第一刺激模式至少显示两次，其中，所述第一刺激模式的第一次显示和第二次显示的视觉刺激不同。
15.根据权利要求1-14任一项所述的方法，其特征在于，所述视觉刺激区域在所述用户的2度视角的范围内。
16.根据权利要求1-15任一项所述的方法，其特征在于，所述视觉刺激区域的大小随着所述用户的眼睛与所述人机界面的距离增大而增大，和/或随着所述用户的眼睛与所述人机界面的距离减小而减小。
17.一种人机交互装置，其特征在于，所述装置包括：
显示单元，用于显示人机界面，所述人机界面包括可操作对象和视觉刺激区域；
处理单元，用于对所述可操作对象执行第一操作命令，其中，所述第一操作命令根据第一信号确定，所述第一信号为用户注视第一区域产生的脑电信号，所述第一区域为所述视觉刺激区域周围的多个区域中的区域，所述用户注视所述多个区域中不同的区域产生不同的脑电信号，所述不同的脑电信号指示执行与所述可操作对象相关的不同的操作命令。
18.根据权利要求17所述的方法，其特征在于，所述不同的脑电信号为所述用户注视所述不同的区域时在初级视觉皮层中不同的区域诱发的；所述第一区域是基于上述第一信号在初级视觉皮层中出现的区域确定的。
19.根据权利要求17或18所述的装置，其特征在于，所述视觉刺激区域与所述可操作对象的显示区域重叠；
所述多个区域为分布在以所述视觉刺激区域为中心向周围发散的多个方向上的区域；
所述第一区域为分布在第一方向上的区域，所述第一方向为所述多个方向中的一个。
20.根据权利要求19所述的装置，其特征在于，所述多个方向上的区域包括至少一个辅助图形，所述至少一个辅助图形用于向所述用户指示注视的位置；
所述第一区域包括所述至少一个辅助图形中的第一辅助图形；
所述第一信号为所述用户注视所述第一辅助图形产生的脑电信号。
21.根据权利要求17或18所述的装置，其特征在于，所述人机界面包括多个所述视觉刺激区域；所述第一信号包括所述多个视觉刺激区域刺激所述用户的视觉产生的多个脑电信号，所述多个脑电信号分别指示所述第一区域与所述多个视觉刺激区域的位置关系。
22.根据权利要求21所述的装置，其特征在于，所述人机界面的形状为多边形，所述多个视觉刺激区域部分或全部设置在所述多边形的多个内角的区域。
23.根据权利要求17-22任一项所述的装置，其特征在于，所述处理单元还用于：
根据所述用户的脑电信号的特征改变所述视觉刺激区域中的视觉刺激模式。
24.根据权利要求17-23任一项所述的装置，其特征在于，所述视觉刺激区域的视觉刺激模式包括闪烁刺激模式、运动刺激模式、元素跳变刺激模式或者混合刺激模式；
所述闪烁刺激模式为所述视觉刺激区域中的视觉刺激组成元素时而显现时而消失的刺激模式，所述运动刺激模式为所述视觉刺激区域中的视觉刺激组成元素按照预设的方向和轨迹运动的刺激模式，所述元素跳变刺激模式为所述视觉刺激区域中的视觉刺激组成元素的形状、颜色和底纹中至少一种不断变化的刺激模式；所述混合刺激模式为所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种模式结合的刺激模式。
25.根据权利要求24所述的装置，其特征在于，所述混合刺激模式包括所述闪烁刺激模式、所述运动刺激模式和所述元素跳变刺激模式中至少两种刺激模式交替呈现的刺激模式。
26.根据权利要求17-25任一项所述的装置，其特征在于，所述视觉刺激区域在所述用户的2度视角的范围内。
27.根据权利要求17-26任一项所述的装置，其特征在于，所述视觉刺激区域的大小随着所述用户的眼睛与所述人机界面的距离增大而增大，和/或随着所述用户的眼睛与所述人机界面的距离减小而减小。
28.一种人机交互装置，其特征在于，包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1至16任一项所述的方法。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至16任意一项所述的方法。
30.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至16任意一项所述的方法。
CN202110566088.3A 2021-05-24 2021-05-24 人机交互方法、人机交互装置及存储介质 Pending CN115390655A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110566088.3A CN115390655A (zh) 2021-05-24 2021-05-24 人机交互方法、人机交互装置及存储介质
PCT/CN2022/096920 WO2022247956A1 (zh) 2021-05-24 2022-06-02 人机交互方法、人机交互装置及存储介质
EP22810679.5A EP4300266A4 (en) 2021-05-24 2022-06-02 HUMAN-COMPUTER INTERACTION METHOD, HUMAN-COMPUTER INTERACTION DEVICE AND STORAGE MEDIUM
US18/518,194 US20240094816A1 (en) 2021-05-24 2023-11-22 Human-computer interaction method, human-computer interaction apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110566088.3A CN115390655A (zh) 2021-05-24 2021-05-24 人机交互方法、人机交互装置及存储介质

Publications (1)

Publication Number Publication Date
CN115390655A true CN115390655A (zh) 2022-11-25

Family

ID=84113748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110566088.3A Pending CN115390655A (zh) 2021-05-24 2021-05-24 人机交互方法、人机交互装置及存储介质

Country Status (4)

Country Link
US (1) US20240094816A1 (zh)
EP (1) EP4300266A4 (zh)
CN (1) CN115390655A (zh)
WO (1) WO2022247956A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317624C (zh) * 2003-12-31 2007-05-23 中国人民解放军第三军医大学野战外科研究所 基于瞬态视觉诱发电位提取脑机接口控制信号的方法
CN101464728B (zh) * 2009-01-05 2010-09-01 清华大学 视觉运动相关神经信号为载体的人机交互方法
CN104461007B (zh) * 2014-12-19 2017-11-03 北京理工大学 一种基于脑电信号的驾驶员辅助人车交互系统
JP2017079389A (ja) * 2015-10-20 2017-04-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10482227B2 (en) * 2017-03-28 2019-11-19 International Business Machines Corporation Electroencephalography (EEG) based authentication
KR20200108888A (ko) * 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
CN111571587B (zh) * 2020-05-13 2023-02-24 南京邮电大学 一种脑控机械臂助餐系统及方法
CN112882567B (zh) * 2021-01-26 2022-11-04 华为技术有限公司 人机交互方法、人机交互装置及存储介质

Also Published As

Publication number Publication date
WO2022247956A1 (zh) 2022-12-01
EP4300266A1 (en) 2024-01-03
US20240094816A1 (en) 2024-03-21
EP4300266A4 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
US20230043749A1 (en) Brain-computer interface for user's visual focus detection
EP3392739B1 (en) Eye-brain interface (ebi) system and method for controlling same
KR102333704B1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR101648017B1 (ko) 디스플레이 장치, 차량 및 디스플레이 방법
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
US11995236B2 (en) Brain-computer interface
JP7367132B2 (ja) 脳波インタフェース装置
Kanayama et al. Top down influence on visuo-tactile interaction modulates neural oscillatory responses
CN106484106A (zh) 视敏度自动识别的非注意事件相关电位脑‑机接口方法
KR101465878B1 (ko) 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
CN116360600A (zh) 一种基于稳态视觉诱发电位的空间定位系统
CN115390655A (zh) 人机交互方法、人机交互装置及存储介质
Petrova et al. Using environmental objects as visual stimuli in BCI-based interaction system: theoretical approach
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology
US20220409094A1 (en) Visual brain-computer interface
Touyama et al. Online control of a virtual object with collaborative SSVEP
CN114902161A (zh) 人机接口系统
CN111580645B (zh) 一种基于周围视野标定刺激诱发脑电解码的视线跟踪方法
Li et al. Control of a humanoid robot via N200 potentials
CN117332256A (zh) 意图识别方法、装置、计算机设备及存储介质
US20240211033A1 (en) Wearable interface for measuring visually evoked potentials
US20230359275A1 (en) Brain-computer interface
CN117193535A (zh) 一种面向认知增强的认知焦点动态呈现系统和方法
CN118778798A (zh) 基于ssvep-erp的脑机接口刺激范式生成、检测方法、系统、介质、终端
CN114138107A (zh) 脑机交互装置、系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination