KR102031958B1

KR102031958B1 - Prefrontal based cognitive brain-machine interfacing apparatus and method thereof

Info

Publication number: KR102031958B1
Application number: KR1020180032121A
Authority: KR
Inventors: 민병경
Original assignee: 고려대학교 산학협력단
Priority date: 2017-04-06
Filing date: 2018-03-20
Publication date: 2019-10-14
Also published as: KR20180113451A

Abstract

전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법을 제공하며, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치는, 측정 대상의 전전두엽의 뇌파 신호를 측정하는 뇌파 측정기, 인지적 뇌-기계 인터페이스 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 인지적 뇌-기계 인터페이스 프로그램의 실행에 따라, 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하고, 인식된 뇌 지역 별 활동성 정도를 검출하고, 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하고, 사전에 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 해당 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하고, 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력한다.A frontal lobe-based cognitive brain-mechanical interface device and method, the frontal lobe-based cognitive brain-mechanical interface device, EEG measuring instrument for measuring the EEG signal of the prefrontal lobe to be measured, a memory storing the cognitive brain-machine interface program and And a processor for executing a program stored in the memory. At this time, the processor recognizes the brain region corresponding to the EEG signal of the prefrontal lobe measured by the EEG measuring apparatus among the plurality of brain regions on the prefrontal lobe previously classified according to the execution of the cognitive brain-machine interface program, and the recognized brain region. Detects the degree of activity of each star, calculates causal linkages between two or more brain regions based on the degree of activity of each brain region, extracts the prefrontal activation pattern, and generates a plurality of prefrontal activation patterns for the measurement target in advance. A corresponding prefrontal activation pattern is input to the classifier to identify corresponding driving conditions among preset brain-machine interface driving conditions, and to generate and output a predetermined machine driving control signal based on the identified result.

Description

Prefrontal lobe-based cognitive brain-machine interface device and method {PREFRONTAL BASED COGNITIVE BRAIN-MACHINE INTERFACING APPARATUS AND METHOD THEREOF}

본 발명은 뇌와 기계 간의 인터페이스(Brain-Machin Interface, BMI)를 처리하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 전전두엽의 뇌파 신호를 이용한 인지적 뇌-기계 인터페이스 장치 및 그 방법에 관한 것이다.The present invention relates to a device and a method for processing a brain-machine interface (BMI), and more particularly to a cognitive brain-machine interface device and method using an EEG signal of the frontal lobe.

뇌파 신호를 이용하여 사람의 의도(intention)에 따라 기계를 제어하는 뇌-기계 인터페이스(Brain-machine interface, BMI) 또는 컴퓨터를 제어하는 뇌-컴퓨터 인터페이스(Brain-computer interface, BCI) 기술에 대한 연구가 활발히 진행되고 있다. 그 중에서도, 뇌파 신호의 인지적 속성(cognitive feature)에 따른 매개 변수들을 분석하여 뇌와 기계(또는 컴퓨터) 간 인터페이스를 처리하는 기술들이 개발되고 있다.A study of brain-machine interface (BMI) or brain-computer interface (BCI) technology that controls a computer according to human intention by using EEG signals. Is actively underway. Among them, techniques for processing an interface between the brain and a machine (or computer) by analyzing parameters according to cognitive features of EEG signals have been developed.

이와 관련하여, 대한민국 등록특허 제 10-1518575 호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법)에는, 전처리부에서 EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하고, 식별부에서 뇌파 데이터를 주파수 신호로 변환한 후 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하고, 검출부에서 주파수 영역의 뇌파 데이터에서 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 사용자의 의도인지(intention recognition)를 검출하며, 표시부에서 의도인지에 대한 검출 결과를 사용자가 확인 가능하도록 표시하는 방법이 개시되어 있다. 구체적으로, 뇌파 데이터는 128SPS(2048Hz)의 샘플링 레이트(sampling rate)를 가지는 14개 채널의 전극을 사용자에게 부착하여 측정된 뇌파 신호이고, 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위인 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4에 부착되며, 운동 감각과 관련된 주파수 영역의 분류 시 DNF(digital notch filter)를 이용하여 뇌파의 뮤리듬(μ) 영역을 분류하는 것인, 사용자 의도인지 분석 방법이 개시되어 있다.In this regard, Republic of Korea Patent No. 10-1518575 (name of the invention: method for analyzing user intention for BCI), the EEG (electroencephalogram) in the pre-processing unit to obtain the user's EEG data measured from the device, the identification unit After converting the EEG data into a frequency signal, classify the frequency domain related to the motor sensation according to the band of the converted frequency signal, and analyze the features appearing according to the user's motion imagery in the EEG data of the frequency domain in the detector. The present invention discloses a method of detecting intention recognition of a user, and displaying a detection result of the intention on the display unit such that the user can confirm the intention. Specifically, the EEG data is an EEG signal measured by attaching 14 channels of electrodes having a sampling rate of 128 SPS (2048 Hz) to the user, and the electrode is an international standard law 10-20 (ten-twenty electrode system). Attached to the 14 areas of the scalp AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 Disclosed is a method of analyzing whether a user intends to classify a mu rhythm (μ) region of an EEG using a digital notch filter (DNF).

위와 같이, 기존의 BMI(또는 BCI) 기술은 후두엽이나 두정엽에서의 뇌파 신호를 이용하는 것이 대부분이었다. 그러나 후두엽 또는 두정엽의 뇌파 신호에 기초한 의도 인식 방법으로는 인간의 다양한 의도를 구분하여 표현하기 어려우며, 이에 따라 사용할 수 있는 BMI 구동 신호의 종류가 제한적인 한계가 있다. 즉, 후두엽 또는 두정엽의 뇌파 신호를 이용한 의도 인식 방법으로는 사용자의 생각의 내용과 BMI 구동의 내용을 일치시킬 수 없다.As described above, the conventional BMI (or BCI) technology mostly uses EEG signals in the occipital or parietal lobe. However, the intention recognition method based on the EEG signal of the occipital lobe or parietal lobe is difficult to express various intentions of human, and thus there is a limit to the kind of BMI driving signals that can be used. That is, the intention recognition method using the brain wave signals of the occipital or parietal lobe cannot match the contents of the user's thoughts with the contents of the BMI driving.

인간의 고차원적인 인지 기능은 뇌의 전두엽(frontal area)(더 구체적으로는 전전두엽(prefrontal area))에서 일어나고 있다. 따라서, 해당 뇌 지역의 뇌파 신호를 BMI(또는 BCI) 신호로 사용하면, 사용자의 고차원적인 의도를 인식 및 구분할 수 있어 좀 더 다양한(multi-class) 신호를 BMI 구동 신호로서 사용할 수 있다. 더욱이, 전두엽은 인간의 의사 결정을 담당하는 영역이어서, 사용자의 생각의 내용이 그대로 전두엽의 뇌파 신호로 잡히면, BMI 구동의 내용과 일치시킬 수 있다. 따라서, 이와 같은 전두엽의 뇌파 신호에 기반하여 고차원적인 의도 인식이 가능한 BMI 기술이 필요한 실정이다.Human high-level cognitive function is taking place in the frontal area of the brain (more specifically, the frontal area). Therefore, when the EEG signal of the corresponding brain region is used as the BMI (or BCI) signal, the high-level intention of the user can be recognized and distinguished, and thus a multi-class signal can be used as the BMI driving signal. Furthermore, the frontal lobe is an area responsible for human decision making, and if the contents of the user's thoughts are captured as the EEG signals of the frontal lobe, they can be matched with the contents of the BMI driving. Therefore, there is a need for a BMI technology capable of high-dimensional intention recognition based on the EEG signals of the frontal lobe.

한편, 뇌파는 인간의 뇌 활동 상태를 보여주는 중요한 생체 신호로서, 뇌파는 수행 중인 인지 기능의 종류에 따라 그 진동이 빠르거나 느려진다. 그러나 만일 뇌의 기능이 비정상적일 경우(예: 주의력결핍증(attention deficit disorder, ADD) 환자 또는 지능이 낮은 경우)는 뇌파가 정상인에 비해 느리다. 또한, 질병에 따라 다양한 특성의 비정상적인 뇌파가 나타날 수 있다. 예를 들면, 간질은 3Hz 뇌파가 강하게 나타나고, 자폐, 정신지체, 주의력 결핍 및 과잉행동장애(attention deficit/hyperactivity disorder, ADHD), 주의력 결핍증(ADD) 또는 치매 등은 모두 세타파가 아주 강해진다. 또한, 우울증은 우뇌가 좌뇌보다 뇌파의 진동이 더 빨라진다. On the other hand, EEG is an important biological signal showing the state of human brain activity, the EEG is faster or slower depending on the type of cognitive function being performed. However, if brain function is abnormal (eg patients with attention deficit disorder (ADD) or have low intelligence), brain waves are slower than normal. In addition, abnormal brain waves of various characteristics may appear depending on the disease. For example, epilepsy has a strong 3 Hz EEG, and autism, mental retardation, attention deficit and hyperactivity disorder (ADHD), attention deficit disorder (ADD) or dementia all become very strong in theta waves. In addition, depression causes the right brain to oscillate faster than the left brain.

이러한 비정상적인 뇌의 리듬을 조절해 정상적인 리듬으로 바꿀 수 있도록 제어하는 기술로서 바이오피드백(biofeedback) 기술이 개발되고 있다. 특히 뇌파를 통제하는 바이오피드백 기술을 신경이란 의미의 접두사 뉴로(neuro-)와 결합해 뉴로피드백(neurofeedback)이라 한다. 이러한 뉴로피드백 재활(neurofeedback rehabilitation)에 적용할 수 있는 BMI(또는 BCI) 기술에 대한 필요성이 매우 커지고 있다. 따라서, 고차원적인 의도 인식이 가능한 BMI 기술에서 더 나아가 뉴로피드백 재활에 적용할 수 있는 BMI 기술의 개발이 필요하다.Biofeedback technology is being developed as a technology that controls the abnormal brain rhythm to change to a normal rhythm. In particular, the biofeedback technology that controls the brain waves is called neurofeedback by combining neuro-prefixed neuro. There is a great need for a BMI (or BCI) technique that can be applied to such neurofeedback rehabilitation. Therefore, it is necessary to develop a BMI technology that can be applied to neurofeedback rehabilitation, in addition to the BMI technology capable of high-level intention recognition.

대한민국 등록특허 제 10-1518575 호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법, 2015.03.16)Republic of Korea Patent No. 10-1518575 (Name of the invention: method for analyzing user intention for BCI, 2015.03.16)

본 발명의 일 실시예는 전두엽의 뇌파 신호를 이용하여 인지적 뇌-기계 인터페이싱을 처리하는 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 그 방법을 제공하고자 한다.An embodiment of the present invention is to provide a frontal lobe-based cognitive brain-machine interface device and method for processing cognitive brain-machine interfacing using the brain wave signals of the frontal lobe.

또한, 본 발명의 일 실시예는 전두엽 뇌파 신호를 이용하여 인지적 뇌-기계 인터페이싱을 처리하는 과정을 뉴로피드백 재활에 적용할 수 있는 뇌-기계 인터페이스 장치 및 그 방법을 제공하고자 한다.In addition, an embodiment of the present invention is to provide a brain-mechanical interface device and method that can be applied to neurofeedback rehabilitation of the process of processing cognitive brain-machine interfacing using a frontal lobe EEG signal.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.

상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치는, 측정 대상의 전전두엽의 뇌파 신호를 측정하는 뇌파 측정기; 인지적 뇌-기계 인터페이스 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 인지적 뇌-기계 인터페이스 프로그램의 실행에 따라, 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하고, 상기 검출된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하고, 사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하고, 상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력한다. 이때, 상기 분류기는, 상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것이다.Prefrontal lobe-based cognitive brain-machine interface device according to an aspect of the present invention for achieving the above technical problem, EEG measuring unit for measuring the EEG signal of the prefrontal lobe to be measured; Memory in which a cognitive brain-machine interface program is stored; And a processor for executing a program stored in the memory, wherein the processor is configured to measure the frontal lobe of the prefrontal lobe measured by the EEG of a plurality of brain regions on the prefrontal lobe previously separated according to the execution of the cognitive brain-machine interface program. Recognize the brain region corresponding to the EEG signal, detect the activity level by the detected brain region, extract the prefrontal lobe pattern by calculating the causal connection between two or more brain regions based on the activity level by the brain region, Inputting the extracted prefrontal activation pattern into a classifier generated by machine learning a plurality of prefrontal activation patterns for the measurement target in advance to identify corresponding driving conditions among preset brain-machine interface driving conditions, and Generate a preset machine drive control signal based on the And power. In this case, the classifier is generated by machine learning a prefrontal activation pattern, each labeled for each of a plurality of intentions based on the EEG signals of the frontal lobe of the measurement target.

또한, 본 발명의 다른 측면에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은, 뇌파 측정기로부터 측정 대상의 전전두엽의 뇌파 신호를 수신하는 단계; 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하는 단계; 인식된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하는 단계; 사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하는 단계; 및 상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력하는 단계를 포함한다. 이때, 상기 분류기는 상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것이다.In addition, the prefrontal lobe-based cognitive brain-machine interface method according to another aspect of the present invention, receiving the EEG signal of the frontal lobe of the measurement target from the EEG; Recognizing a brain region corresponding to an EEG signal of the frontal lobe measured by the EEG from among a plurality of brain regions on a prefrontal lobe previously classified; Detecting the degree of activity of each recognized brain region and extracting a prefrontal lobe activation pattern by calculating causal connections between two or more brain regions based on the degree of activity of each brain region; Identifying a corresponding driving condition among predetermined brain-machine interface driving conditions by inputting the extracted prefrontal activation pattern to a classifier generated by pre-machine learning a plurality of prefrontal activation patterns for the measurement target; And generating and outputting a predetermined machine drive control signal based on the identified result. In this case, the classifier is generated by machine learning a prefrontal activation pattern that is labeled for each of a plurality of intentions based on the EEG signals of the frontal lobe of the measurement target.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 전두엽의 뇌파 신호에 기반하여 뇌-기계 인터페이싱의 구동 신호를 획득함으로써, 사용자의 고차원적인 의도를 인식할 수 있다. 이에 따라, 사용자의 의도에 대응하는 다양한 신호를 구분할 수 있다.According to any one of the above-described means for solving the problem of the present invention, by acquiring the driving signal of the brain-machine interfacing based on the brain wave signal of the frontal lobe, it is possible to recognize the high-dimensional intention of the user. Accordingly, various signals corresponding to the intention of the user can be distinguished.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 의도한 바를 직접 상상한 경우에 대응하는 뇌파 신호를 전전두엽 지역에서 직접 추출하여 뇌-기계 인터페이싱의 구동 신호로서 사용할 수 있어, 사용자의 생각의 내용과 BMI 구동의 내용을 일치시킬 수 있다.In addition, according to any one of the problem solving means of the present invention, the brain wave signal corresponding to the case where the user directly imagines the intended can be extracted directly from the frontal lobe region can be used as a driving signal of brain-machine interfacing, the user's thinking You can match the contents of the BMI with the contents of the BMI drive.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 전전두엽 기반 뇌-기계 인터페이싱의 결과를 사용자에게 실시간으로 피드백하여 사용자가 임의의 목적을 달성하기 위한 의도를 직접적으로 연상하는 과정을 반복적 또는 지속적으로 수행하도록 함으로써, 전두엽의 기능 증진 및 뉴로피드백을 활용한 재활에 사용될 수 있다.In addition, according to any one of the problem solving means of the present invention, the results of the prefrontal lobe-based brain-machine interfacing to the user in real time by repeatedly or continuously a process of directly associating the user's intention to achieve any purpose By doing so, it can be used for enhancing the function of the frontal lobe and rehabilitation utilizing neurofeedback.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 머리카락 등에 의한 뇌파 신호 측정의 방해 요소가 상대적으로 적은 전두엽 지역에서의 신호를 사용함으로써, 뇌파 신호에 대한 획득 효율 및 정확성이 높아지며 비침습적 BMI 방식의 진보적 성능 개선에 기여할 수 있으며, 침습적인 BMI에서도 적용이 가능하다.In addition, according to any one of the problem solving means of the present invention, by using a signal in the frontal lobe region where the disturbance factors of the EEG signal measurement by the hair is relatively small, the acquisition efficiency and accuracy of the EEG signal is increased and the non-invasive BMI method It can contribute to the progressive performance improvement of the system and can be applied to the invasive BMI.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 3D 스캐너를 통한 뇌파 측정 위치 확인을 수행함으로써, 반복 측정에 의해 발생될 수 있는 전전두엽 신호가 검출될 각 해부학적 근원 위치별 오차를 최소화하여, 뇌파 신호의 속성 추출 및 분류의 신뢰도 및 정확도을 높일 수 있다.In addition, according to any one of the problem solving means of the present invention, by performing the EEG measurement position confirmation through the 3D scanner, by minimizing the error for each anatomical origin position to be detected the frontal lobe signal that can be generated by repeated measurements, The reliability and accuracy of the extraction and classification of attributes of EEG signals can be improved.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 뇌파 신호 처리 및 제어를 수행하는 신호 처리단과 뇌파측정기가 일체형으로 구현 가능하며, 뇌-기계 인터페이스 장치가 외부 장치와 무선 통신을 수행함으로써, 휴대용 EEG 기반 BMI 기기로서 사용될 수 있다.In addition, according to any one of the problem solving means of the present invention, the signal processing stage for performing the EEG signal control and EEG can be implemented integrally, the brain-machine interface device by performing a wireless communication with the external device, portable It can be used as an EEG based BMI device.

도 1은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱의 전반적인 개념을 설명하기 위한 예시도다.
도 3은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 방식의 기존의 방식 간의 차이를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 뇌파 신호를 획득하는 뇌 지역을 설명하기 위한 브로드만 영역의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 전극 부착 위치 확인 기능을 설명하기 위한 구성도이다.
도 7은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.1 is a block diagram of a prefrontal lobe-based cognitive brain-machine interface device according to an embodiment of the present invention.
2 is an exemplary view for explaining the overall concept of prefrontal lobe-based cognitive brain-machine interfacing according to an embodiment of the present invention.
3 is an exemplary diagram for explaining the difference between the conventional method of the prefrontal lobe-based cognitive brain-machine interfacing method according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a prefrontal lobe-based cognitive brain-machine interfacing process according to an embodiment of the present invention.
5 is an exemplary diagram of a Broadman region for explaining a brain region for acquiring an EEG signal according to an embodiment of the present invention.
6 is a block diagram illustrating an electrode attachment position checking function of the prefrontal lobe-based cognitive brain-machine interface device according to an embodiment of the present invention.
7 is a flowchart illustrating a prefrontal lobe based cognitive brain-machine interface method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.

본 명세서에 있어서 '부(部)' 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.In the present specification, the term 'part' or 'module' includes a unit realized by hardware or software, and a unit realized using both, and one unit is realized by using two or more pieces of hardware. Two or more units may be implemented by one hardware.

도 1은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 구성도이다.1 is a block diagram of a prefrontal lobe-based cognitive brain-machine interface device according to an embodiment of the present invention.

전전두엽 기반 인지적 뇌-기계 인터페이스 장치(이하, 설명의 편의상 '뇌-기계 인터페이스 장치'라고 약칭함)(100)는 뇌파 측정기(110), 메모리(120), 프로세서(130) 및 통신모듈(140)을 포함한다. The prefrontal lobe-based cognitive brain-machine interface device (hereinafter, abbreviated as 'brain-machine interface device' for convenience of explanation) 100 is an EEG detector 110, a memory 120, a processor 130, and a communication module 140. ).

부가적으로, 도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는 3D 스캐너(150)를 더 포함할 수 있다. 이때, 뇌-기계 인터페이스 장치(100)의 프로세서(130)는 통신모듈(140)을 통해 3D 스캐너(150)와 유선 또는 무선 통신하여 데이터를 송수신할 수 있다.Additionally, as shown in FIG. 1, the brain-machine interface device 100 according to an embodiment of the present invention may further include a 3D scanner 150. In this case, the processor 130 of the brain-machine interface device 100 may transmit and receive data by wired or wireless communication with the 3D scanner 150 through the communication module 140.

이와 같은 뇌-기계 인터페이스 장치(100)의 각 구성에 대해 설명하기에 앞서, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)를 통해 처리되는 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정에 대해서 간략하게 설명하도록 한다.Before describing each configuration of the brain-machine interface device 100, the frontal lobe base processed by the brain-machine interface device 100 according to an embodiment of the present invention with reference to FIGS. 2 and 3. The cognitive brain-machine interfacing process is briefly described.

도 2는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱의 전반적인 개념을 설명하기 위한 예시도다. 그리고 도 3은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 방식과 기존의 인지적 뇌-기계 인터페이싱 방식 간의 차이를 설명하기 위한 예시도이다.2 is an exemplary view for explaining the overall concept of prefrontal lobe-based cognitive brain-machine interfacing according to an embodiment of the present invention. 3 is an exemplary diagram for explaining the difference between the prefrontal-based cognitive brain-machine interfacing method and the conventional cognitive brain-machine interfacing method according to an embodiment of the present invention.

도 2를 참조하면, 뇌-기계 인터페이스 장치(100)는, 의사 결정, 계획, 진행 중인 동작의 평가, 오류 모니터링, 의도적 판단 등을 반영하는 전두엽(특히, 전두엽 영역)(P10)의 뇌파 신호(electroencephalogram, EEG)를 추출하는 'EEG 획득(EEG acquisition)' 처리를 수행한다. 이처럼, 획득된 전전두엽 EEG에 기초하여 BMI를 구동하게 되면, 측정 대상(subject)의 생각과 BMI 구동을 통한 외부 장치의 동작이 직접적으로 일치하는 '외부 장치 제어(external-device control)' 처리를 수행할 수 있다. 이때, 뇌-기계 인터페이스 장치(100)는 획득한 전전두엽 EEG에 기초하여 '특성 추출 및 분류(feature extraction and classification)' 처리를 수행하고, 그 처리 결과에 기초하여 외부 장치 제어를 수행한다. 이를 통해, 외부 장치에서 구동된 결과는 측정 대상에게 실시간 피드백(real-time feedback)됨으로써, 측정 대상이 자신이 연상한 의도와 직접 대응하는 외부 장치의 구동 상태를 확인할 수 있다.Referring to FIG. 2, the brain-machine interface device 100 includes an EEG signal of the frontal lobe (particularly, the frontal lobe region) P10 that reflects decision making, planning, evaluation of an ongoing operation, error monitoring, and intentional judgment. The EEG acquisition process, which extracts electroencephalograms (EEGs), is performed. As such, when the BMI is driven based on the acquired prefrontal EEG, an 'external-device control' process is performed in which the idea of the subject and the operation of the external device through the BMI are directly matched. can do. At this time, the brain-machine interface device 100 performs 'feature extraction and classification' processing based on the acquired prefrontal EEG, and performs external device control based on the processing result. As a result, the result driven by the external device is real-time feedback to the measurement target, so that the measurement target can check the driving state of the external device that directly corresponds to the intention associated with the measurement target.

이러한 BMI 구동 패러다임은 “목적 지향적 BMI (goal-oriented BMI)” 기술로서, 사용자의 고차원적인 의도를 직접 반영하는 뇌파 신호를 BMI 구동 신호로 사용한다. 전전두엽의 뇌파 신호(brainwave signal)는 시각, 청각, 촉각 등의 말초 감각의 종류(modality)로부터 자유로운(modality-independent) 신호로서 측정 대상의 고차원적인 인지적 의도(higher-order cognitive intention)만을 담고 있다. 따라서, 전전두엽의 EEG를 이용한 BMI 구동 방식에서는, 특정 제어를 위해 측정 대상이 수행해야 하는 BMI 과제(즉, 기설정된 기기 구동 방향과 무관한 행위 또는 상상)의 종류에 영향을 적게 받는다.This BMI driving paradigm is a "goal-oriented BMI" technology, which uses EEG signals that directly reflect the high-level intention of the user as the BMI driving signals. The brainwave signal of the prefrontal lobe is a modality-independent signal of peripheral sense such as visual, auditory, and tactile. It contains only the higher-order cognitive intention of the object to be measured. . Therefore, in the BMI driving method using the prefrontal EEG, it is less affected by the type of BMI task (ie, behavior or imagination irrespective of the preset device driving direction) that the measurement target must perform for specific control.

도 3을 참조하면, EEG에 기반하여 창문을 좌측으로 여는 BMI 구동을 수행하는 것을 예로서 나타냈다.Referring to FIG. 3, an example of performing BMI driving to open a window to the left based on the EEG is illustrated.

도 3의 (A)에 도시된 예는 기존의 인지적 BMI 기술을 사용한 경우로서, 창문을 여는 행위와 전혀 무관한 손의 움직임을 상상하는 등의 간접적 사고에 대응하는 EEG를 BMI 구동에 사용한다. 예를 들어, 기존의 운동 심상(motor-imagery) 기반의 BMI 기술에서는 BMI 구동 신호로서 뇌운동관련전위(Movement-Related Cortical Potential)를 사용하였다.In the example illustrated in FIG. 3A, the conventional cognitive BMI technique is used. An EEG corresponding to indirect thinking, such as imagining a hand movement irrelevant to opening a window, is used for driving a BMI. . For example, in the conventional motor-imagery-based BMI technology, the movement-related cortical potential is used as the BMI driving signal.

반면, 도 3의 (B)에 도시된 예는 본 발명의 일 실시예에 따른 전전두엽 기반의 인지적 BMI 기술을 사용한 경우로서, 전전두엽의 EEG를 BMI 구동에 사용한다. 즉, 사용자가 창문을 좌측으로 여는 동작 자체를 직접적으로 상상할 때 발생되는 전전두엽의 뇌파 신호(brainwave signal)에 기반하여 직관적인 BMI 구동이 가능하다.On the other hand, the example shown in (B) of FIG. 3 is a case of using the prefrontal-based cognitive BMI technology according to an embodiment of the present invention, the EEG of the frontal lobe is used for BMI driving. That is, intuitive BMI driving is possible based on the brainwave signal of the frontal lobe generated when the user directly imagines the operation of opening the window to the left.

더 나아가, 전전두엽에 손상을 입은 환자에 대해 해당 뇌 영역 재활에 적용하거나 또는 정상인의 해당 영역 기능 증진시키기 위해, 전전두엽 기반의 인지적 BMI를 실시간 뉴로피드백에 적용할 수 있다. 예를 들어, 사용자가 제어하고자 하는 외부 장치의 동작들에 대한 상상을 반복하도록 하고, 해당 상상의 내용과 직접적으로 대응하는 내용의 동작을 외부 장치가 실행하도록 제어함으로써, 강박증 또는 ADHD 등에서 재활의 효과를 얻을 수 있다. 즉, 기능적으로 혹은 신경학적으로 손상된 전두엽 지역의 뇌신경 활동성(neural activity)을 뉴로피드백을 통해서 지속적으로 증진시킴으로써, 해당 뇌 지역의 뇌신경 가소성(neural plasticity)의 변화에 의한 신경학적 재활 및 기능적 재활을 유도할 수 있다. 또한, 기존의 BMI기술에서 주로 뇌파(brainwave)를 획득하는 영역인 후두엽 또는 두정엽에 손상을 입은 환자일지라도, 정상적인 전전두엽에서 발생된 뇌파(brainwave)를 사용하여 BMI를 구동할 수 있는 장점도 있다.Furthermore, prefrontal lobe-based cognitive BMI can be applied to real-time neurofeedback for patients affected by the frontal lobe to apply for rehabilitation of the brain region or to enhance the function of the corresponding region of normal people. For example, the effect of rehabilitation in obsessive-compulsive or ADHD, such as by the user to repeat the imagination of the operation of the external device that you want to control, and to control the external device to execute the operation of the content directly corresponding to the imaginary content, Can be obtained. In other words, neurofeedback is continuously promoted in functionally or neurologically damaged frontal lobe regions through neurofeedback, leading to neurological rehabilitation and functional rehabilitation due to changes in neural plasticity in the brain region. can do. In addition, even in patients with damage to the occipital or parietal lobe, which is an area for obtaining brainwaves, the conventional BMI technology has the advantage of driving BMI using brainwaves generated from the normal frontal lobe.

다시 도 1로 돌아가서, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)의 구성 및 동작에 대해서 상세히 설명하도록 한다.1, the configuration and operation of the brain-machine interface device 100 according to an embodiment of the present invention will be described in detail.

뇌파 측정기(110)는 측정 대상의 EEG를 측정한다. 이때, 뇌파 측정기(110)는 측정 대상의 전두엽(특히, 전전두엽)의 EEG에 비중을 두어 측정한다.The EEG meter 110 measures the EEG of the measurement target. In this case, the EEG measuring instrument 110 measures the weight of the EEG of the frontal lobe (particularly, the frontal lobe) of the measurement target.

뇌파 측정기(110)는 접촉식 또는 비접촉식으로 EEG를 측정할 수 있으며, 그 측정 방식의 종류는 한정되지 않는다. 또한 뇌파 측정기(110)는 뇌파 측정 수단(즉, 뇌파 측정용 전극 등)을 포함하는 뇌파 측정 장비 그 자체이거나 또는 뇌파 측정 장비와 연결되어 그 동작을 제어함으로써 측정된 뇌파 신호를 획득할 수도 있다. The EEG 110 may measure EEG in a contact or non-contact manner, and the type of the measurement method is not limited. In addition, the EEG measuring instrument 110 may be an EEG measuring device itself including an EEG measuring means (ie, an EEG measuring electrode, etc.) or may be connected to an EEG measuring device to obtain a measured EEG signal by controlling its operation.

참고로, 아래의 도 6에 도시된 바와 같이, 뇌-기계 인터페이스 장치(100)의 적어도 일 구성(100-1)은 뇌파 측정 장비(도 6에서는 뇌파 측정기(110) 자체인 것을 나타냄)와 일체형으로 구현될 수 있다. 예를 들어, 뇌파 측정 장비(110)는 기설정된 복수의 위치에 뇌파 측정 수단(즉, 전극(111) 등)이 장착된 헤드셋 형태로 구현될 수 있다.For reference, as shown in FIG. 6 below, at least one configuration 100-1 of the brain-machine interface device 100 is integral with an EEG measuring device (indicated in FIG. 6 that is the EEG 110 itself). It can be implemented as. For example, the EEG measuring apparatus 110 may be implemented in the form of a headset equipped with an EEG measuring means (ie, the electrode 111, etc.) at a plurality of preset positions.

뇌파 측정기(110)는 기설정된 전두엽 상의 복수의 뇌 지역에서의 뇌파 크기를 연속하여 측정할 수 있다. 이때, 뇌파 측정기(110)의 뇌파 측정 수단은 기설정된 복수의 뇌 지역에 각각 대응하는 위치에서 작용할 수 있다. The EEG 110 may continuously measure EEG sizes in a plurality of brain regions on a predetermined frontal lobe. In this case, the EEG measuring means of the EEG measuring instrument 110 may act at positions corresponding to each of a plurality of predetermined brain regions.

메모리(120)에는 뇌파 측정기(110)를 통해 측정된 전전두엽 EEG에 기초하여 측정 대상의 직접적 의도에 따른 뇌-기계 인터페이스 구동 신호를 생성하는 인지적 뇌-기계 인터페이스 프로그램이 저장되어 있다. 이러한 인지적 뇌-기계 인터페이스 프로그램에 의한 처리들에 대해서는 아래 프로세서(130)에 대한 설명에서 상세히 다루도록 한다.The memory 120 stores a cognitive brain-machine interface program for generating a brain-machine interface driving signal according to the direct intention of the object to be measured, based on the prefrontal EEG measured by the EEG detector 110. Processes by such a cognitive brain-machine interface program will be discussed in detail in the description of processor 130 below.

메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.The memory 120 refers to a nonvolatile storage device that maintains stored information even when power is not supplied, and a volatile storage device that requires electric power to maintain stored information.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하여 그에 따른 처리들을 수행한다.The processor 130 executes a program stored in the memory 120 and performs processes accordingly.

이하, 도 4 및 도 5를 참조하여, 인지적 뇌-기계 인터페이스 프로그램의 실행에 따른 프로세서(130)의 처리에 대해서 상세히 설명하도록 한다.Hereinafter, the processing of the processor 130 according to the execution of the cognitive brain-machine interface program will be described in detail with reference to FIGS. 4 and 5.

도 4는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정을 설명하기 위한 예시도이다. 그리고 도 5는 본 발명의 일 실시예에 따른 뇌파 신호를 획득하는 전전두엽 지역을 설명하기 위한 브로드만 영역의 예시도이다.4 is an exemplary diagram for explaining a prefrontal lobe-based cognitive brain-machine interfacing process according to an embodiment of the present invention. FIG. 5 is an exemplary diagram of a broadman region for describing the prefrontal region for acquiring an EEG signal according to an embodiment of the present invention.

본 발명의 일 실시예에서는 뇌-기계 인터페이스 장치(100)가 측정 대상의 두피 상에 부착된 다수의 전극(이하, '센서 전극'이라고 지칭함)들을 통해 EEG를 측정하는 것을 설명하도록 한다. 도 4에 도시한 바와 같이, 기설정된 뇌 영역들에 대응하는 복수의 위치에 전극이 배치된 헤드셋(즉, 뇌파 측정기(110))을 측정 대상이 착용할 수 있다. In an embodiment of the present invention, the brain-machine interface device 100 will be described for measuring the EEG through a plurality of electrodes (hereinafter, referred to as 'sensor electrodes') attached to the scalp of the measurement target. As illustrated in FIG. 4, a measurement target may wear a headset (ie, an EEG 110) having electrodes disposed at a plurality of positions corresponding to predetermined brain regions.

전전두엽 기반의 BMI를 처리하기 위해서는, 전전두엽의 뇌파 신호(brainwave)를 정확하게 해당 해부학적 위치에서 추출하여 구분하는 것이 중요하다. 예를 들어, 전전두엽 영역 중에서도, 배외측 전전두피질(dorsolateral PFC) 지역(예를 들어, 브로드만 영역(Brodmann area, BA)의 9와 46 등)은 비감정적이거나 동적인 정보 처리의 최종 분석을 담당하고, 복내측 전전두피질(ventromedial PFC) 지역(예를 들어, 브로드만 영역의 10, 11, 12, 13, 14, 25, 32 등)은 감정적이거나 정적인 정보 처리의 최종 분석을 담당한다. 이를 기반으로, 뇌-기계 인터페이스 장치(100)는 전전두엽의 서로 다른 지역별 활동성(activity)을 구분하여 BMI 구동에 사용한다.In order to process the prefrontal lobe-based BMI, it is important to extract the brainwave signal of the frontal lobe precisely from the anatomical location. For example, among the prefrontal regions, the dorsolateral PFC region (e.g., 9 and 46 in the Broadmann area, BA, etc.) may be used for final analysis of information processing that is insensitive or dynamic. And the ventromedial PFC region (e.g., 10, 11, 12, 13, 14, 25, 32, etc. in the Broadman region) is responsible for the final analysis of emotional or static information processing. . Based on this, the brain-machine interface device 100 classifies different regional activities of the frontal lobe and uses them for driving BMI.

이때, 프로세서(130)는 두피 레벨(scalp-level)에서 측정된 EEG를 분석하여 해부학적으로 뇌파(brainwave)의 발생 위치를 정확히 추적하고, 추적된 소스 레벨(source-level)의 해부학적 해당 뇌 지역의 활동성을 BMI 특성(feature)으로서 사용한다. At this time, the processor 130 analyzes the EEG measured at the scalp-level and anatomically accurately tracks the location of the brainwave, and tracks the anatomical corresponding brain of the tracked source-level. Use local activity as a BMI feature.

뇌의 다양한 피질 영역(cortical region)의 활동성은 두피 영역에서의 전자기적인 활동성을 유발하며, 이에 따라 각각의 두피 영역의 활동성은 여러 근원 지역의 구성 및 조합으로 인해 생성되는 것으로 유추된다. 일반적으로, 뇌 속의 근원에서 발생된 뇌파 신호(brainwave signal)에 의한 결과로서 두피에서 EEG가 측정되는 위치는 한정되나, 반면에 두피에서 측정된 EEG를 기반으로 뇌파(brainwave)의 근원을 역 계산하는 것은 무한한 해(infinite solution)가 존재하는 "역 문제(inverse problem)"이다. 이러한 역 문제를 해결하기 위하여, 프로세서(130)는 뇌파(brainwave)의 근원으로부터 두피 상의 센서 전극으로의 최적화된 포워드 모형(forwarding model)을 모델링하고, 이를 기반으로 다시 수학적으로 백워드(backward) 계산을 진행하여, BMI 특성 분석에 필요한 근원에서의 뇌파 신호(brainwave signal)를 구한다. 프로세서(130)는 최적화된 포워드 모형을 통해 전전두엽의 신호를 공간 정밀도가 높게, 해당 해부학적 지역별로 신호 구분을 가장 잘 할 수 있는 형태의 모델링을 수행한다. The activity of the various cortical regions of the brain induces electromagnetic activity in the scalp region, and thus the activity of each scalp region is inferred to be generated due to the composition and combination of several source regions. In general, the position at which EEG is measured in the scalp as a result of brainwave signals originating in the brain is limited, whereas the inverse calculation of the brainwave origin is based on the EEG measured in the scalp. This is the "inverse problem" in which an infinite solution exists. To solve this inverse problem, processor 130 models an optimized forwarding model from the source of brainwaves to the sensor electrodes on the scalp, and mathematically calculates backwards based on this. Proceed to obtain the brainwave signal (brainwave signal) from the source required for BMI characterization. The processor 130 performs the modeling of the form that can best distinguish the signals of the frontal lobe and the signals according to the anatomical regions through the optimized forward model.

프로세서(130)는 뇌파 측정기(110)로부터 측정 대상의 전전두엽 영역의 두피 상에서 측정된 EEG(이하, '센서 레벨(sensor-level) 신호'라고 지칭함)를 수신한 후, 센서 레벨 신호에 대해 근원 분석(source-localization)을 처리하여 피질 레벨(cortical level)(즉, 소스 레벨(source-level))의 전전두엽 피질(prefrontal cortex, PFC) 신호로 변환한다.The processor 130 receives the EEG (hereinafter, referred to as a 'sensor-level signal') measured on the scalp of the prefrontal region of the object to be measured from the EEG detector 110, and then analyzes the source of the sensor level signal. (source-localization) is processed to convert to a prefrontal cortex (PFC) signal of the cortical level (ie, source-level).

프로세서(130)는 뇌파 신호(brainwave signal)의 근원 부위를 파악하기 위해, 역-프로그램(inverse program)을 사용하여 두피 영역에서의 EEG(즉, 센서 레벨 신호)에 대응하는 근원 부위의 PFC 신호(즉, 소스 레벨 신호)를 계산할 수 있다. 역-프로그램은 뇌의 활동성 정도를 피질 수준에서 검출할 수 있는 기법으로서, 예를 들어 쌍극 모형(dipolar model) 및 분포된 근원 모형(distributed source model) 등이 사용될 수 있다. The processor 130 uses an inverse program to determine the source region of the brainwave signal, and the PFC signal of the source region corresponding to the EEG (i.e., sensor level signal) in the scalp region. That is, the source level signal) can be calculated. Inverse program is a technique that can detect the degree of activity of the brain at the cortical level, for example, a dipolar model and a distributed source model and the like can be used.

구체적으로, 프로세서(130)는 복수의 전전두엽 지역 별로 측정된 센서 레벨 신호에 기초하여 근원 국소화(source localization) 분석을 수행한다. 이때, 국소화 분석 기법으로서 '분포된 근원 모형'인 저해상 전자기 단층촬영(Low resolution electromagnetic tomography, LORETA) 기법 및 피질 전류 밀도 소스 모델 (cortical current density source model) 등을 사용할 수 있다. 그리고 프로세서(130)는 EEG 근원 국소화 분석의 결과로서 근원의 활동성(source activity) 정도를 구한다. 즉, 측정 대상의 두피 수준에서 측정된 EEG에 대응된 활성화된 뇌 근원 부위 및 각 부위의 활동성 정도를 계산한다. In detail, the processor 130 performs source localization analysis based on sensor level signals measured for each of the prefrontal regions. In this case, a low resolution electromagnetic tomography (LORETA) technique and a cortical current density source model may be used as localization analysis techniques. The processor 130 calculates the source activity degree as a result of the EEG source localization analysis. In other words, the activated brain source region corresponding to the EEG measured at the scalp level of the measurement target and the degree of activity of each region are calculated.

프로세서(130)는 측정 대상의 두피에서 측정된 EEG를 실시간으로 소스 레벨인 브로드만 영역의 뇌 신호로 변환할 수 있다. 예를 들어, 프로세서(130)는 좌/우반구의 전전두엽을 각각 다음의 표 1에서와 같이 다섯군데의 지역별로 구분하여 해당하는 브로드만 영역과 매칭하고, 각 지역의 활동성을 BMI 구동에 활용할 수 있다. 참고로, 브로드만 영역은 피질(cortex)을 신경 세포 유형 및 특징 별로 그룹핑한 지역으로서, 같은 브로드만 영역은 기능적으로 동일 또는 유사한 역할을 한다. 또한, 도 5에는 아래 표 1에 포함된 전전두엽 지역의 브로드만 영역 상의 위치를 표시하였다. 다만, 도 5는 뇌를 일측(좌측)에서 바라본 측면도로서, 편의를 위해 직접적 표현이 곤란한 위치(즉, 뇌의 타측 부위)의 일부 전전두엽 지역들은 생략되었다.The processor 130 may convert the EEG measured from the scalp of the measurement target into a brain signal of the Broadman region at the source level in real time. For example, the processor 130 may classify the frontal lobe of the left and right hemispheres into five regions, as shown in Table 1 below, to match the corresponding Broadman region, and utilize the activity of each region to drive the BMI. . For reference, the Broadman region is a region in which cortex is grouped by neuronal cell type and characteristics, and the same Broadman region functions functionally identical or similar. In addition, Figure 5 shows the location on the Broadman region of the prefrontal region contained in Table 1 below. However, FIG. 5 is a side view of the brain viewed from one side (left side), and some prefrontal regions of a location where direct expression is difficult for convenience (ie, the other side of the brain) are omitted.

전전두엽 명칭Prefrontal Name 브로드만 영역 및 기능Broadman area and features 배외측 전전두엽
(Dorsolateral PFC)Extremity frontal lobe
(Dorsolateral PFC) BA 9, 46
(억제 기능, 조작 기능, 감시 기능, 지속적 주의 집중 기능 등)BA 9, 46
(Inhibition function, operation function, monitoring function, continuous attention function, etc.) 복외측 전전두엽
(Ventrolateral PFC)Abdominal prefrontal lobe
(Ventrolateral PFC) BA 44, 45
(정보 인출 및 유지 기능, 행동 계획 갱신 기능 등)BA 44, 45
(Withdrawal and retention of information, action plan updates, etc.) 복내측 전전두엽
(Ventromedial PFC)Abdominal frontal lobe
(Ventromedial PFC) BA 12, 13, 14, 25, 32
(의사 결정 기능, 감정 조절 기능 등)BA 12, 13, 14, 25, 32
(Decision making function, emotion control function, etc.) 전방 전전두엽
(Anterior PFC)Anterior prefrontal lobe
(Anterior PFC) BA 10
(멀티 태스크 (multi-task) 기능, 의도 유지 기능 등)BA 10
(Multi-task, intent retention, etc.) 안와 전두엽
(Orbitofrontal cortex)Orbital Frontal Lobe
(Orbitofrontal cortex) BA 11, 47
(평가/보상/처벌에 의한 강화 행동 기능, 감정 조절 기능 등)BA 11, 47
(Enhancement behavior function by evaluation / compensation / punishment, emotion control function, etc.)

그리고 프로세서(130)는 PFC 신호에 기초하여 서로 다른 전전두엽 지역의 뇌 신호 간 인과적 연결성(Granger causality)을, 측정 대상의 고차원적인 의도에 따른 뇌 신호 특성(즉, BMI 특성)으로서 추출한다. The processor 130 extracts causal connectivity between brain signals of different prefrontal regions based on the PFC signal as brain signal characteristics (ie, BMI characteristics) according to high-dimensional intention of a measurement target.

측정 대상이 연상하는 내용에 따른 인지적 속성에 따라 측정 대상으로부터 측정된 전전두엽 뇌파에는 유의한 차이가 유발된다. 이를 통해, 측정 대상의 복수의 전전두엽 지역 중 중심적으로 활성화된 뇌 지역을 검출할 수 있다. 이때, 프로세서(130)는 인과적 연결성을 보이는 둘 이상의 뇌 지역을 선택하여 뇌 신호 특성을 추출한다. 프로세서(130)는 가장 활성화된 뇌 지역(즉, 활동성이 가장 높은 뇌 지역)부터 가장 큰 인과적 연결성을 보이는 둘 이상의 뇌 지역을 순차적으로 선택할 수 있다.There are significant differences in the prefrontal EEG measured from the measurement target according to the cognitive properties according to what the measurement object suggests. Through this, the centrally activated brain region of the plurality of frontal lobe regions to be measured can be detected. At this time, the processor 130 selects two or more brain regions showing causal connectivity and extracts brain signal characteristics. The processor 130 may sequentially select two or more brain regions showing the largest causal connection from the most activated brain region (ie, the brain region with the highest activity).

그리고 프로세서(130)는 선택된 둘 이상의 뇌 지역에 대해 시간에 따른 방향성 있는 인과 관계를 분석하며, 이를 통해 선택된 둘 이상의 뇌 지역 간 인과적 연결성을 검출한다. 이때, 프로세서(130)는 선택된 둘 이상의 전전두엽 지역 별 뇌파 신호(PFC)를 그랜저 인과관계(Granger causality) 기법을 통해 분석하여 인과적인 기능적 연결성을 검출할 수 있다. The processor 130 analyzes directional causality over two selected brain regions over time, and detects causal connectivity between the selected two or more brain regions. In this case, the processor 130 may detect causal functional connectivity by analyzing two or more selected prefrontal EEG signals (PFCs) through a Granger causality technique.

참고로, 그랜저 인과관계 분석을 통해 어떤 두 현상 사이에 인과관계가 존재하는지 여부를 판단할 수 있다. 이에 따라, 프로세서(130)는 그랜저 인과관계 분석을 통해, 측정 대상의 활성화된 둘 이상의 전전두엽 지역 간의 방향성 있는 인과관계(즉, 인과적 연결성) 특성을 검출한다. 예를 들어, 복수의 센서 전극으로부터 획득된 EEG들에 대해 다변량 자기회귀적 모델(multivariate autoregressive model)을 사용하여, 방향성 전달 함수(directed transfer function)를 통해 인과적 연결성의 정도를 구할 수 있다. For reference, Granger causality analysis can be used to determine whether a causal relationship exists between two phenomena. Accordingly, the processor 130 detects directional causality (ie, causal connectivity) between two or more activated prefrontal regions of the measurement target through the Granger causality analysis. For example, the degree of causal connectivity can be obtained through a directed transfer function using a multivariate autoregressive model for EEGs obtained from a plurality of sensor electrodes.

도 4에 도시된 바와 같이, 활성화된 복수의 근원 부위, 및 활성화된 근원 부위 간 인과적 연결성은, 인과적 연결 정도가 화살표의 색상으로 표시될 수 있고 그 연결 방향은 화살표의 방향으로 표시될 수 있다. 이러한 그랜저 인과관계 기법을 사용할 경우, 전전두엽 지역 간의 "방향성 있는 연관성(즉, 인과적 연결성)"은 모자이크 모양의 매트릭스 형태로 표시될 수 있다. 도 4에 도시된 "분류" 단계에서와 같이, 모자이크 모양의 매트릭스 상에서 j로부터 i 방향으로의 인과적 연결성의 정도가 다양한 색으로 표시되어 있다. 모자이크 모양의 매트릭스에서 i 축 및 j 축의 번호는 각각의 브로드만 영역을 나타낸다.As shown in FIG. 4, the causal linkage between the plurality of activated root sites and the activated root sites may be indicated by the color of the arrow and the linking direction may be indicated by the direction of the arrow. have. Using this Granger causality technique, "directional associations (ie causal connections)" between prefrontal regions can be expressed in the form of a mosaic matrix. As in the "classification" step shown in Figure 4, the degree of causal connectivity from j to i on the mosaic matrix is indicated in various colors. In the mosaic matrix, the numbers of the i-axis and the j-axis represent respective Broadman regions.

이처럼, 측정 대상의 연상에 대응하여 활성화된 전전두엽 지역 간에 인과적 연결성 특성이 상이하게 나타나게 된다. 예를 들어, 측정 대상이 임의의 동작에 대해 연상하고 있을 경우 제 1 전전두엽 지역 및 제 2 전전두엽 지역이 가장 활성화되되, 그 활성화 순서가 임의의 방향성을 갖는 인과적 연결성 특성을 가질 수 있다. 또한, 측정 대상이 다른 동작에 대해서 연상할 경우 제 1 및 제 2 전전두엽과는 다른 전전두엽 지역이 가장 활성화되거나 또는 동일한 전전두엽 지역이 활성화되더라도 그 활성화 정도 또는 방향성이 상이할 수 있다. 이에 따라, 측정 대상이 연상하고 있는 각각의 내용 별로 상이한 인과적 연결성 특성(즉, BMI 특성)을 보인다. As such, causal connectivity characteristics are different between the prefrontal regions activated in response to the association of the measurement object. For example, when the measurement target is associated with any motion, the first prefrontal region and the second frontal region may be most activated, and the activation order may have causal connectivity characteristics having any orientation. In addition, when the object to be measured is associated with another operation, the degree of activation or direction may be different even if the prefrontal region different from the first and second prefrontal lobes is most activated or the same prefrontal region is activated. Accordingly, different causality characteristics (ie, BMI characteristics) are displayed for each content associated with the measurement object.

이처럼, 프로세서(130)는 전전두엽 지역 간 인과적 연결성에 따른 전전두엽 활성화 패턴을 인식한다. 그리고 프로세서(130)는 인식된 전전두엽 활성화 패턴에 기초하여 기설정된 BMI 제어 동작을 식별한다.As such, the processor 130 recognizes the prefrontal activation pattern according to causal connectivity between the prefrontal regions. The processor 130 identifies a preset BMI control operation based on the recognized prefrontal activation pattern.

구체적으로, 프로세서(130)는 추출된 뇌 신호 특성을 기계 학습(machine learning)을 통해 서로 다른 BMI 신호로 분류(classification)한다. 이때, 프로세서(130)는 LDA(Linear discriminant analysis), SVM(Support Vector Machine), 딥러닝(deep-learning) 등의 기계학습 방식을 사용하여 전전두엽의 뇌 신호 특성을 서로 다른 BMI 신호로 분류할 수 있다. 참고로, 프로세서(130)가 분류기로서 사용하는 기계학습 방식의 종류는 제한되지 않는다. In detail, the processor 130 classifies the extracted brain signal characteristics into different BMI signals through machine learning. In this case, the processor 130 may classify the brain signal characteristics of the frontal lobe into different BMI signals using machine learning methods such as linear discriminant analysis (LDA), support vector machine (SVM), and deep-learning. have. For reference, the type of machine learning method that the processor 130 uses as the classifier is not limited.

프로세서(130)는 일종의 분류기로서의 동작을 처리하되, 사전에 복수의 측정 대상 별로 기설정된 뇌파 발생 조건(즉, 측정 대상이 목적하는 바를 연상하는 것)에 대해 라벨링된 전전두엽 활성화 패턴을 기계학습한다. 그리고 프로세서(130)는 기계학습된 분류기를 통해 현재 측정 대상의 EEG에 따른 전전두엽 활성화 패턴을 식별하여 제어 신호를 생성한다. The processor 130 processes an operation as a sorter, but machine-learns a prefrontal activation pattern that is previously labeled for a plurality of measurement targets (ie, reminding that the measurement target is intended). The processor 130 generates a control signal by identifying the prefrontal activation pattern according to the EEG of the current measurement target through a machine-learned classifier.

즉, 프로세서(130)는 측정 대상의 EEG를 분석하여 측정 대상의 고차원적 인지적 속성에 대응하는 BMI 구동을 수행하기에 앞서, 복수의 측정 대상 별로 임의의 기준 목적(즉, BMI를 통해 처리하고자 하는 목적)들에 대한 전전두엽 활성화 패턴을 학습하는 초기 처리를 수행한다. 이때, 프로세서(130)는 측정 대상 별로 측정된 라벨링된 학습용 뇌파 신호(labeled training EEG)로부터 추출된 특성을 기계학습하여 분류기의 표준값을 세팅하는 칼리브레이션(calibration)을 처리할 수 있다. 또한, 분류기를 통해 식별되는 전전두엽 활성화 패턴은 각각 복수의 외부 장치에 대한 동작을 제어하는 제어 신호와 매칭될 수 있다.In other words, the processor 130 analyzes the EEG of the measurement target to perform the BMI driving corresponding to the high-dimensional cognitive property of the measurement target, and processes the reference object for a plurality of measurement targets (that is, through BMI). The initial process of learning the prefrontal activation pattern. In this case, the processor 130 may process a calibration for setting a standard value of the classifier by machine learning a feature extracted from a labeled training EEG signal measured for each measurement target. In addition, the prefrontal activation pattern identified through the classifier may be matched with control signals that control the operation of a plurality of external devices, respectively.

이를 통해, 측정 대상이 연상한 내용에 대응하는 고차원적인 뇌 신호 특성을 구별하고, 구별된 뇌 신호 특성에 매칭된 제어 신호를 BMI 구동 신호(예를 들어, 기설정된 기계 구동 제어 신호)로서 사용함에 따라 BMI 구동의 정확도(performance accuracy)를 높일 수 있다.Through this, it is possible to distinguish high-dimensional brain signal characteristics corresponding to the object to be measured and to use a control signal matched with the distinguished brain signal characteristics as a BMI driving signal (for example, a preset machine driving control signal). Therefore, the performance accuracy of the BMI drive can be increased.

한편, 다시 도 1로 돌아가서, 뇌-기계 인터페이스 장치(100)는 측정 대상의 두피 상에서 측정된 EEG를 대뇌 피질 레벨의 뇌파 근원 신호로 공간 정밀도가 정확하게 변환하기 위하여 3D 스캐너(150)를 사용할 수 있다. 이와 관련하여 도 6을 통해 상세히 설명하도록 한다. Meanwhile, referring back to FIG. 1, the brain-machine interface device 100 may use the 3D scanner 150 to precisely convert the spatial accuracy of the EEG measured on the scalp of the measurement object into the EEG source signal of the cerebral cortex level. . This will be described in detail with reference to FIG. 6.

도 6은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 전극 부착 위치 확인 기능을 설명하기 위한 구성도이다.6 is a block diagram illustrating an electrode attachment position checking function of the prefrontal lobe-based cognitive brain-machine interface device according to an embodiment of the present invention.

뇌파는 매번 측정할 때마다 뇌파 측정 위치(즉, 전극의 위치)에 변이(variation)가 발생할 수 있다. 이러한 변이는 센서 레벨 신호를 소스 레벨 신호로 변환할 때에 정확도를 감소시키는 요인이 된다. 따라서, 뇌파 측정 시마다 전극의 측정 위치의 변이를 최소화하기 위해서, 뇌-기계 인터페이스 장치(100)는 전극과 측정 대상의 두상 전체를 3차원 스캐닝한다.The EEG may have variations in the EEG measurement position (ie, the position of the electrode) every time it is measured. This variation is a factor in reducing accuracy when converting sensor level signals into source level signals. Therefore, in order to minimize the variation of the measurement position of the electrode every time the EEG measurement, the brain-machine interface device 100 three-dimensional scanning the two images of the electrode and the measurement object.

도 6을 참조하면, 뇌파 측정기(110)에는 뇌 근원 신호 추출에 유리하도록 전두엽 영역(P10) 상에 전극(111)들이 조밀하게 배치되어 있다. 도 6에서와 같이 전두엽 영역(P10) 이외의 뇌 영역 상에도 다수의 전극(111)들이 배치될 수 있다. Referring to FIG. 6, in the EEG 110, electrodes 111 are densely arranged on the frontal lobe region P10 to favor brain source signal extraction. As shown in FIG. 6, a plurality of electrodes 111 may be disposed on a brain region other than the frontal lobe region P10.

예를 들어, 뇌파 측정기(110) 상에는, 뇌파 전극 위치에 대한, 일례로 10-10 국제 시스템(10-10 international system)을 적용하여 복수의 전극(111)들이 배치될 수 있다. 10-10 국제 시스템은, 두상에서의 두 축인 비근점(nasion)과 뒤통수점(inion)을 연결한 중심선(제 1 축)과 양쪽 귀를 정수리(vertex)를 지나도록 연결한 선(제 2 축)을 각각 100%로 보았을 때에 10% 간격마다 배분된 위치에 전극을 배열하는 고밀도 뇌파 전극 위치법이다. For example, on the EEG 110, a plurality of electrodes 111 may be disposed by applying, for example, a 10-10 international system for EEG electrode positions. 10-10 The international system consists of a centerline (first axis) connecting two axes in the head, nasion and inion, and a line connecting both ears through the vertex (second axis). ) Is a high density EEG electrode positioning method in which electrodes are arranged at positions distributed at 10% intervals when viewed at 100%.

그리고, 3D 스캐너(150)에서 다수의 전극(111)들의 3차원 좌표값을 인식할 수 있도록, 뇌파 측정기(110) 상에는 앞이마, 좌/우 관자놀이 등에 대응된 기설정된 하나 이상의 부분에 랜드마크 전극(113)이 부착되어 있다. 이때, 3D 스캐너(150)는 랜드마크 전극(113)과의 거리 및 각도 등에 기준하여 각각의 전극(111)들의 위치를 확인 또는 추정할 수 있다.In addition, the 3D scanner 150 may recognize the three-dimensional coordinate values of the plurality of electrodes 111, and the landmark electrode may be formed on at least one portion corresponding to the forehead, left / right temples, etc. on the EEG 110. 113) is attached. In this case, the 3D scanner 150 may check or estimate the positions of the respective electrodes 111 based on the distance and angle with respect to the landmark electrode 113.

3D 스캐너(150)는 측정 대상의 두상 위치 및 측정 대상이 착용한 뇌파 측정기(110)의 각 전극(111, 113)들의 위치를 스캐닝하여, 두상 위치에 기준하여 각 전극(111, 113)들의 3차원 좌표값을 생성한다. 그리고 3D 스캐너(150)는 생성된 각각의 3차원 좌표값을 프로세서(130)로 전달한다. The 3D scanner 150 scans the position of the head of the measurement target and the positions of the electrodes 111 and 113 of the EEG 110 worn by the measurement target, so that the 3D scanners 150 Create dimensional coordinates. The 3D scanner 150 transmits each generated 3D coordinate value to the processor 130.

프로세서(130)는 3D 스캐너(150)를 통해 각 전극(111, 113) 별 3차원 좌표값을 수신하면, 기설정된 기준 위치와 각 전극(111, 113)의 스캐닝된 위치가 동일한지 여부를 확인한다. 그리고 프로세서(130)는 그 확인 결과에 따른 정보(시각 또는 오디오 정보 등)를 출력 수단(모니터 등, 미도시)을 통해 출력할 수 있다. When the processor 130 receives three-dimensional coordinate values for each electrode 111 and 113 through the 3D scanner 150, the processor 130 determines whether the preset reference position and the scanned position of each electrode 111 and 113 are the same. do. The processor 130 may output information (visual or audio information, etc.) according to the verification result through an output means (such as a monitor, etc.).

예를 들어, 전극 위치 확인 정보는 뇌파 측정기(110)의 각 전극(111, 113) 별로 기설정된 기준 위치와 동일한지 위치에 배치되었는지 여부를 알리는 정보일 수 있으며, 측정 대상의 두상에 대한 3차원 모델 상에 각 전극(111, 113)의 3차원 좌표값을 정합하여 시각적으로 표시한 정보일 수도 있다. 이러한 전극 위치 확인 정보의 종류 및 출력 방식은 한정되지 않는다.For example, the electrode positioning information may be information indicating whether each electrode 111 and 113 of the EEG 110 is identical to a preset reference position or disposed at a position, and three-dimensional about a head of the measurement target. The information may be visually displayed by matching three-dimensional coordinate values of the electrodes 111 and 113 on the model. The kind and output method of such electrode positioning information are not limited.

프로세서(130)는 해당 측정 대상의 두상을 스캐닝한 결과에 기초하여 전극 위치에 대한 기준 위치를 설정할 수 있다. 예를 들어, 프로세서(130)는 3차원 스캐닝된 측정 대상의 두상에 대해 기설정된 뇌 영역 모델(예를 들어, 브로드만 영역 모델)을 정합하고, 뇌 영역 모델 상에 기설정된 뇌 지역 별로 대응되는 위치를 기준 위치로 설정할 수 있다. 또한, 프로세서(130)는 해당 측정 대상에 대해 최초로 수행한 뇌파 측정 위치, 전전두엽 활성화 패턴을 학습하는 초기 처리시 수행한 뇌파 측정 위치, 또는 직전에 수행한 뇌파 측정 위치 등의 이전 뇌파 측정 위치에 기초하여 기준 위치를 설정할 수도 있다.The processor 130 may set a reference position with respect to the electrode position based on a result of scanning the head image of the measurement target. For example, the processor 130 matches a predetermined brain region model (eg, a Broadman region model) with respect to the head of the three-dimensional scanned measurement object, and corresponds to the predetermined brain region on the brain region model. The position can be set as the reference position. Further, the processor 130 is based on the previous EEG measurement position, such as the EEG measurement position first performed on the measurement target, the EEG measurement position performed during the initial processing of learning the prefrontal lobe activation pattern, or the EEG measurement position performed immediately before. It is also possible to set the reference position.

프로세서(130)는 뇌파의 반복 측정 시 전극 위치 변이를 최소화하기 위해, BMI 구동을 위한 뇌파 측정을 수행하기에 앞서 전극 위치 보정용 뇌파 측정을 수행할 수 있다. 이때, 프로세서(130)는 뇌파 측정기(110)의 전극 위치가 기설정된 기준 위치와 일치할 때까지 뇌파 측정을 반복하도록 하는 제어 신호를 출력하고, 뇌파 측정기(110)의 전극 위치가 기준 위치와 일치하는 것으로 확인된 이후 실제 BMI 구동을 위한 뇌파 측정 및 분석을 수행할 수 있다.The processor 130 may perform the electrode position correction EEG measurement before performing the EEG measurement for driving the BMI in order to minimize the electrode position variation during repeated measurement of the EEG. In this case, the processor 130 outputs a control signal for repeating the EEG measurement until the electrode position of the EEG measuring instrument 110 matches the preset reference position, and the electrode position of the EEG measuring unit 110 coincides with the reference position. After it is confirmed that the brain wave measurement and analysis for the actual BMI can be performed.

이처럼, BMI 구동을 위한 뇌파 측정 당시의 뇌파 전극 위치가 기준 위치와 동일한지 확인함으로써, 반복 측정에 의한 뇌파 전극 위치 변이로 인한 뇌신호 근원 국소화(source-localization) 시의 문제를 방지한다. 또한, 위와 같은 뇌파 전극 위치의 고정화 작업은 뇌 영상 사진과 EEG 신호를 정합(co-registration) 시에 활용될 수 있다.As such, by checking whether the EEG electrode position at the time of EEG measurement for BMI driving is the same as the reference position, the problem at the time of source-localization of the EEG signal due to the EEG electrode position variation by repeated measurement is prevented. In addition, the above-mentioned immobilization of the EEG electrode position can be utilized during co-registration of the brain image and the EEG signal.

한편, 도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는 3D 스캐너(150)와 별도의 장치로 구비될 수 있다. 이때, 뇌-기계 인터페이스 장치(100)는 휴대용 뇌파 측정기(110) 자체에 일종의 실시간 신호 분석 장치로서의 나머지 구성들(즉, 메모리(120), 프로세서(130) 및 통신모듈(140)을 의미하며, 이하 뇌파 분석부(100-1)라고 지칭함)가 탑재된 형태로 구현될 수 있다.On the other hand, as shown in Figure 6, the brain-machine interface device 100 according to an embodiment of the present invention may be provided as a separate device from the 3D scanner 150. In this case, the brain-machine interface device 100 refers to the remaining components (ie, the memory 120, the processor 130, and the communication module 140) as a kind of real-time signal analysis device in the portable EEG 110 itself. Hereinafter, referred to as an EEG analysis unit 100-1) may be implemented in a mounted form.

예를 들어, 뇌파 분석부(100-1)는 실시간 전전두엽 브로드만 영역별 활동성에 기초하여 생성한 구동 신호를 통신모듈(140)을 통해 유/무선으로 BMI 기기(즉, 외부 장치)에 전송하는 하드웨어로 구현될 수 있다. 이때, 뇌파 측정기(110) 상에서 후두부에 뇌파 분석부(100-1)가 장착될 수 있다.For example, the EEG analysis unit 100-1 transmits a driving signal generated based on real-time prefrontal broadman area activity to the BMI device (ie, an external device) via the communication module 140 via wired / wireless. It can be implemented in hardware. In this case, the EEG analyzing unit 100-1 may be mounted on the back of the head on the EEG measuring unit 110.

이러한 뇌-기계 인터페이스 장치(100)는 다양한 BMI 장비와 연동될 수 있다. 예를 들어, 연동된 BMI 장비로서 보안 장치 중 하나인 도어락(doorlock)을 적용할 수 있다. 참고로, 도어락은 도어를 개폐하기 위한 수단(미도시)을 포함하며, 개폐 수단의 동작을 제어하는 제어모듈(미도시) 및 뇌-기계 인터페이스 장치(100)의 프로세서(130)와의 데이터 송수신을 위한 통신모듈(미도시)을 더 포함할 수 있다. 이때, 측정 대상이 도어락에 대한 특정 동작(예를 들어, 도어락의 비밀 번호를 누르는 연상)을 연상하면, 해당 연상에 대응하여 측정 대상의 두피에서 측정된 EEG 신호를 분석하여 전전두엽 활성화 패턴을 추출하고, 추출된 전전두엽 활성화 패턴을 기계학습된 분류기를 통해 식별하여 매칭된 제어 신호를 생성할 수 있다. 뇌-기계 인터페이스 장치(100)는 측정 대상이 도어락을 오픈하는 연상을 수행한 경우, 도어락으로 오픈을 위한 정보를 입력받기 위한 모드를 수행하도록 하는 제어 신호를 전송할 수 있다. 그리고 측정 대상이 도어락의 비밀 번호에 대응하는 번호들을 순차적으로 연상할 경우, 뇌-기계 인터페이스 장치(100)는 해당 번호들을 순차적으로 도어락으로 전송하여 오픈되도록 제어할 수 있다. The brain-machine interface device 100 may be linked with various BMI equipment. For example, a door lock, which is one of security devices, may be applied as an interlocked BMI device. For reference, the door lock includes a means (not shown) for opening and closing the door, and transmits and receives data to and from the processor 130 of the control module (not shown) and the brain-machine interface device 100 for controlling the operation of the opening and closing means. It may further include a communication module (not shown) for. In this case, when the measurement target is associated with a specific operation (for example, pressing a password of the door lock) associated with the door lock, the frontal lobe activation pattern is extracted by analyzing the EEG signal measured from the scalp of the measurement target in response to the association. In addition, the extracted prefrontal activation pattern may be identified through a machine-learned classifier to generate a matched control signal. The brain-machine interface device 100 may transmit a control signal to perform a mode for receiving information for opening the door lock when the object to be measured is associated with opening the door lock. And when the measurement target is sequentially associated with the numbers corresponding to the password of the door lock, the brain-machine interface device 100 can be controlled to open by transmitting the corresponding numbers sequentially to the door lock.

뇌-기계 인터페이스 장치(100)와 연동된 BMI 장비는 통신 기능을 탑재한 로봇, 스마트폰 등 그 종류가 한정되지 않으며, BMI 장비를 구동하기 위한 구동 신호의 종류 또한 한정되지 않는다.The BMI device interworking with the brain-machine interface device 100 is not limited to a kind of robot, a smartphone, etc. equipped with a communication function, and is not limited to a kind of driving signal for driving the BMI device.

이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 전전두엽 기반 뇌-기계 인터페이스 방법에 대해서 설명하도록 한다.Hereinafter, a frontal lobe-based brain-machine interface method according to an embodiment of the present invention will be described with reference to FIG. 7.

도 7은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating a prefrontal lobe based cognitive brain-machine interface method according to an embodiment of the present invention.

이하에서 설명할 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은, 앞서 설명한 뇌-기계 인터페이스 장치(100)의 프로세서(130)를 통해 처리될 수 있다.The prefrontal lobe-based cognitive brain-machine interface method described below may be processed through the processor 130 of the brain-machine interface device 100 described above.

전전두엽 뇌파 신호에 기반한 BMI 구동을 수행하기에 앞서, 측정 대상이 연상한 특정 의도(즉, 고차원적인 의도)를 이미 알고 있는 상태에서 뇌파 측정기(110)를 통해 측정된 측정 대상의 전전두엽 뇌파 신호를 입력받는다. 이처럼, 측정된 뇌파 신호는 측정 대상이 연상한 의도에 대해 라벨링된다. 그리고 라벨링된 학습용 뇌파 신호에 기초하여 신호 특성을 추출(feature extraction)한다. 이때, 라벨링된 학습용 뇌파 신호에 기초하여 측정 대상의 가장 활성화된 둘 이상의 전전두엽 지역을 검출하고, 검출된 뇌 지역 간의 인과적 연결성을 전전두엽 활성화 패턴으로서 추출한다. 그리고 추출된 전전두엽 활성화 패턴들을 기계 학습(지도 또는 비지도 기계 학습)하여 전전두엽 활성화 패턴에 대한 분류기를 생성한다.Prior to performing BMI driving based on prefrontal EEG signals, the prefrontal EEG signals of the measurement target measured by the EEG measuring instrument 110 are inputted while the measurement target is already aware of the specific intentions associated with the pre-frontal EEG signals. Receive. As such, the measured EEG signals are labeled for intentions associated with the subject being measured. And feature extraction based on the labeled learning EEG signal. At this time, the most active two or more prefrontal regions of the object to be measured are detected based on the labeled learning EEG signal, and causal connectivity between the detected brain regions is extracted as a prefrontal activation pattern. The extracted prefrontal activation patterns are machine-learned (supervised or unsupervised machine learning) to generate a classifier for the prefrontal activation patterns.

그리고 도 7에 도시한 바와 같이, 전전두엽 뇌파 신호에 기반한 BMI 구동 시, 의도를 직접적으로 연상 중인 측정 대상의 전전두엽 영역의 뇌파 신호(EEG)를 측정한다(S710).As shown in FIG. 7, when the BMI is driven based on the prefrontal EEG signal, the EEG signal (EEG) of the prefrontal region of the measurement target directly associated with the intention is measured (S710).

그런 다음, 측정된 뇌파 신호에 대응된 해부학적 뇌파 발생 위치(즉, 근원 부위)를 추적한다(S720).Then, the anatomical EEG generation position (ie, root region) corresponding to the measured EEG signal is tracked (S720).

다음으로, 추적된 뇌 지역(즉, 전전두엽 지역) 별 활동성에 기반하여 고차원적 인지적 뇌파 신호의 특성(즉, 전전두엽 활성화 패턴)을 추출한다(S730).Next, the characteristics of the high-order cognitive EEG signals (ie, the prefrontal activation pattern) are extracted based on the activity of each tracked brain region (ie, the prefrontal region) (S730).

이때, 센서 레벨 신호(즉, EEG)에 대해 근원 국소화 분석을 수행하여 소스 레벨 신호(즉, PFC 신호)로 변환한다. 그리고 소스 레벨 신호들의 활동성 정도에 따라 활성화된 전전두엽 지역을 검출한 후, 가장 활성화된 전전두엽 지역부터 가장 큰 인과적 연결성을 보이는 둘 이상의 전전두엽 지역을 선택하여 인과적 연결성을 검출한다. 이처럼, 선택된 둘 이상의 전전두엽 지역 간의 방향성 있는 인과적 연결성을 전전두엽 활성화 패턴으로서 추출할 수 있다.At this time, a source localization analysis is performed on the sensor level signal (ie, the EEG) and converted into a source level signal (ie, the PFC signal). After detecting the prefrontal region activated according to the activity level of the source level signals, causal connectivity is detected by selecting two or more prefrontal regions showing the largest causal connection from the most active prefrontal region. As such, directional causal connectivity between two or more selected prefrontal regions can be extracted as a prefrontal activation pattern.

다음으로, 추출된 뇌 지역 활성화 패턴(즉, 전전두엽 활성화 패턴)을 위와 같이 기계학습된 분류기에 입력하여, 기설정된 BMI 구동 조건 중 해당 뇌파 신호 특성에 해당하는 특성을 구분한다(S740).Next, the extracted brain region activation pattern (ie, the prefrontal activation pattern) is input to the machine-learned classifier as described above, and the characteristics corresponding to the corresponding EEG signal characteristics among the predetermined BMI driving conditions are distinguished (S740).

그리고 상기 S740 단계를 수행하여 분류한 결과에 따른 제어 신호를 생성하여 출력한다(S750).In operation S750, the control signal is generated and output according to the classification result.

즉, 사전에 라벨링된 측정 대상의 의도의 내용과 직접적으로 대응하는 BMI 구동 조건를 식별한 후, 해당하는 BMI 장비로 측정 대상의 의도의 내용을 수행하기 위한 제어 신호를 전송한다.That is, after identifying the BMI driving conditions that directly correspond to the content of the intention of the measurement object, which is labeled in advance, the control signal for performing the content of the intention of the measurement object is transmitted to the corresponding BMI equipment.

한편, 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법에서는, 상기 S710 단계를 수행하기에 앞서, 3D 스캐너(150)를 통한 전극 위치 확인 처리를 먼저 수행할 수 있다. 이러한 전극 위치 확인 처리의 과정은 앞서 도 6을 통해 설명한 방식과 동일 또는 유사하다.On the other hand, in the prefrontal lobe-based cognitive brain-machine interface method according to an embodiment of the present invention, prior to performing the step S710, the electrode positioning process through the 3D scanner 150 may be performed first. This electrode positioning process is the same as or similar to that described above with reference to FIG. 6.

위와 같은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The prefrontal lobe-based cognitive brain-machine interface method according to an embodiment of the present invention as described above may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

100: 전두엽 기반 인지적 뇌-기계 인터페이스 장치
110: 뇌파 측정기 120: 메모리
130: 프로세서 140: 통신모듈
150: 3D 스캐너 P10: 전두엽 영역100: Frontal lobe-based cognitive brain-machine interface device
110: brain wave detector 120: memory
130: processor 140: communication module
150: 3D scanner P10: frontal lobe area

Claims

In a prefrontal lobe based cognitive brain-machine interface device,
EEG measuring instrument for measuring the EEG signal of the frontal lobe of the measurement target;
Memory in which a cognitive brain-machine interface program is stored; And
A processor for executing a program stored in the memory;
According to the execution of the cognitive brain-machine interface program, the processor recognizes a brain region corresponding to the EEG signal of the frontal lobe measured by the EEG from among a plurality of brain regions on the prefrontal lobe previously classified, and recognizes Detects the degree of activity of each brain region, calculates causal connections between two or more brain regions based on the degree of activity of each brain region, extracts prefrontal activation patterns, and pre-machines a plurality of prefrontal activation patterns for the measurement target. Inputting the extracted prefrontal activation pattern to a classifier generated by learning to identify a corresponding driving condition among predetermined brain-machine interface driving conditions, and generating and outputting a predetermined machine driving control signal based on the identified result But
The classifier is generated by pre-frontal lobe-cognitive brain-machine interface device machine learning, respectively, based on the EEG signals of the frontal lobe of the measurement target, each of the prefrontal activation patterns labeled for each of the intended content.

The method of claim 1,
The processor,
EEG (electroencephalogram) measured on the scalp of the measurement target is converted into a prefrontal cortex (PFC) signal by analyzing EEG signal source localization, and detects the degree of activity of the converted prefrontal cortex signal, Prefrontal lobe based cognitive brain-machine interface device.

The method of claim 2,
The processor,
The EEG is converted into a brain signal of the broadman region, and the brain region is detected by dividing the brain region into at least one broadman region of the extrafrontal frontal lobe, the lateral prefrontal lobe, the abdominal prefrontal lobe, the anterior frontal lobe, and the orbital frontal lobe. Cognitive brain-machine interface device.

The method of claim 1,
The processor,
A prefrontal lobe-based cognitive brain-mechanical interface device that recognizes causal connectivity by analyzing directional causality over time by two or more brain region-specific EEG signals through a Granger causality technique.

The method of claim 4, wherein
3D scanner which is to be worn by the head and the measurement target of the measurement target, and generates a three-dimensional coordinate value for each electrode for measuring the EEG by three-dimensional scanning the EEG measuring device having a plurality of EEG measuring electrodes arranged for each predetermined brain region location ; And
Further comprising a communication module for transmitting and receiving data with external devices including the 3D scanner,
The processor is a frontal lobe-based cognitive brain-mechanical interface device for outputting the electrode position confirmation result by confirming whether or not match with a predetermined reference position for each electrode for electroencephalogram based on the three-dimensional coordinate value for each electrode for electroencephalogram measurement .

The method of claim 5,
The brain wave detector is integrally provided with the memory, a processor, and a communication module,
A prefrontal lobe-based cognitive brain-machine interface device for communicating with the 3D scanner by wire or wirelessly through the communication module to receive the 3D coordinate value and the result of 3D scanning of the head.

In a prefrontal lobe-based cognitive brain-machine interface method using a prefrontal lobe-based cognitive brain-machine interface device,
Receiving an EEG signal of a frontal lobe of a measurement object from an EEG meter;
Recognizing a brain region corresponding to an EEG signal of the frontal lobe measured by the EEG from among a plurality of brain regions on a prefrontal lobe previously classified;
Detecting the degree of activity of each recognized brain region and extracting a prefrontal lobe activation pattern by calculating causal connections between two or more brain regions based on the degree of activity of each brain region;
Identifying a corresponding driving condition among predetermined brain-machine interface driving conditions by inputting the extracted prefrontal activation pattern to a classifier generated by pre-machine learning a plurality of prefrontal activation patterns for the measurement target; And
Generating and outputting a predetermined machine drive control signal based on the identified result;
The classifier,
The prefrontal lobe-based cognitive brain-machine interface method is generated by machine learning each of the prefrontal activation patterns labeled for each of a plurality of intentions based on the EEG signals of the frontal lobe of the measurement target.

The method of claim 7, wherein
Recognizing the brain region,
The EEG (electroencephalogram) measured on the scalp of the measurement target is converted to a prefrontal cortex (PFC) signal by analyzing EEG signal source localization, prefrontal cortex-based cognitive brain-machine interface method.

The method of claim 8,
The EEG is converted into a brain signal of the broadman region, and the brain region is detected by dividing the brain region into at least one broadman region of the extrafrontal frontal lobe, the lateral prefrontal lobe, the abdominal prefrontal lobe, the anterior frontal lobe, and the orbital frontal lobe. Cognitive brain-machine interface method.

The method of claim 8,
The EEG signal source localization analysis technique, using a low resolution electromagnetic tomography (LORETA) technique and a cortical current density source model (cortical current density source model), the frontal lobe based cognitive brain. -Machine interface method.

The method of claim 8,
Extracting the prefrontal lobe activation pattern,
Detecting a degree of activity of the converted prefrontal cortex signal; And
Based on the degree of activity, the frontal lobe-based cognitive includes recognizing causal connectivity by analyzing directional causality of two or more brain regions by directional causality over a Granger causality technique. Brain-machine interface method.

The method of claim 11,
A prefrontal lobe-based cognitive brain-machine interface method, using a multivariate autoregressive model to calculate the degree of causal connectivity through a directed transfer function.

The method of claim 11,
Recognizing the causal connectivity,
And sequentially selecting two or more brain regions having the largest causal connection from the most activated brain region based on the degree of activation for each brain region.

The method of claim 7, wherein
The EEG measuring instrument is a plurality of EEG measuring electrodes are arranged for each predetermined brain region location,
Before receiving the EEG signal of the frontal lobe of the measurement target,
Receiving a three-dimensional coordinate value for each electrode for measuring the EEG as a result of the three-dimensional scanning of the head of the measurement target and the EEG measuring instrument worn by the measurement target from a 3D scanner linked in advance;
Confirming whether or not a coincidence with a predetermined reference position for each of the EEG measuring electrodes is based on a three-dimensional coordinate value for each of the EEG measuring electrodes; And
And outputting electrode positioning information based on the result of the confirmation.