KR20220140498A - 휴먼 인터페이스 시스템 - Google Patents

Abstract

사용자로부터 입력을 수신하도록 구성된 물리적 제어기 및 사용자의 의도가 검증될 수 있도록 시각적 자극들이 제시되는 뇌-컴퓨터 인터페이스를 포함하는 휴먼 인터페이스 시스템. 하나 이상의 외부 실제 또는 컴퓨터 생성 오브젝트를 제어하는 데 사용될 수 있는 하이브리드 입력을 제공하기 위해, 물리적 제어기로부터의 입력 데이터는 뇌-컴퓨터 인터페이스로부터의 입력 데이터와 조합된다. 상기 휴먼 인터페이스 디바이스를 동작시키는 방법.

Description

휴먼 인터페이스 시스템

관련 출원들에 대한 상호 참조

본 출원은 2020년 1월 3일자로 출원된 발명의 명칭이 "HUMAN INTERFACE SYSTEM"인 미국 가특허 출원 일련 번호 제62/956,868호를 우선권의 이익을 주장하고, 이 미국 가특허 출원은 그 전체 내용이 본원에 참조로 포함된다.

본 발명의 기술 분야

본 개시내용의 실시예들은 시각적 뇌-컴퓨터 인터페이스(visual brain-computer interface)를 포함하는 휴먼 인터페이스 시스템(human interface system)에 관한 것이다.

시각적 뇌-컴퓨터 인터페이스(BCI)들에서, 일반적으로 사용자에게 제시되는 복수의 생성된 시각적 자극들 중 타겟 자극에 대한 신경 응답들은 임의의 주어진 시간에 어느 자극이 본질적으로 초점 오브젝트인지를 추론(또는 "디코딩")하는 데 사용된다. 이어서, 초점 오브젝트는 사용자 선택가능 또는 제어가능 액션과 연관될 수 있다.

신경 응답들은 다양한 알려져 있는 기법들을 사용하여 획득될 수 있다. 하나의 편리한 방법은 표면 뇌파검사(electroencephalography)(EEG)에 의존하고, 이는 비침습적이고, 세밀한 시간 해상도를 갖고, 널리 이해되는 경험적 기초들에 기초한다. 표면 EEG는 피험자의 두개골의 표면(즉, 두피) 상의 확산 전위들의 변동들을 실시간으로 측정하는 것을 가능하게 한다. 이러한 전위들의 변동들은 뇌파검사 신호들 또는 EEG 신호들로 통상적으로 지칭된다.

전형적인 BCI에서, 시각적 자극들은 디스플레이 디바이스에 의해 생성되는 디스플레이에서 제시된다. 적합한 디스플레이 디바이스들의 예들(그들 중 일부는 도 3에 예시됨)은 텔레비전 스크린들 및 컴퓨터 모니터들(302), 프로젝터들(310), 가상 현실 헤드셋들(306), 인터랙티브 화이트보드들, 및 태블릿들(304), 스마트폰들, 스마트 안경들(308)의 디스플레이 스크린 등을 포함한다. 시각적 자극들(311, 311', 312, 312', 314, 314', 316, 318)은 생성되는 그래픽 사용자 인터페이스(GUI)의 일부를 형성할 수 있거나, 또는 그들은 베이스 이미지를 오버레이하는 증강 현실(AR) 또는 혼합 현실 그래픽 오브젝트들(316)로서 제시될 수 있고: 이 베이스 이미지는 단순히 (스마트 안경 세트의 다른 방식의 투명 디스플레이 상에 투영되는 혼합 현실 디스플레이 기능의 경우에서와 같이) 사용자의 실제 시야일 수 있거나, 또는 사용자의 시야에 대응하지만 광학 캡처 디바이스에 의해 실시간으로 캡처되는 디지털 이미지(광학 캡처 디바이스는 결국 다른 가능한 뷰들 중 사용자의 시야에 대응하는 이미지를 캡처할 수 있음)일 수 있다.

임의의 주어진 시간에 복수의 시각적 자극들 중 어느 것(존재하는 경우)이 초점 오브젝트인지를 추론하는 것은 어려운 일이다. 예컨대, 사용자가, 예컨대, 온-스크린 키패드 상에 디스플레이되는 숫자들과 같은 다수의 자극들과 대면하고 있을 때, 주어진 시간에 뇌 활동으로부터 직접적으로 어느 것에 초점이 맞춰져 있는지를 추론하는 것은 거의 불가능한 것으로 입증되었다. 사용자는 초점이 맞춰진 숫자, 이를테면 숫자 5를 인식하고, 그에 따라, 뇌는 그 숫자를 다른 숫자들과 구별하는 정보를 포함해야 하지만, 현재의 방법들은 그 정보를 추출하는 것이 가능하지 않다. 즉, 현재의 방법들은 약간의 어려움으로 자극이 인식된 것을 추론할 수 있지만, 그들은 뇌 활동만을 사용하여 어느 특정 자극에 초점이 맞춰져 있는지를 결정할 수 없다.

이 문제를 극복하고 자극과 배경 사이의(그리고 자극들 사이의) 충분한 콘트라스트를 제공하기 위해, 시각적 BCI들에 의해 사용되는 자극들을 블링크 또는 펄스(예컨대, 흑색으로부터 백색으로 그리고 그 반대로 스위칭하는 픽셀들의 큰 표면들)로 구성하는 것이 알려져 있고, 그에 따라, 각각의 자극은 시간 경과에 따른 구별가능한 특성 프로파일을 갖게 된다). 점멸 자극들은 측정가능한 전기적 응답들을 발생시킨다. 특정 기법들은 상이한 전기적 응답들, 예컨대, 정상 상태 시각적 유발 전위(steady state visual evoked potential)(SSVEP)들 및 P-300 이벤트 관련 전위들을 모니터링한다. 전형적인 구현들에서, 자극들은 6 Hz 초과의 레이트로 점멸한다. 결과로서, 이러한 시각적 BCI들은 다양한 자극들을 지속적으로 디스플레이하기보다는 불연속적으로 디스플레이하고, 전형적으로는 상이한 시점들에 디스플레이하는 것으로 구성된 접근법에 의존한다. 주어진 자극에 집중되는 주의와 연관된 뇌 활동은 그 자극의 시간적 프로파일의 하나 이상의 양태, 예컨대, 자극이 블링킹 상태와 정지 상태 사이에서 교번하는 듀티 사이클 및/또는 자극 블링크의 주파수에 대응(즉, 상관)하는 것으로 밝혀졌다.

따라서, 신경 신호들의 디코딩은, 자극이 턴 온될 때, 자극이 EEG 디바이스의 전극들, 예컨대, EEG 헬멧의 전극들에 의해 픽업되는 전기적 신호들, 즉, SSVEP들 또는 P-300 전위들로부터 결정될 수 있는 뇌의 신경 응답들의 특성 패턴을 트리거할 것이라는 사실에 의존한다. 이 신경 데이터 패턴은 다양한 숫자들에 대해 매우 유사하거나 또는 심지어 동일할 수 있지만, 이는 인식되는 숫자에 대해 시간 고정되는데: 임의의 하나의 시간에 하나의 숫자만이 펄싱될 수 있고, 그에 따라, 그 숫자가 펄싱된 시간 및 펄싱되는 신경 응답과의 상관은 그 숫자가 초점 오브젝트라는 표시로서 결정될 수 있다. 상이한 시점들에 각각의 숫자를 디스플레이하고/하거나, 상이한 레이트들로 그 숫자를 턴 온 및 오프하고/하거나, 상이한 듀티 사이클들을 적용하고/하거나, 단순히 상이한 시점들에 자극을 적용함으로써, BCI 알고리즘은, 턴 온될 때, 어느 자극이 주어진 신경 응답을 트리거할 가능성이 가장 높은지를 확립할 수 있고, 이에 의해, 시스템이 초점이 맞춰진 타겟을 결정하는 것을 허용할 수 있다.

시각적 BCI들은 최근 몇 년 동안 상당히 개선되었고, 그에 따라, 사용자의 초점의 실시간 및 정확한 디코딩이 점점 더 실용화되고 있다. 그럼에도 불구하고, 초점 오브젝트를 결정하는 것은 여전히 도전적이다.

2020년 11월 6일자로 출원된 동시 계류중인 국제 특허 출원 번호 PCT/EP2020/081348(문서 번호 5380.002WO1)(그의 전체 명세서는 본원에 참조로 포함됨)은 신속하고 정확하게 타겟 주변의 오브젝트들(방해자(distractor)들)로부터 초점 오브젝트(타겟)를 결정하는 난제에 대한 하나의 접근법을 설명한다. 이 접근법은 인간 시각 시스템의 특성들에 의존한다.

임의의 주어진 시간에 초점 오브젝트를 결정하기 위한 다른 기법들이 알려져 있다. 예컨대, 사용자의 머리에 대한 사용자의 눈의 포지션의 변화들을 추적함으로써 사용자의 응시 방향을 추적하는 것이 알려져 있다. 이 기법은 전형적으로, 사용자에게 사용자의 눈들을 향하는 카메라들을 갖는 머리 장착형 디바이스를 착용할 것을 요구한다. 특정 경우들에서, 물론, 눈 추적 카메라들은 머리 장착형이 아니라 플로어 또는 휠체어에 대해 고정될 수 있다. 이어서, 결정된 응시 방향에 위치된 것으로 발견된 오브젝트는 초점 오브젝트인 것으로 가정될 수 있다.

그러나, 응시 방향은 그 오브젝트와 상호작용하려는 의도의 비교적 빈약한 표시자인 것으로 고려된다.

개인용 컴퓨팅의 분야에서, 컴퓨팅 디바이스들에 인간으로부터의 입력을 제공하기 위한 다수의 다른 입력 메커닉(input mechanic)들이 알려져 있다. 이러한 입력 메커니즘들을 구현하는 휴먼 인터페이스 디바이스들은 키보드들, 마우스 디바이스들, 조이스틱들, 터치 스크린들 등을 포함한다. 휴먼 인터페이스 디바이스들은, 다른 입력 카테고리들 중에서도 특히, (종래의 컴퓨터 키보드 및/또는 터치 스크린의 경우와 같은) 영숫자 입력; (마우스, 터치패드, 트랙볼, 조이스틱, 라이트 펜, 또는 다른 포인팅 디바이스들과 같은 구성요소들에서와 같은) 포인트 기반 입력; (예컨대, 터치 스크린 내의 가상 인터페이스 또는 물리적 버튼으로부터의) 촉각 입력; 오디오 입력(예컨대, 마이크로폰); 및 관성 입력을 수신하도록 구성될 수 있다. 입력은 아날로그 또는 디지털 형태일 수 있다. 게임 콘솔들, 로봇 디바이스들, 및 원격 제어 차량들(이를테면, 드론들 또는 모델 자동차들)을 위한 전용 제어기 디바이스들은 제어기 디바이스의 물리적 움직임이 입력 데이터로 변환될 수 있도록 (예컨대, 관성 측정 유닛(IMU)으로부터) 관성 입력을 획득하기 위한 센서들을 포함할 수 있다.

휴먼 인터페이스 디바이스의 다른 카테고리는 제스처들(예컨대, 사용자에 의해 행해지는 전신 제스처들, 머리 또는 손 제스처들, 또는 사실상 손가락 제스처들)의 카메라 기반 추적을 위한 하나 이상의 카메라 유닛을 포함하는 디바이스일 수 있다. 이러한 디바이스들 내의 카메라 유닛들은 전형적으로, 전자기 복사의 가시광선 또는 적외선 파장들에서 동작한다. 초음파 트랜스듀서들은 물리적 제스처들을 추적하는 것에서 이러한 카메라 유닛들을 대체할 수 있다. 이러한 디바이스들은 입력 디바이스들로서 고려될 수 있는데, 그 이유는 그들이 마찬가지로 컴퓨팅 디바이스들에 인간으로부터의 입력을 제공할 수 있기 때문이다. 사용자 또는 사용자의 일부의 물리적 움직임은 입력 데이터로 변환될 수 있다.

종래의 입력 메커니즘들 각각은 인간 사용자에 의한 수동적, 물리적, 또는 음성 입력에 의존한다. 특정 사용자들의 경우, 특정 입력 메커니즘들은 편리하지 않거나 또는 불가능할 수 있다. 다른 사용자들의 경우, 종래의 입력 메커니즘들은 컴퓨터와 상호작용하는 사용자의 능력을 불필요하게 제약 또는 제한할 수 있다.

따라서, 위의 난제들을 해결하는 휴먼 인터페이스 시스템들을 제공하는 것이 바람직하다.

본 개시내용은 휴먼 인터페이스 시스템에 관한 것이고, 휴먼 인터페이스 시스템은 사용자로부터 입력을 수신하기 위한 적어도 하나의 물리적 제어기, 및 사용자의 의도가 검증될 수 있도록 시각적 자극들이 제시되는 뇌-컴퓨터 인터페이스를 포함하고, 시스템은 물리적 제어기로부터의 입력 데이터를 뇌-컴퓨터 인터페이스로부터의 입력 데이터와 조합함으로써, 개선되고 직관적인 사용자 경험을 제공하도록 구성된다.

제1 양태에 따르면, 본 개시내용은 휴먼 인터페이스 시스템에 관한 것이고, 휴먼 인터페이스 시스템은, 사용자로부터 입력을 수신하기 위한 물리적 제어기; 및 적어도 하나의 시각적 자극이 제시되는 뇌-컴퓨터 인터페이스를 포함하고, 시각적 자극은 자극 생성기에 의해 생성되고, 사용자의 초점 오브젝트가 결정될 수 있도록 특성 변조를 갖고, 시스템은 물리적 제어기로부터의 입력 데이터를 뇌-컴퓨터 인터페이스로부터의 입력 데이터와 조합하도록 구성된다.

제2 양태에 따르면, 본 개시내용은 사용자 의도를 결정하기 위한 휴먼 인터페이스 시스템의 동작의 방법에 관한 것이고, 방법은, 물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하는 단계; 디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하는 단계; 상기 적어도 하나의 오브젝트 중 하나 이상에 대해, 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용하는 단계; 신경 신호 캡처 디바이스로부터 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신하는 단계; 시각적 자극의 특성 변조와 전기적 신호들 사이의 상관에 따라, 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지를 입력 명령어들의 제2 세트로서 결정하는 단계; 및 입력 명령어들의 하이브리드 세트를 생성하기 위해, 입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합하는 단계를 포함한다.

임의의 특정 요소 또는 행위의 논의를 쉽게 식별하기 위해, 참조 번호에서 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 지칭한다.
도 1은 본 개시내용에 따른, EEG 신호들을 수신 및 프로세싱하기 위한 전자 아키텍처를 예시한다.
도 2는 본 개시내용에 따른, 뇌-컴퓨터 인터페이스(BCI)를 포함하는 시스템을 예시한다.
도 3은 본 개시내용의 BCI 시스템과 함께 사용하는 데 적합한 디스플레이 디바이스의 다양한 예들을 예시한다.
도 4a는 2개의 클래스의 제스처 추적 디바이스를 예시하는 한편, 도 4b는 본 개시내용에 따른 휴먼 인터페이스 시스템을 도시한다.
도 5는 본 개시내용에 따른, 휴먼 인터페이스 시스템의 동작의 방법에서의 주요 기능 블록들을 예시한다.
도 6은 일부 예시적인 실시예들에 따른, 본 개시내용이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
도 7은 일부 예시적인 실시예들에 따른, 머신으로 하여금 논의되는 방법들 중 임의의 하나 이상을 수행하게 하기 위해 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 도식적 표현이다.

이하의 설명은 본 개시내용의 예시적인 실시예들을 구현하는 시스템들, 방법들, 기법들, 명령어 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 이하의 설명에서, 설명의 목적들을 위해, 본 발명의 발명대상의 다양한 실시예들의 이해를 제공하기 위해 다수의 특정 세부사항들이 제시된다. 그러나, 본 발명의 발명대상의 실시예들이 이러한 특정 세부사항들 없이도 실시될 수 있다는 것이 관련 기술분야의 통상의 기술자에게 자명할 것이다. 일반적으로, 잘 알려져 있는 명령어 인스턴스들, 프로토콜들, 구조들, 및 기법들은 반드시 상세히 도시된 것은 아니다.

도 1은 본 개시내용에 따른, EEG 디바이스(100)에 의한 EEG 신호들의 수신 및 프로세싱을 위한 전자 아키텍처의 예를 예시한다.

피험자(110)의 두개골의 표면 상의 확산 전위들을 측정하기 위해, EEG 디바이스(100)는 휴대용 디바이스(102)(즉, 캡 또는 헤드피스), 아날로그-디지털 변환(ADC) 회로부(104), 및 마이크로제어기(106)를 포함한다. 도 1의 휴대용 디바이스(102)는 하나 이상의 전극(108), 전형적으로는 1개 내지 128개의 전극, 유리하게는 2개 내지 64개, 유리하게는 4개 내지 16개를 포함한다.

각각의 전극(108)은 피험자의 뉴런 활동에 의해 생성되는 전기적 신호들을 검출하기 위한 센서, 및 아날로그-디지털 변환 전에 검출된 신호를 사전 프로세싱(예컨대, 필터링 및/또는 증폭)하기 위한 전자 회로를 포함할 수 있고: 그러한 전극들은 "능동적"인 것으로 지칭된다. 능동 전극들(108)은 도 1에서 사용 중인 상태로 도시되어 있고, 여기서, 센서는 피험자의 두피에 물리적으로 근접해 있다. 전극들은 전도성 겔 또는 다른 전도성 액체와 함께("습식" 전극들로 지칭됨) 또는 그러한 액체들 없이(즉, "건식" 전극들) 사용하는 데 적합할 수 있다.

각각의 ADC 회로(104)는 주어진 수, 예컨대 1개 내지 128개의 능동 전극(108)의 신호들을 변환하도록 구성된다.

ADC 회로들(104)은 마이크로제어기(106)에 의해 제어되고, 예컨대 프로토콜 SPI("Serial Peripheral Interface")에 의해 마이크로제어기와 통신한다. 마이크로제어기(106)는, 예컨대, 블루투스, Wi-Fi("Wireless Fidelity"), 또는 Li-Fi("Light Fidelity")에 의해, 외부 프로세싱 유닛(도시되지 않음), 예컨대, 컴퓨터, 모바일 폰, 가상 현실 헤드셋, 자동차 또는 항공 컴퓨터 시스템으로 송신하기 위해, 수신된 데이터를 패키징한다.

특정 실시예들에서, 각각의 능동 전극(108)은 배터리(도 1에 도시되지 않음)에 의해 급전된다. 배터리는 휴대용 디바이스(102)의 하우징에 편리하게 제공된다.

특정 실시예들에서, 각각의 능동 전극(108)은 각각의 전위 값을 측정하고, 그 각각의 전위 값으로부터 기준 전극에 의해 측정된 전위가 감산되고(Ei = Vi - Vref), 이 차이 값은 ADC 회로(104)에 의해 디지털화된 후에 마이크로제어기(106)에 의해 송신된다.

특정 실시예들에서, 본 개시내용의 방법은 디스플레이 디바이스의 그래픽 사용자 인터페이스에서 디스플레이하기 위한 타겟 오브젝트들을 도입한다. 타겟 오브젝트들은 제어 아이템들을 포함하고, 차례로, 제어 아이템들은 사용자 선택가능 액션들과 연관된다.

도 2는 본 개시내용에 따른, 뇌-컴퓨터 인터페이스(BCI)를 포함하는 시스템을 예시한다. 시스템은 도 1에 예시된 EEG 디바이스(100)와 같은 신경 응답 디바이스(206)를 포함한다. 시스템에서, 디스플레이 디바이스(202)의 디스플레이 상에 이미지가 디스플레이된다. 피험자(204)는 디스플레이 상의 이미지를 뷰잉하고 타겟 오브젝트(210)에 초점을 맞춘다.

실시예에서, 디스플레이 디바이스(202)는 디스플레이 내의 다른 디스플레이되는 오브젝트들 및/또는 배경의 시간적 특성들과 구별되는 변화하는 시간적 특성을 갖는 그래픽 오브젝트로서 적어도 타겟 오브젝트(210)를 디스플레이한다. 변화하는 시간적 특성은, 예컨대, 6 Hz 초과의 레이트로 타겟 오브젝트의 외관을 변경하는 일정한 또는 시간 고정 점멸 효과일 수 있다. 하나 초과의 그래픽 오브젝트가 잠재적인 타겟 오브젝트인 경우(즉, 뷰잉 피험자가 주의를 집중하기 위한 타겟 오브젝트의 선택을 제공받는 경우), 각각의 오브젝트는 이산적인 공간적 및/또는 시간적 코드와 연관된다.

신경 응답 디바이스(206)는 타겟 오브젝트에 집중되는 주의와 연관된 신경 응답들(즉, 시각 피질에서의 뇌 활동을 표시하는 작은 전위들)을 검출하고; 그에 따라, 타겟 오브젝트(들)의 변화하는 시간적 특성의 시각적 인식은 피험자의 뇌에서 자극으로서 작용하여, 주의 중인 타겟 오브젝트와 연관된 코드와 일치하는 특정 뇌 응답을 생성한다. 이어서, 검출된 신경 응답들(예컨대, 전위들)은 디지털 신호들로 변환되고, 디코딩을 위해 프로세싱 디바이스(208)로 전송된다. 신경 응답들의 예들은 신경과학 연구에서 통상적으로 사용되는 시각적 유발 전위(VEP)들을 포함한다. VEP들이라는 용어는 자극들이 특정 주파수로 진동하는 위에서 언급된 바와 같은 종래의 SSVEP들, 및 자극들이 가변 또는 의사 랜덤 시간적 코드에 종속되는 코드 변조된 VEP와 같은 다른 방법들을 포함한다. 뇌가 점멸 시간적 특성과 동기하여 응답하거나 또는 "진동"하는 것으로 보이는 교감 신경 응답은 본원에서 "신경 동기성(neurosynchrony)"으로 지칭된다.

프로세싱 디바이스(208)는 실시간으로 현재의 (시각적) 주의 집중을 갖는 타겟 오브젝트를 표시하는 피드백을 결정하기 위해, 수신된 신경 신호들을 해석하는 명령어들을 실행한다. 신경 응답 신호들 내의 정보를 디코딩하는 것은 그 정보와 타겟 오브젝트(즉, 자극)의 시간적 프로파일의 하나 이상의 양태 사이의 대응에 의존한다.

특정 실시예들에서, 프로세싱 디바이스는 시간적으로 변화하는 타겟 오브젝트를 포함하는 디스플레이 디바이스(202) 상에 제시되는 이미지 데이터를 편리하게 생성할 수 있다.

피드백은 편리하게 디스플레이 스크린 상에 시각적으로 제시될 수 있다. 예컨대, 디스플레이 디바이스는 타겟 오브젝트에 매우 근접하게 아이콘, 커서, 십자선, 또는 다른 그래픽 오브젝트 또는 효과를 디스플레이하여, 현재 시각적 주의 집중인 것으로 보이는 오브젝트를 강조할 수 있다. 분명히, 이러한 피드백의 시각적 디스플레이는 타겟 오브젝트의 인식에 대해 반사적 인지 효과를 가져서, 뇌 응답을 증폭시킨다.

인간 시각적 감지가 동작하는 방식에 대한 연구는, 다수의 오브젝트들을 갖는 스크린을 응시하고 그러한 오브젝트들 중 하나에 초점을 맞출 때, 인간 시각 시스템은 고 공간 주파수들(HSF)과 저 공간 주파수들(LSF) 둘 모두에 대해 수용적일 것이라는 것을 나타내었다. 증거는 인간 시각 시스템이 초점이 맞춰져 있는 특정 디스플레이 영역(예컨대, 사용자가 주시하고 있는 오브젝트)의 HSF 성분들에 대해 주로 민감하다는 것을 나타낸다. 주변 오브젝트들의 경우, 반대로, 인간 시각 시스템은 그들의 LSF 성분들에 대해 주로 민감하다. 다시 말하면, 픽업되는 신경 신호들은 초점이 맞춰진 타겟으로부터의 HSF 성분들과 주변 타겟들로부터의 LSF 성분들 둘 모두에 의해 본질적으로 영향을 받을 것이다. 그러나, 모든 오브젝트들이 소정의 비율의 HSF와 LSF 둘 모두를 유발하기 때문에, 초점 오브젝트를 결정하기 위해 신경 신호들을 프로세싱하는 것은 주변 오브젝트들에 의해 기여되는 LSF 잡음에 의해 방해받을 수 있다. 이는 초점 오브젝트를 덜 정확하고 덜 적시에 식별하게 하는 경향이 있다.

인간 시각 시스템이 시야의 상이한 위치들에 있는 다수의 병렬 자극들을 전형적으로는 무의식적으로 프로세싱하도록 튜닝됨에 따라, 주변 오브젝트 자극들은, 그들이 시야의 주변부에 나타나는 경우에도, 사용자들의 뇌들에서 신경 응답들을 계속 트리거할 것이다. 결과로서, 이는 다수의 자극들 사이의 경쟁을 야기하고, 초점 오브젝트(타겟)의 특정 신경 디코딩을 더 어렵게 한다.

동시 계류중인 국제 특허 출원 번호 PCT/EP2020/081348은 하나의 접근법을 설명하고, 그 접근법에서, 복수의 오브젝트들은 각각의 오브젝트가 오브젝트의 LSF 성분들만으로 구성된 버전과 HSF 성분들만으로 구성된 버전으로 분리되는 방식으로 디스플레이된다. 디코딩가능한 신경 응답을 도출하는 데 사용되는 블링킹 시각적 자극은 오브젝트의 HSF 버전을 통해서만 전달된다. 블링킹 HSF 버전은 (블링킹하지 않는) LSF 버전 상에 중첩된다.

위에서 설명된 BCI의 다양한 구현들 각각은 외부 오브젝트들(실세계 또는 디스플레이 내의 가상 오브젝트들)에 대한 제어를 확장, 증폭, 또는 가속화하는 데 사용될 수 있다. 이러한 의미에서, 본 개시내용의 특정 실시예들은 사용자 경험에서 새로운 툴 또는 심지어 제3의 팔과 유사한 외부 오브젝트들에 대한 제어를 위한 추가 모달리티를 제공한다.

제1 예시적인 실시예에서, 게임패드 제어기로 사용자에 의해 컴퓨터 게임이 제어된다. 게임패드 제어기로부터 수신된 사용자의 입력 명령어들은 게임 스프라이트(또는 아바타)에 대한 제어 커맨드들로 변환된다. 추가하여, 사용자는 위에서 설명된 바와 같은 뇌-컴퓨터 인터페이스로부터의 헤드셋을 착용한다.

게임 스프라이트의 가상 환경의 특정 요소들은 (위에서 설명된 바와 같은) 대응하는 특성 변조를 갖는 각각의 시각적 자극을 나타내도록 구성된다. 전기적 신호들은 BCI의 신경 신호 캡처 디바이스로부터의 자극 또는 각각의 자극에 대한 신경 응답들에 대응하고, 그에 따라, (특성 변조들 중 어느 것이 수신된 신경 응답들과 가장 강한 상관을 갖는지를 식별함으로써) 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지가 결정될 수 있다. 게임 스프라이트에 대한 제어는 BCI를 통해 결정되는 명령어들의 추가 계층에 따라 변경된다. 예컨대, 시각적 자극들을 나타내는 요소들은, 초점 오브젝트들로서 검증될 때, 특수 파워를 잠금해제하거나 또는 게임의 물리 엔진 내의 파라미터를 변경할 수 있다(예컨대, 중력의 존재 또는 방향, "게임 시간"의 경과, 시뮬레이션된 온도, 마찰 등을 제어할 수 있음). 그러한 하이브리드 제어는 (이를테면, 사용자가 게임에서 진행하는 것을 돕는) 추가적인 게임 제어로서 사용될 수 있거나, 또는 게임 맵의 새로운 부분들을 잠금해제하거나 또는 스프라이트, 이동 오브젝트들 또는 게임 환경 등의 거동들을 변경하는 인에이블링 메커니즘으로서 사용될 수 있다.

따라서, 물리적 제어기 및 BCI로부터의 입력들의 조합은 게임 애플리케이션의 상이한 요소들에 병렬로 적용될 수 있고, 여기서, 그러한 입력들의 조합은 다른 입력 디바이스들을 통한 단일 사용자의 경우에는 비실용적일 것이다. 게다가, BCI와 물리적 제어기 중 하나로부터의 입력은 주어진 요소를 선택하는 데 사용될 수 있고, 2개의 입력 수단 중 다른 하나로부터의 입력은 그 선택을 확인(즉, 검증)하는 데 사용된다. 따라서, 입력들은 특정 게임 요소 또는 디스플레이 위치와 연관된 직렬 이벤트들(예컨대, 선택/검증)에 적용될 수 있고/있거나, 게임 디스플레이의 상이한 위치들 또는 요소들에서의 병렬(즉, 거의 동시) 이벤트들에 적용될 수 있다. 본원에서 사용되는 "조합"이라는 용어는 입력들의 공간적 및 시간적 조합들 둘 모두를 포함한다.

이러한 동일한 예는 또한, BCI의 사용자가 게임패드 제어기(또는 다른 물리적 제어기)의 사용자와 동일할 필요가 없다는 것을 예시한다. 따라서, 게임 또는 사용자 경험은 다른 사용자(예컨대, 부모 또는 교사)의 외관상 비가시적인 제어로 초보 사용자에 의해 액세스가능하게(예컨대, 플레이가능하게) 될 수 있다. "적" 스프라이트(즉, 컴퓨터 제어 게임 "캐릭터")가 게임패드 사용자를 공격하기 전에 BCI로부터의 입력 명령어들에 의해 "파괴"될 수 있는 시나리오, 또는 게임패드 사용자의 스프라이트가 통과하는 것을 허용하기 위해 BCI 사용자의 액션들이 블록을 부상시킬 수 있는 시나리오를 고려한다. 추가의 예시적인 시나리오에서, BCI 사용자는 초보 사용자의 다음 타겟을 은밀하게 선택하여, 게임플레이를 단순화하거나 또는 학습을 안내할 수 있다. 게임패드 사용자는 BCI 사용자의 "신과 같은" 개입을 인식하지 못한 채 지원받을 수 있다.

추가의 예시적인 실시예에서, 이미지 편집 스위트(즉, 이미지들을 디스플레이하고 이미지 데이터의 일부 또는 전부의 외관을 조정하기 위한 이미지의 프로세싱을 용이하게 하기 위한 컴퓨터 애플리케이션)의 사용자는 포인팅 디바이스(이를테면, 마우스 디바이스 또는 디지털 스타일러스)를 수동으로 동작시키면서, 그의 정신으로(BCI의 사용을 통해) 직접적으로 잉크 컬러(브러시 두께, 펜 효과 등)를 선택하는 것이 가능할 수 있다. 컬러 선택 등은 컬러 팔레트의 각각의 구역들 내의 (위에서 상세히 설명된 타입의) 시각적 자극들의 적용 및 최대 신경 응답을 유도하는 구역의 결정을 통해 실시될 수 있다.

특정 실시예들에서, BCI 입력(즉, 디스플레이의 상이한 구역들과 연관된 시각적 자극들 및 BCI를 통한 사용자에 의한 명령어들의 입력)은 포인팅 디바이스로부터의 입력을 사용하여 또한 수행될 수 있는 태스크들과 관련될 수 있다. 예들은 편집을 위해 이미지 내에서 사용자의 커서를 내비게이팅하는 것; 및 (이를테면, "잘라내기 및 붙여넣기" 메커니즘에서) 이미지의 일부의 선택을 검증하는 것을 포함한다. BCI로부터의 입력은 포인팅 디바이스 입력과 상이한 스케일에서의 내비게이션과 연관될 수 있고, 그에 따라, BCI로부터의 입력은 포인팅 디바이스로부터의 입력에 대한 편리한 대안일 수 있다: BCI 입력은 (예컨대, 이미지 편집 스위트 내의 구역들, 계층들, 윈도우들, 또는 심지어 디스플레이들 사이의) 더 큰 스케일 전환들과 연관될 수 있는 한편, 포인팅 디바이스 입력은 더 미세한 내비게이션 또는 다른 이미지 편집 태스크들(예컨대, 디스플레이된 이미지의 픽셀 단위 이동, 선택을 위한 이미지 부분들의 윤곽화 등)을 위해 예비될 수 있다.

물리적 입력(이를테면, 게임패드 입력 또는 포인팅 디바이스 입력)과 BCI 입력의 협력으로 인해, 종래의 태스크들을 더 빠르고 직관적으로 수행하는 것이 가능한데, 그 이유는 선택 또는 내비게이션 커맨드의 검증이 더 신속하고 더 확실하게 달성될 수 있기 때문이다.

또 다른 예시적인 실시예에서, 사용자는 컴퓨팅 디바이스의 운영 체제와 상호작용할 때 물리적 입력 디바이스(키보드, 마우스, 터치패드 등)의 기능성을 보완할 수 있다. 폴더, 실행가능 파일, 또는 파일로 내비게이팅하고 그들을 선택하는 태스크는 폴더 또는 파일을 핀포인팅하고 열기 위한 물리적 입력(이를테면, 버튼들/키들을 누르는 것)과 그 액션을 검증하기 위한 BCI 입력을 조합함으로써 정확도의 손실 없이 가속화될 수 있다.

추가의 예시적인 실시예에서, 시각적 BCI는 제스처 추적 디바이스로부터의 입력과 함께 사용된다. 도 4a는 2개의 클래스의 제스처 추적 디바이스를 예시한다: 좌측에서, 제스처 추적은 모션 감응형 물리적 손 제어기를 통해 이루어지는 반면; 우측에서, 제스처들은 이미지 캡처 디바이스(이를테면, 가상 현실 헤드셋에 내장된 초음파 트랜스듀서 또는 전방을 향하는 카메라)에서 검출된다. 이러한 배열들은 신경 피드백 루프를 최대한 이용할 수 있다(그리고 심지어 향상시킬 수 있음). 이 실시예에서, 사용자는 오브젝트, 예컨대, 가상 현실 환경 내의 가상 3D 오브젝트에 초점을 맞춘다. VR 제어기와 같은 물리적 손 제어기로 작은 움직임들을 생성하는 것(도 4a의 좌측에서와 같음)에 의해, 또는 카메라에서 추적되는 손 제스처들을 단순히 행하는 것(도 4a의 우측에서와 같음)에 의해, 3D 오브젝트는 그에 따라 반응하도록 구성될 수 있다. 차례로, 오브젝트의 가시적인 반응 정도는 시스템이 오브젝트에 대한 초점을 얼마나 잘 검출하는지를 평가하는 데 사용될 수 있다. 이는 피드백 루프에 자유도들을 추가하고, 정신(즉, 신경 동기성), 신체, 및 공간 내의 오브젝트 사이의 정렬을 점진적으로 구축한다. 이러한 신경 피드백 루프는 신체 움직임을 완전히 포함하는 운동 액션을 피드백 루프 내에 포함시키는 것으로만 시각화될 수 있고, 이는 관여를 증가시키고 경험 합성을 개선할 수 있다.

유사하게, 동시 입력 모달리티들(시각적 BCI와 함께 제스처 추적이 사용되는 경우)은 혼합 현실, XR 환경들에 적용될 수 있다. 예컨대, 입력 모달리티들은 사용자의 추론된 초점 오브젝트에 기초하여, 사용자가 그들의 손 포인터를 스냅핑하여 인터랙티브 버튼을 중앙에 놓이게 하는 것을 허용하도록 협력할 수 있고: 이는, 이것이 사용자에게 편리하지 않거나, 편안하지 않거나, 또는 심지어 물리적으로 불가능할 수 있는, 사용자가 그들의 팔을 배치 및/또는 움직이는 것(공간 내의 가상 "커서 라인"을 표시하는 것)에 대한 필요성에 대한 개선일 것이다. 이러한 문제들은 또한, 일반적인 마우스 포인터들에서도 더 적은 정도로 발생한다.

게다가, BCI로부터의 입력을 사용하는 커맨드의 검증에 대한 요건은 보안 계층을 추가한다. 검증이 발생하기 위해, 사용자는 BCI를 정확하게 동작시키고 있어야 한다. 교사/부모 시나리오에서, 특정 액션들은 BCI의 사용자로부터의 추가적인 입력이 없는 경우 차단될 수 있다: 경험이 없는 초보자에 의한 입력 실수는 효과가 없게 될 수 있다. 마찬가지로, 동일한 사용자에 의해 물리적 제어기 및 BCI가 각각 사용되는 경우, 물리적 제어기로부터의 신호들은 (BCI에 의해 결정되는 바와 같은) 사용자로부터의 주의의 부재 시에 차단될 수 있다.

위에서 설명된 휴먼 인터페이스 시스템의 사용자들은 경험이 없는 게임패드 사용자와 같은, 종래의 입력 디바이스들 또는 BCI 디바이스들을 단독으로 동작시키는 데 어려움을 겪을 수 있는 사용자들을 포함할 수 있다.

위에서 설명된 바와 같은 휴먼 인터페이스 시스템의 사용의 하나의 성과는 (더 효율적인 내비게이션 및/또는 복잡한 태스크들의 수행의 결과로서) 특정 태스크들을 달성하는 데 요구되는 에너지의 감소이다.

도 4b는 본 개시내용에 따른 휴먼 인터페이스 시스템(400)을 도시한다. 시스템은 물리적 제어기(430) 및 뇌-컴퓨터 인터페이스(420)(이를테면, 변환 회로부(104) 및 마이크로제어기(도시되지 않음)(이들 모두는 외부 프로세싱 유닛(또한 도시되지 않음)과 통신함)를 갖는 도 2의 BCI)를 포함한다. 입력 디바이스들 둘 모두는 컴퓨터 애플리케이션 또는 게임의 그래픽 인터페이스를 출력하는 디스플레이(410)에 적용되는 입력을 제공한다.

여기서, 사용자는 물리적 제어기(430)(예컨대, 게임패드)와 BCI 둘 모두를 제어한다. 따라서, 게임패드(430)의 조작에 의한 다른 오브젝트들(402, 408) 중 타겟(404)의 선택은 BCI의 사용에 의해 확인(즉, 검증)될 수 있다. 사용자 선택 및 확인은 '십자선' 시각적 요소(411)의 중첩에 의해 친숙한 방식으로 시각적으로 표시된다.

도 5는 본 개시내용에 따른, 휴먼 인터페이스 시스템(예컨대, 도 4b에 예시된 휴먼 인터페이스 시스템)의 동작의 방법(500)에서의 주요 기능 블록들을 예시한다.

블록(502)에서, 하드웨어 인터페이싱 디바이스(물리적 제어기 및 뇌-컴퓨터 인터페이스 디바이스에 동작가능하게 커플링됨)는 물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신한다.

블록(504)에서, 인터페이싱 디바이스는 디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하게 한다.

블록(506)에서, 인터페이싱 디바이스는 적어도 하나의 오브젝트 중 하나 이상에 대한 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용한다.

블록(508)에서, 인터페이싱 디바이스는 신경 신호 캡처 디바이스(이를테면, 도 4b의 BCI)로부터 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신한다.

블록(510)에서, 인터페이싱 디바이스는 시각적 자극의 특성 변조와 전기적 신호들 사이의 상관에 따라 적어도 하나의 오브젝트 중 어느 것이 의도적인 초점 오브젝트인지를 결정하고, 상기 결정의 결과는 입력 명령어들의 제2 세트로서 사용된다.

블록(512)에서, 인터페이싱 디바이스는 입력 명령어들의 하이브리드 세트를 생성하기 위해 입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합한다.

독자가 쉽게 인식할 바와 같이, 위의 기능 블록들의 수행 순서는 변화될 수 있다. 예컨대, 하나 이상의 오브젝트에 대한 시각적 자극들의 생성 및 적용은 물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하기 전에 발생할 수 있다.

입력 명령어들의 제1 세트와 입력 명령어들의 제2 세트의 조합은 (컴퓨터 생성(computer-generated) 그래픽 인터페이스 내의) 단일 공간 위치에서의 단일 요소 및/또는 실질적으로 동시적인 상이한 공간 위치들에서의 요소들과 관련된 명령어들의 조합을 포함할 수 있다.

도 6은 본원에서 설명되는 다양한 하드웨어 아키텍처들과 함께 사용될 수 있는 예시적인 소프트웨어 아키텍처(606)를 예시하는 블록도이다. 도 6은 소프트웨어 아키텍처의 비제한적인 예이고, 본원에서 설명되는 기능을 용이하게 하기 위해 다수의 다른 아키텍처들이 구현될 수 있다는 것을 인식할 것이다. 소프트웨어 아키텍처(606)는, 특히, 프로세서들(704), 메모리(706), 및 입력/출력(I/O) 구성요소들(718)을 포함하는 도 7의 머신(700)과 같은 하드웨어 상에서 실행될 수 있다. 대표적인 하드웨어 계층(652)이 예시되어 있고, 예컨대, 도 7의 머신(700)을 표현할 수 있다. 대표적인 하드웨어 계층(652)은 연관된 실행가능 명령어들(604)을 갖는 프로세싱 유닛(654)을 포함한다. 실행가능 명령어들(604)은 본원에서 설명되는 방법들, 모듈들 등의 구현을 포함하는 소프트웨어 아키텍처(606)의 실행가능 명령어들을 표현한다. 하드웨어 계층(652)은 또한, 실행가능 명령어들(604)을 또한 갖는 메모리/저장소(656)로서 도시된 메모리 및/또는 저장 모듈들을 포함한다. 하드웨어 계층(652)은 또한, 다른 하드웨어(658), 예컨대, EEG 전극들과 인터페이스하고/하거나 눈 추적 유닛들과 인터페이스하고/하거나 디스플레이 디바이스들과 인터페이스하기 위한 전용 하드웨어를 포함할 수 있다.

도 6의 예시적인 아키텍처에서, 소프트웨어 아키텍처(606)는 각각의 계층이 특정 기능을 제공하는 계층들의 스택으로서 개념화될 수 있다. 예컨대, 소프트웨어 아키텍처(606)는 운영 체제(602), 라이브러리들(620), 프레임워크들 또는 미들웨어(618), 애플리케이션들(616), 및 제시 계층(614)과 같은 계층들을 포함할 수 있다. 동작적으로, 애플리케이션들(616) 및/또는 계층들 내의 다른 구성요소들은 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 콜들(608)을 호출하고, 메시지들(610)로서 응답을 수신할 수 있다. 예시된 계층들은 본질적으로 대표적이고, 모든 소프트웨어 아키텍처들이 모든 계층들을 갖는 것은 아니다. 예컨대, 일부 모바일 또는 특수 목적 운영 체제들은 프레임워크들/미들웨어(618)를 제공하지 않을 수 있는 한편, 다른 것들은 그러한 계층을 제공할 수 있다. 다른 소프트웨어 아키텍처들은 추가적인 또는 상이한 계층들을 포함할 수 있다.

운영 체제(602)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공할 수 있다. 운영 체제(602)는, 예컨대, 커널(622), 서비스들(624), 및 드라이버들(626)을 포함할 수 있다. 커널(622)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층으로서 작용할 수 있다. 예컨대, 커널(622)은 메모리 관리, 프로세서 관리(예컨대, 스케줄링), 구성요소 관리, 네트워킹, 보안 설정들 등을 담당할 수 있다. 서비스들(624)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(626)은 기본 하드웨어를 제어하거나 또는 그와 인터페이스하는 것을 담당할 수 있다. 예컨대, 드라이버들(626)은 하드웨어 구성에 따라, 디스플레이 드라이버들, EEG 디바이스 드라이버들, 카메라 드라이버들, 블루투스® 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예컨대, USB(Universal Serial Bus) 드라이버들), Wi-Fi® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함할 수 있다.

라이브러리들(620)은 애플리케이션들(616) 및/또는 다른 구성요소들 및/또는 계층들에 의해 사용될 수 있는 공통 인프라스트럭처를 제공할 수 있다. 라이브러리들(620)은 전형적으로, 다른 소프트웨어 모듈들이 기본 운영 체제(602) 기능(예컨대, 커널(622), 서비스들(624), 및/또는 드라이버들(626))과 직접적으로 인터페이스하는 것에 의한 것보다 더 쉬운 방식으로 태스크들을 수행할 수 있게 하는 기능을 제공한다. 라이브러리들(620)은 메모리 할당 기능들, 스트링 조작 기능들, 수학적 기능들 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(644)(예컨대, C 표준 라이브러리)을 포함할 수 있다. 추가하여, 라이브러리들(620)은 미디어 라이브러리들(예컨대, MPEG4, H.264, MP3, AAC, AMR, JPG, 및 PNG와 같은 다양한 미디어 포맷들의 제시 및 조작을 지원하기 위한 라이브러리들), 그래픽 라이브러리들(예컨대, 디스플레이 상에 2D 및 3D 그래픽 콘텐츠를 렌더링하기 위해 사용될 수 있는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예컨대, 다양한 관계형 데이터베이스 기능들을 제공할 수 있는 SQLite), 웹 라이브러리들(예컨대, 웹 브라우징 기능을 제공할 수 있는 WebKit) 등과 같은 API 라이브러리들(646)을 포함할 수 있다. 라이브러리들(620)은 또한, 다수의 다른 API들을 애플리케이션들(616) 및 다른 소프트웨어 구성요소들/모듈들에 제공하기 위한 매우 다양한 다른 라이브러리들(648)을 포함할 수 있다.

프레임워크들(618)(때때로 미들웨어로 또한 지칭됨)은 애플리케이션들(616) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 상위 레벨 공통 인프라스트럭처를 제공한다. 예컨대, 프레임워크들/미들웨어(618)는 다양한 그래픽 사용자 인터페이스(GUI) 기능들, 상위 레벨 리소스 관리, 상위 레벨 위치 서비스들 등을 제공할 수 있다. 프레임워크들/미들웨어(618)는 애플리케이션들(616) 및/또는 다른 소프트웨어 구성요소들/모듈들에 의해 사용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있고, 그들 중 일부는 특정 운영 체제 또는 플랫폼에 특정될 수 있다.

애플리케이션들(616)은 빌트인 애플리케이션들(638) 및/또는 제3자 애플리케이션들(640)을 포함한다.

애플리케이션들(616)은 시스템의 사용자들과 상호작용하기 위한 사용자 인터페이스들을 생성하기 위해, 빌트인 운영 체제 기능들(예컨대, 커널(622), 서비스들(624), 및/또는 드라이버들(626)), 라이브러리들(620), 또는 프레임워크들/미들웨어(618)를 사용할 수 있다. 대안적으로 또는 추가적으로, 일부 시스템들에서, 사용자와의 상호작용들은 제시 계층(614)과 같은 제시 계층을 통해 발생할 수 있다. 이러한 시스템들에서, 애플리케이션/모듈 "로직"은 사용자와 상호작용하는 애플리케이션/모듈의 양태들로부터 분리될 수 있다.

도 7은 머신 판독가능 매체(예컨대, 머신 판독가능 저장 매체)로부터 명령어들을 판독하고, 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예들에 따른, 머신(700)의 구성요소들을 예시하는 블록도이다. 구체적으로, 도 7은 컴퓨터 시스템의 예시적인 형태의 머신(700)의 도식적 표현을 도시하고, 그 내부에서, 머신(700)으로 하여금 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(710)(예컨대, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있다. 따라서, 명령어들(710)은 본원에서 설명되는 모듈들 또는 구성요소들을 구현하는 데 사용될 수 있다. 명령어들(710)은 설명 및 예시되는 기능들을 설명되는 방식으로 수행하도록 프로그래밍된 특정 머신으로 일반적인 프로그래밍되지 않은 머신(700)을 변환한다. 대안적인 실시예들에서, 머신(700)은 독립형 디바이스로서 동작하거나, 또는 다른 머신들에 커플링(예컨대, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(700)은 클라이언트-서버 네트워크 환경에서 서버 머신 또는 클라이언트 머신으로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(700)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 디지털 어시스턴트(PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 착용형 디바이스(예컨대, 스마트 시계), 스마트 홈 디바이스(예컨대, 스마트 기기), 다른 스마트 디바이스들, 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(700)에 의해 취해질 액션들을 지정하는 명령어들(710)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만 이에 제한되지는 않는다. 추가로, 단일 머신(700)만이 예시되어 있지만, "머신"이라는 용어는 또한, 본원에서 논의되는 방법들 중 임의의 하나 이상을 수행하도록 명령어들(710)을 개별적으로 또는 집합적으로 실행하는 머신들의 콜렉션을 포함하는 것으로 이해될 것이다.

머신(700)은 이를테면 버스(702)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(704), 메모리(706), 및 입력/출력(I/O) 구성요소들(718)을 포함할 수 있다. 예시적인 실시예에서, 프로세서들(704)(예컨대, 중앙 프로세싱 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 그래픽 프로세싱 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 집적 회로(RFIC), 다른 프로세서, 또는 그들의 임의의 적합한 조합)은, 예컨대, 명령어들(710)을 실행할 수 있는 프로세서(708) 및 프로세서(712)를 포함할 수 있다. "프로세서"라는 용어는 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적인 프로세서(때때로, "코어들"로 지칭됨)를 포함할 수 있는 멀티-코어 프로세서를 포함하도록 의도된다. 도 7이 다수의 프로세서들을 도시하고 있지만, 머신(700)은 단일 코어를 갖는 단일 프로세서, 다수의 코어들을 갖는 단일 프로세서(예컨대, 멀티-코어 프로세서), 단일 코어를 갖는 다수의 프로세서들, 다수의 코어들을 갖는 다수의 프로세서들, 또는 그들의 임의의 조합을 포함할 수 있다.

메모리(706)는 메인 메모리, 정적 메모리, 또는 다른 메모리 저장소와 같은 메모리(714) 및 저장 유닛(716)을 포함할 수 있고, 이를테면 버스(702)를 통해 프로세서(704)가 이들 둘 모두에 액세스가능하다. 저장 유닛(716) 및 메모리(714)는 본원에서 설명되는 방법들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(710)을 저장한다. 명령어들(710)은 또한, 머신(700)에 의한 그들의 실행 동안, 완전히 또는 부분적으로, 메모리(714) 내에, 저장 유닛(716) 내에, 프로세서(704)들 중 적어도 하나 내에(예컨대, 프로세서의 캐시 메모리 내에), 또는 그들의 임의의 적합한 조합에 있을 수 있다. 따라서, 메모리(714), 저장 유닛(716), 및 프로세서들(704)의 메모리는 머신 판독가능 매체들의 예들이다.

본원에서 사용되는 바와 같이, "머신 판독가능 매체"는 명령어들 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체들, 자기 매체들, 캐시 메모리, 다른 타입들의 저장소(예컨대, 소거가능 프로그램가능 판독 전용 메모리(EEPROM)), 및/또는 그들의 임의의 적합한 조합을 포함할 수 있지만 이에 제한되지는 않는다. "머신 판독가능 매체"라는 용어는 명령어들(710)을 저장할 수 있는 단일 매체 또는 다수의 매체들(예컨대, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)를 포함하는 것으로 이해되어야 한다. "머신 판독가능 매체"라는 용어는 또한, 명령어들이, 머신(700)의 하나 이상의 프로세서(예컨대, 프로세서들(704))에 의해 실행될 때, 머신(700)으로 하여금 본원에서 설명되는 방법들 중 임의의 하나 이상을 수행하게 하도록, 머신(예컨대, 머신(700))에 의한 실행을 위한 명령어들(예컨대, 명령어들(710))을 저장할 수 있는 임의의 매체 또는 다수의 매체들의 조합을 포함하는 것으로 이해되어야 한다. 따라서, "머신 판독가능 매체"는 단일 저장 장치 또는 디바이스를 지칭할 뿐만 아니라, 다수의 저장 장치 또는 디바이스들을 포함하는 "클라우드 기반" 저장 시스템들 또는 저장 네트워크들을 지칭한다. "머신 판독가능 매체"라는 용어는 신호들 자체를 배제한다.

입력/출력(I/O) 구성요소들(718)은 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등을 위한 매우 다양한 구성요소들을 포함할 수 있다. 특정 머신에 포함되는 특정 입력/출력(I/O) 구성요소들(718)은 머신의 타입에 의존할 것이다. 예컨대, 사용자 인터페이스 머신들 및 휴대용 머신들, 이를테면 모바일 폰들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 가능성이 있는 한편, 헤드리스 서버 머신은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있을 것이다. 입력/출력(I/O) 구성요소들(718)은 도 7에 도시되지 않은 다수의 다른 구성요소들을 포함할 수 있다는 것을 인식할 것이다.

입력/출력(I/O) 구성요소들(718)은 단지 다음의 논의를 단순화하기 위해 기능에 따라 그룹화되고, 그룹화는 결코 제한적인 것이 아니다. 다양한 예시적인 실시예들에서, 입력/출력(I/O) 구성요소들(718)은 출력 구성요소들(726) 및 입력 구성요소들(728)을 포함할 수 있다. 출력 구성요소들(726)은 시각적 구성요소들(예컨대, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선관(CRT)과 같은 디스플레이), 음향 구성요소들(예컨대, 스피커들), 촉각적 구성요소들(예컨대, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 구성요소들(728)은 영숫자 입력 구성요소들(예컨대, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 구성요소들), 포인트 기반 입력 구성요소들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구들), 촉각 입력 구성요소들(예컨대, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 구성요소들), 오디오 입력 구성요소들(예컨대, 마이크로폰) 등을 포함할 수 있다.

추가의 예시적인 실시예들에서, 입력/출력(I/O) 구성요소들(718)은, 다수의 다른 구성요소들 중에서, 예컨대, 바이오메트릭 구성요소들(730), 모션 구성요소들(734), 환경 구성요소들(736), 또는 포지션 구성요소들(738)을 포함할 수 있다. 예컨대, 바이오메트릭 구성요소들(730)은 표현들(예컨대, 손 표현들, 얼굴 표정들, 음성 표현들, 신체 제스처들, 또는 눈 추적)을 검출하고, 생체신호들(예컨대, 혈압, 심박수, 체온, 땀, 또는 EEG 디바이스로부터의 출력과 같은 뇌파들)을 측정하고, 사람을 식별(예컨대, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도 기반 식별)하는 등을 위한 구성요소들을 포함할 수 있다. 모션 구성요소들(734)은 가속도 센서 구성요소들(예컨대, 가속도계), 중력 센서 구성요소들, 회전 센서 구성요소들(예컨대, 자이로스코프) 등을 포함할 수 있다. 환경적인 환경 구성요소들(736)은, 예컨대, 조명 센서 구성요소들(예컨대, 광도계), 온도 센서 구성요소들(예컨대, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 구성요소들, 압력 센서 구성요소들(예컨대, 기압계), 음향 센서 구성요소들(예컨대, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 구성요소들(예컨대, 인근의 오브젝트들을 검출하는 적외선 센서), 가스 센서들(예컨대, 안전을 위해 유해 가스들의 농도들을 검출하거나 또는 대기 중의 오염물들을 측정하기 위한 가스 검출 센서들), 또는 주위의 물리적 환경에 대응하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 구성요소들을 포함할 수 있다. 포지션 구성요소들(738)은 위치 센서 구성요소들(예컨대, GPS(Global Position System) 수신기 구성요소), 고도 센서 구성요소들(예컨대, 고도가 도출될 수 있는 기압을 검출하는 고도계들 또는 기압계들), 배향 센서 구성요소들(예컨대, 자력계들) 등을 포함할 수 있다.

통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. 입력/출력(I/O) 구성요소들(718)은 커플링(724) 및 커플링(722)을 통해 각각 머신(700)을 네트워크(732) 또는 디바이스들(720)에 커플링시키도록 동작가능한 통신 구성요소들(740)을 포함할 수 있다. 예컨대, 통신 구성요소들(740)은 네트워크(732)와 인터페이스하기 위한 네트워크 인터페이스 구성요소 또는 다른 적합한 디바이스를 포함할 수 있다. 추가의 예들에서, 통신 구성요소들(740)은 유선 통신 구성요소들, 무선 통신 구성요소들, 셀룰러 통신 구성요소들, 근접장 통신(NFC) 구성요소들, 블루투스® 구성요소들(예컨대, 블루투스® 로우 에너지), Wi-Fi® 구성요소들, 및 다른 모달리티들을 통해 통신을 제공하기 위한 다른 통신 구성요소들을 포함할 수 있다. 디바이스들(720)은 다른 머신일 수 있거나, 또는 매우 다양한 주변 디바이스들 중 임의의 것(예컨대, USB(Universal Serial Bus)를 통해 커플링된 주변 디바이스)일 수 있다. EEG 디바이스, 눈 추적 유닛, 또는 디스플레이 디바이스가 머신(700)과 일체화되어 있지 않은 경우, 디바이스(720)는 EEG 디바이스, 눈 추적 유닛, 및/또는 디스플레이 디바이스일 수 있다.

다수의 상세한 예시적인 실시예들을 통해 설명되었지만, 본 개시내용에 따른 뇌파검사 신호들의 취득을 위한 휴대용 디바이스들은 관련 기술분야의 통상의 기술자에게 자명할 다양한 변형들, 수정들, 및 개선들을 포함하고, 이러한 다양한 변형들, 수정들, 및 개선들은 다음의 청구항들에 의해 정의되는 바와 같은 본 개시내용의 주제의 범위 내에 속한다는 것을 이해한다.

본 발명의 발명대상의 개요가 특정 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위로부터 벗어나지 않으면서 이러한 실시예들에 대해 다양한 수정들 및 변경들이 이루어질 수 있다. 본 발명의 발명대상의 이러한 실시예들은 단지 편의를 위해 그리고 하나 초과의 개시내용 또는 발명의 개념이 사실상 개시되는 경우 본 출원의 범위를 임의의 단일 개시내용 또는 발명의 개념으로 자발적으로 제한하려는 의도 없이, 본원에서 개별적으로 또는 집합적으로 "발명"이라는 용어로 지칭될 수 있다.

본원에서 예시되는 실시예들은 관련 기술분야의 통상의 기술자가 개시되는 교시들을 실시할 수 있게 할 정도로 충분히 상세하게 설명된다. 다른 실시예들이 사용되고 그로부터 유도될 수 있고, 그에 따라, 본 개시내용의 범위로부터 벗어나지 않으면서 구조적 및 논리적 치환들 및 변경들이 이루어질 수 있다. 따라서, 상세한 설명은 제한적인 의미로 이해되지 않아야 하고, 다양한 실시예들의 범위는 첨부 청구항들에 권리가 부여되는 등가물들의 전체 범위와 함께 그 첨부 청구항들에 의해서만 정의된다.

본원에서 사용되는 바와 같이, "또는"이라는 용어는 포괄적 또는 배타적 의미로 해석될 수 있다. 더욱이, 단일 인스턴스로서 본원에서 설명되는 리소스들, 동작들, 또는 구조들에 대해 복수의 인스턴스들이 제공될 수 있다. 추가적으로, 다양한 리소스들, 동작들, 모듈들, 엔진들, 및 데이터 저장소들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시적인 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 구상되고, 본 개시내용의 다양한 실시예들의 범위 내에 속할 수 있다. 일반적으로, 예시적인 구성들에서 별개의 리소스들로서 제시되는 구조들 및 기능은 조합된 구조 또는 리소스로서 구현될 수 있다. 유사하게, 단일 리소스로서 제시되는 구조들 및 기능은 별개의 리소스들로서 구현될 수 있다. 이러한 그리고 다른 변형들, 수정들, 추가들, 및 개선들은 첨부 청구항들에 의해 표현되는 바와 같은 본 개시내용의 실시예들의 범위 내에 속한다. 따라서, 본 명세서 및 도면들은 제한적 의미가 아니라 예시로 간주되어야 한다.

따라서, 본 개시내용은 BCI들의 정확도, 속도 성능, 및 시각적 편안함을 개선하기 위한 시스템 및 방법을 설명한다.

예들

본원에서 개시되는 시스템 및 방법들을 더 잘 예시하기 위해, 예들의 비제한적인 리스트가 여기에 제공된다:

1. 휴먼 인터페이스 시스템은,

사용자로부터 입력을 수신하기 위한 물리적 제어기; 및

적어도 하나의 시각적 자극이 제시되는 뇌-컴퓨터 인터페이스

를 포함하고,

시각적 자극은 자극 생성기에 의해 생성되고, 사용자의 초점 오브젝트가 결정될 수 있도록 특성 변조를 갖고,

시스템은 물리적 제어기로부터의 입력 데이터를 뇌-컴퓨터 인터페이스로부터의 입력 데이터와 조합하도록 구성된다.

2. 사용자 의도를 결정하기 위한 휴먼 인터페이스 시스템의 동작의 방법은,

물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하는 단계;

디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하는 단계;

상기 적어도 하나의 오브젝트 중 하나 이상에 대해, 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용하는 단계;

신경 신호 캡처 디바이스로부터 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신하는 단계;

시각적 자극의 특성 변조와 전기적 신호들 사이의 상관에 따라, 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지를 입력 명령어들의 제2 세트로서 결정하는 단계; 및

입력 명령어들의 하이브리드 세트를 생성하기 위해, 입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합하는 단계

를 포함한다.

3. 예 2의 방법에서,

입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합하는 동작은,

입력 명령어들의 제1 세트를 컴퓨터 생성 애플리케이션의 그래픽 출력 내의 제1 요소에 적용하는 단계; 및

입력 명령어들의 제2 세트를 그래픽 출력 내의 제2 요소에 동시에 적용하는 단계

를 포함한다.

4. 예 2의 방법에서,

입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합하는 동작은,

입력 명령어들의 제1 세트를 선택 동작으로서 컴퓨터 생성 애플리케이션의 그래픽 출력 내의 제3 요소에 적용하는 단계; 및

입력 명령어들의 제2 세트를 검증 동작으로서 제3 요소에 적용하는 단계

를 포함한다.

5. 예 2의 방법에서,

초점 오브젝트는 제어가능한 오브젝트와 연관되고,

방법은,

하이브리드 입력에 대응하는 커맨드를 제어가능한 오브젝트로 송신함으로써, 상기 커맨드에 기초하여 액션을 구현하도록 그 제어가능한 오브젝트를 제어하는 단계를 더 포함한다.

6. 컴퓨터 판독가능 저장 매체는 명령어들을 보유하고, 명령어들은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 동작들을 수행하게 하고,

동작들은,

물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하는 동작;

디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하는 동작;

상기 적어도 하나의 오브젝트 중 하나 이상에 대해, 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용하는 동작;

신경 신호 캡처 디바이스로부터 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신하는 동작;

시각적 자극의 특성 변조와 전기적 신호들 사이의 상관에 따라, 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지를 입력 명령어들의 제2 세트로서 결정하는 동작; 및

입력 명령어들의 하이브리드 세트를 생성하기 위해, 입력 명령어들의 제1 세트를 입력 명령어들의 제2 세트와 조합하는 동작

을 포함한다.

Claims (7)

1. 휴먼 인터페이스 시스템으로서,
   사용자로부터 입력을 수신하기 위한 물리적 제어기; 및
   적어도 하나의 시각적 자극이 제시되는 뇌-컴퓨터 인터페이스
   를 포함하고,
   상기 시각적 자극은 자극 생성기에 의해 생성되고, 상기 사용자의 초점 오브젝트가 결정될 수 있도록 특성 변조를 갖고,
   상기 시스템은 상기 물리적 제어기로부터의 입력 데이터를 상기 뇌-컴퓨터 인터페이스로부터의 입력 데이터와 조합하도록 구성되는, 휴먼 인터페이스 시스템.
2. 제1항에 있어서,
   상기 물리적 제어기는 키보드, 마우스 디바이스, 터치패드, 트랙볼, 조이스틱, 터치 스크린, 라이트 펜, 전용 제어기 디바이스, 마이크로폰, 관성 측정 유닛, 눈 추적 디바이스, 및 제스처 추적 디바이스 중 적어도 하나를 포함하는, 휴먼 인터페이스 시스템.
3. 사용자 의도를 결정하기 위한 휴먼 인터페이스 시스템의 동작의 방법으로서,
   물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하는 단계;
   디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하는 단계;
   상기 적어도 하나의 오브젝트 중 하나 이상에 대해, 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용하는 단계;
   신경 신호 캡처 디바이스로부터 상기 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신하는 단계;
   상기 시각적 자극의 특성 변조와 상기 전기적 신호들 사이의 상관에 따라, 상기 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지를 입력 명령어들의 제2 세트로서 결정하는 단계; 및
   입력 명령어들의 하이브리드 세트를 생성하기 위해, 상기 입력 명령어들의 제1 세트를 상기 입력 명령어들의 제2 세트와 조합하는 단계
   를 포함하는, 방법.
4. 제3항에 있어서,
   상기 입력 명령어들의 제1 세트를 상기 입력 명령어들의 제2 세트와 조합하는 동작은,
   상기 입력 명령어들의 제1 세트를 컴퓨터 생성(computer-generated) 애플리케이션의 그래픽 출력 내의 제1 요소에 적용하는 단계; 및
   상기 입력 명령어들의 제2 세트를 상기 그래픽 출력 내의 제2 요소에 동시에 적용하는 단계
   를 포함하는, 방법.
5. 제3항에 있어서,
   상기 입력 명령어들의 제1 세트를 상기 입력 명령어들의 제2 세트와 조합하는 동작은,
   상기 입력 명령어들의 제1 세트를 선택 동작으로서 컴퓨터 생성 애플리케이션의 그래픽 출력 내의 제3 요소에 적용하는 단계; 및
   상기 입력 명령어들의 제2 세트를 검증 동작으로서 상기 제3 요소에 적용하는 단계
   를 포함하는, 방법.
6. 제3항에 있어서,
   상기 초점 오브젝트는 제어가능한 오브젝트와 연관되고,
   상기 방법은,
   상기 하이브리드 입력에 대응하는 커맨드를 상기 제어가능한 오브젝트로 송신함으로써, 상기 커맨드에 기초하여 액션을 구현하도록 상기 제어가능한 오브젝트를 제어하는 단계를 더 포함하는, 방법.
7. 컴퓨터 판독가능 저장 매체로서,
   상기 컴퓨터 판독가능 저장 매체는 명령어들을 보유하고, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 동작들을 수행하게 하고,
   상기 동작들은,
   물리적 제어기를 통해 사용자로부터 입력 명령어들의 제1 세트를 수신하는 동작;
   디스플레이 디바이스의 디스플레이에 적어도 하나의 오브젝트를 제시하는 동작;
   상기 적어도 하나의 오브젝트 중 하나 이상에 대해, 대응하는 특성 변조를 갖는 각각의 시각적 자극을 생성 및 적용하는 동작;
   신경 신호 캡처 디바이스로부터 상기 자극 또는 각각의 자극에 대한 신경 응답들에 대응하는 전기적 신호들을 수신하는 동작;
   상기 시각적 자극의 특성 변조와 상기 전기적 신호들 사이의 상관에 따라, 상기 오브젝트들 중 어느 것이 의도적인 초점 오브젝트인지를 입력 명령어들의 제2 세트로서 결정하는 동작; 및
   입력 명령어들의 하이브리드 세트를 생성하기 위해, 상기 입력 명령어들의 제1 세트를 상기 입력 명령어들의 제2 세트와 조합하는 동작
   을 포함하는, 컴퓨터 판독가능 저장 매체.

Images