KR20220047187A

KR20220047187A - 피처 결합을 이용한 인지 기능 검사 방법 및 서버

Info

Publication number: KR20220047187A
Application number: KR1020210133307A
Authority: KR
Inventors: 최기범; 채용욱; 김기범; 이홍구; 이보희; 장재선; 이태헌; 이송섭; 전형신; 황정환
Original assignee: 주식회사 룩시드랩스
Priority date: 2020-10-08
Filing date: 2021-10-07
Publication date: 2022-04-15
Also published as: KR20220047157A

Abstract

본 발명은, 피처 결합을 이용한 인지 기능 검사 방법에 관한 것으로, HMD 장치를 통해 연속적인 복수의 이벤트 시퀀스를 제공하는 단계, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하는 단계, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하는 단계, 상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하는 단계 및 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계를 포함하도록 구성된다.

Description

피처 결합을 이용한 인지 기능 검사 방법 및 서버{SERVER AND METHOD FOR COGNITIVE FUNCTION TESTING USING FEATURE COMBINATION}

본 발명은 피처 결합을 이용한 인지 기능 검사 방법 및 서버에 관한 것이다.

노령 사회로 접어들면서 노인 인구의 비율은 지속적으로 증가함에 따라 노년기로 접어들수록 발병할 확률이 높은 치매 등과 같은 노인 질병에 대한 관심도가 높아지고 있다.

치매는 증상 및 원인이 다양하고 복잡하며, 명확하게 밝혀진 치료법이 없어, 발병 시 환자에게 많은 의료비 부담을 지우게 된다. 치매를 조기 진단하는 것이 가장 최선의 방법이지만, 전문 인력의 부족으로 일정한 연령대의 모든 사용자들이 치매를 주기적으로 검사하고 조기에 진단하기에 한계가 있다.

이에, 의료비 부담이 적고, 전문 인력 확보가 보다 용이한 디지털 컨텐츠 기반의 의료 서비스 기술이 부상하고 있다. 디지털 컨텐츠는 사용자에게 실제와 유사한 공간적, 시간적 체험이 가능하도록 하는 VR, AR 및 MR 영상을 의미하며, 디지털 컨텐츠 기반의 의료 서비스는 이러한 영상을 출력시키는 디지털 장비(HMD 장치)를 이용하여 사용자의 인지 능력 진단, 스크리닝 및 질병군의 특징 분석을 수행할 수 있는 서비스를 의미한다.

특히, 최근에는 디지털 컨텐츠를 제공하는 디지털 장비(HMD 장치)에 사용자의 생체 신호 수집 장비를 부착하여, 수집된 생체 신호를 이용하려는 의료 연구 및 서비스들도 늘어나고 있다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

종래의 의료 연구 및 서비스는 일련의 디지털 컨텐츠가 제공된 이후, 사용자의 생체 신호 전부를 취합하고, 이를 기반으로 분석을 수행하는 바, 생체 신호를 이용한 분석 임에도 그 정확도가 떨어지게 된다.

이에, 사용자의 생체 신호를 정교하게 분석하여, 사용자의 인지 기능을 정확하게 검사하기 위한 방법이 요구되고 있다.

그 결과, 본 발명의 발명자들은 HMD 장치를 통해 제공되는 다양한 이벤트 시퀀스와 사용자의 생체 신호의 타임 스탬프를 동기화하기 위한 방법 및 이를 수행하는 서버를 개발하고자 하였다.

이때, 본 발명의 발명자들은, 인지 기능 검사가 진행되는 동안 복수의 이벤트 시퀀스와 복수의 이벤트 시퀀스에 포함된 이벤트들의 제공 시점을 구분하고, 이를 생체 신호와 동기화시킬 수 있는 방법을 구성하였다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 인지 기능 검사 방법이 제공된다. 상기 방법은, HMD 장치를 통해 연속적인 복수의 이벤트 시퀀스를 제공하는 단계, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하는 단계, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하는 단계, 상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하는 단계 및 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계를 포함하도록 구성된다.

본 발명의 특징에 따르면, 상기 적어도 하나의 타임 스탬프를 획득하는 단계는, 상기 복수의 연속적인 이벤트 시퀀스 각각에 기 저장된 서브 이벤트에 대한 타임 스탬프를 획득하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 따르면, 상기 기 저장된 서브 이벤트는, 인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 상기 그래픽 객체의 모션 및 효과음 중 적어도 하나의 제공에 대응될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 HMD 장치와 연결된 입력 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 입력 데이터에 대한 타임 스탬프를 획득하는 단계와 상기 생체 신호에 상기 입력 데이터에 대한 타임 스탬프를 기록하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 입력 데이터를 기초로 상기 복수의 연속적인 이벤트 시퀀스 중 어느 하나의 이벤트 시퀀스에 대한 평가 결과를 생성하는 단계와 상기 평가 결과를 기초로 상기 기 저장된 서브 이벤트 또는 다음 이벤트 시퀀스의 제공 여부를 결정하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 생체 신호는, 상기 HMD 장치와 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서 중 적어도 하나의 센서로부터 획득될 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 인지 기능 평가 결과를 생성하는 단계는, 상기 뇌전도 센서로부터 획득된 뇌파 신호를 상기 타임 스탬프를 기준으로 구분하고, 구분된 뇌파 신호에서 주파수 대역 별 PSD(Power Spectral Density)를 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계일 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 인지 기능 평가 결과를 생성하는 단계는, 상기 카메라 센서로부터 획득된 사용자의 동공 움직임 속도 또는 크기 변화를 상기 타임 스탬프를 기준으로 구분하고, 구분된 변화 값을 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계일 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 복수의 이벤트 시퀀스를 제공하는 단계 이전에, 상기 생체 신호와 관련된 적어도 둘 이상의 동기화 센서를 이용하여, 상기 적어도 둘 이상의 센서로부터 획득되는 생체 신호에 대한 시간 동기화를 수행하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 동기화 센서는, 상기 생체 신호를 획득하기 위한 센서와 인접하게 배치되며, 움직임 센서, 조도 센서, 광학 센서 및 음파 센서 중 적어도 하나를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 HMD 장치는, 상기 생체 신호를 획득하기 위한 제1 센서, 제2 센서, 상기 제1 센서와 인접하게 배치된 제1 동기화 센서 및 상기 제2 센서와 인접하게 배치된 제2 동기화 센서를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 시간 동기화를 수행하는 단계는, 상기 제1 및 제2 동기화 센싱 신호들에 대한 시간차 정보를 산출하는 단계 및 상기 산출된 시간차 정보에 기반하여 상기 제1 생체 신호 및 상기 제2 생체 신호에 대한 시간 동기화를 수행하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 제1 센서를 통해 획득되는 제1 생체 신호 및 상기 제2 센서를 통해 획득되는 제2 생체 신호 중 어느 하나는, 영상 신호를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 시간차 정보를 산출하는 단계는, 상기 제1 및 제2 동기화 센싱 신호들 각각에 대한 특징 정보를 확인하는 단계와 상기 확인된 특징 정보에 기반하여 상기 시간차 정보를 산출하는 단계를 더 포함할 수 있다. 포함하는 피처 결합을 이용한 인지 기능 검사 방법.

본 발명의 또 다른 특징에 따르면, 상기 특징 정보는, 동기화 센싱 신호의 피크(peak) 값 및 기 설정된 임계 값 중 적어도 하나를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 상기 이벤트 시퀀스는, 상기 사용자의 휴식 상태의 생체 신호를 획득하도록 구성된 시퀀스와 함께 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력(Depth perception), 순발력, 시지각력(Visual perception), 공간 지각력(Spatial perception), 작업 기억력(Working memory), 순간 주의력(Focused attention), 지속 주의력 (Sustained attention), 독해 능력 및 선택 주의력 (Selective attention) 중 적어도 하나의 인지 능력을 테스트하도록 구성된 시퀀스를 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 인지 기능 검사 서버가 제공된다. 상기 서버는, 통신 인터페이스, 메모리 및 상기 통신 인터페이스, 상기 메모리와 동작 가능하게 연결된 프로세서를 포함하고, 상기 프로세서는, HMD 장치를 통해 연속적인 복수의 이벤트 시퀀스를 제공하고, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하고, 상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하고, 상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하고, 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성하도록 구성된다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 피처 결합을 이용한 인지 기능 검사 방법이 제공된다. 상기 방법은, 디스플레이 화면을 통해 연속적인 복수의 이벤트 시퀀스를 제공하는 단계, 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하는 단계, 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하는 단계, 상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하는 단계 및 상기 디스플레이 화면을 통해 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 제공하는 단계를 포함하도록 구성된다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 HMD 장치가 제공된다. 상기 장치는, 통신 인터페이스, 메모리, 디스플레이 및 상기 통신 인터페이스, 상기 메모리 및 상기 디스플레이와 동작 가능하게 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이의 화면을 통해 연속적인 복수의 이벤트 시퀀스를 제공하고, 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하고, 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하고, 상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하고, 상기 디스플레이의 화면을 통해 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 제공하도록 구성된다.

기타 실시 예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 복수의 이벤트 시퀀스가 제공되는 동안 사용자로부터 획득되는 생체 신호에 이벤트 제공 시점에 대한 타임 스탬프를 기록함으로써, 일련의 생체 신호를 이벤트 시퀀스 기준으로 구분할 수 있다.

또한, 본 발명은 인지 기능을 테스트하도록 구성된 이벤트 시퀀스에서 세부적으로 제공되는 이벤트(예. 자극, 피처(feature))들을, 생체 신호에 기록함으로써, 사용자의 생체 신호 변화를 보다 세밀하게 획득할 수 있다.

또한, 본 발명은 생체 신호 변화의 구체적인 분석을 통해 HMD 장치를 통해서도 전문가를 통해 진단한 것과 같은 전문적인 인지 기능 검사가 가능할 수 있다.

또한, 본 발명은 동공, 뇌파, 심박, 근전도, 뇌전도, 체온 등 다양한 생체 신호를 이용하여 인지 기능 검사를 수행하는 바, 치매와 같이 원인이 불분명한 질환을 보다 쉽게 진단할 수 있다.

또한, 본 발명은 HMD 장치에서 생체 신호를 획득하기 위한 센서들과 이벤트 시퀀스 간의 시간 동기화가 정확하게 이루어짐으로써, 획득되는 복수의 생체 신호와 이벤트 시퀀스 제공 시점 간의 ms 단위의 시간 오차를 보정할 수 있다. 특히, 본 발명은 오차 보정을 통해 이벤트 시퀀스를 이용한 인지 기능 검사의 신뢰성을 높일 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 피처 결합을 이용한 인지 기능 검사 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 HMD 장치를 이용한 인지 기능 검사 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 인지 기능 검사 서버의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 인지 기능 검사 서버를 이용한 인지 기능 검사 방법에 대한 순서도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스의 피처를 생체 신호와 매칭시키는 방식을 설명하기 위한 개략도이다.
도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스 인터페이스를 설명하기 위한 개략도이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스의 피처 결합을 통해서 인지 기능 검사의 정확도가 높아짐을 설명하기 위한 그래프이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명의 여러 실시 예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 피처 결합을 이용한 인지 기능 검사 시스템의 개략도이다.

도 1을 참조하면, 인지 기능 검사 시스템(1000)은 사용자에게 제공되는 복수의 연속적인 이벤트 시퀀스와 생체 신호를 피처를 기준으로 결합하고, 이를 통해 사용자의 인지 기능을 검사할 있는 시스템일 수 있다.

본 발명에서, 피처란 사용자에게 주어지는 다양한 종류의 자극과 인지 기능을 평가하기 위해 사용자게에 주어지는 모든 종류의 이벤트를 총칭한 것으로 이해될 수 있다.

인지 기능 검사 시스템(1000)은 사용자의 머리에 장착되는 HMD 장치(100), HMD 장치(100)에서 제공되는 각종 신호들을 피처를 기준으로 결합하고, 인지 기능을 검사하는 인지 기능 검사 서버(200) 및 HMD 장치(100)에 제공될 복수의 연속적인 이벤트 시퀀스를 결정하는 관리자 장치(300)를 포함할 수 있다.

HMD 장치(100)는 사용자의 머리에 장착될 수 있으며, 사용자에게 실제와 유사한 공간적 및 시간적 체험을 제공할 수 있다. HMD 장치(100)는 가상 체험을 진행중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다.

HMD 장치(100)는 인지 기능을 테스트하기 위한 복수의 연속적인 이벤트 시퀀스를 제공받아 출력함과 동시에, 사용자의 시선, 뇌파, 심박수 등의 생체 신호를 획득할 수 있다. 실시예에 따라, HMD 장치(100)에는 입력 장치(105)와 적어도 하나의 센서(120)가 연결될 수 있다.

한편, 본 발명에서 이벤트 시퀀스는 인지 기능을 검사하기 위한 과제(task)인 것으로 이해될 수 있다. 실시예에 따라, 이벤트 시퀀스는 사용자로 하여금 명상을 진행하도록 구성된 시퀀스, 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력 (Depth perception), 순발력, 시지각력(Visual perception), 공간 지각력(Spatial perception), 작업 기억력(Working memory), 순간 주의력(Focused attention), 지속 주의력 (Sustained attention), 독해 능력 및 선택 주의력 (Selective attention)을 테스트하기 위한 과제를 포함할 수 있다.

또한, 이벤트 시퀀스는 이미지, 오디오, 영상, 진동, 모션 등, HMD 장치(100) 및 이와 연결된 출력 장치를 통해 출력 가능하며, 사용자가 인지할 수 있는 다양한 종류의 컨텐츠, 영상을 포함할 수 있다.

입력 장치(105)는 사용자의 왼손과 오른손에 의한 입력 데이터를 획득할 수 있다. 구체적으로, 입력 장치(105)는 HMD 장치(100)에서 제공되는 이벤트 시퀀스에 대한 사용자의 반응으로, 입력 데이터를 획득할 수 있다.

센서(120)는 HMD 장치(100)에서 출력되는 복수의 연속적인 이벤트 시퀀스에 대한 사용자의 각종 생체 신호 변화를 측정할 수 있다. 실시예에 따라, 센서(120)는 각종 신호를 획득하기 위한 센서와 각종 신호들 간의 시간 동기화를 위한 동기화 센서를 포함할 수 있으며, 보다 구체적인 설명은 후술하도록 한다.

HMD 장치(100)는 가상, 증강 및 혼합(VR, AR, MR) 영상을 장치 내부의 디스플레이(150)에서 처리할 수 있는 형태로 구현되거나, HMD 장치(100) 일부에 상술한 영상을 제공하는 별도의 출력 장치(미도시)가 장착되고, 이를 통해 영상을 처리할 수도 있다. 예를 들어, HMD 장치(100)는 인지 기능을 검사하기 위한 이벤트 시퀀스를 제공받아 출력하고, 출력된 이벤트 시퀀스와 관련하여 획득된 다양한 데이터를 관리자 장치(300) 또는 인지 기능 검사 서버(200)로 송신할 수 있다.

실시예에 따라, HMD 장치(100)는 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력 및 순발력과 같은 사용자의 인지 기능을 테스트하기 위한 이벤트 시퀀스를 제공할 수 있다. HMD 장치(100)는 사용자로부터 이벤트 시퀀스를 기초로 하는 입력 데이터, 일련의 생체 신호(예. 뇌파 신호)를 획득하고, 인지 기능 검사 서버(200)로부터 이를 기초로 결정된 인지 기능 평가 결과를 출력할 수 있다.

한편, HMD 장치(100)는 사용자가 장치를 탈착하는 경우, 인지 기능 검사 서버(200)로 장치 탈착 신호를 송신할 수 있다. 만약, 장치 탈착 신호 이후에 동일한 또는 다른 사용자가 인지 기능 검사를 진행하고자 하는 경우, HMD 장치(100)는 인지 기능 검사 서버(200)로부터 휴식 상태의 사용자 생체 신호를 획득하기 위한 시퀀스를 제공받아 출력할 수 있다.

인지 기능 검사 서버(200)는 이벤트 시퀀스와 생체 신호를 피처를 기준으로 결합하고, 인지 기능 테스트를 수행하여, 인지 평가 결과를 생성할 수 있다. 이를 위해, 인지 기능 검사 서버(200)는 범용 컴퓨터, 랩탑 및 클라우드 서버 등으로 구현될 수 있다.

실시예에 따라, 인지 기능 검사 서버(200)는 HMD 장치(100) 또는 관리자 장치(300)로부터 입력 데이터 및 생체 신호를 수신하고, 수신된 입력 데이터 및 생체 신호에 기반하여 인지 기능 테스트에 대한 평가 결과를 생성할 수 있다. 이 후, 인지 기능 검사 서버(200)는 생성된 평가 결과 데이터를 HMD 장치(100) 또는 관리자 장치(300)로 제공할 수 있다.

관리자 장치(300)는 사용자의 인지 기능 검사를 지원하기 위한 사용자 인터페이스를 제공할 수 있다. 관리자 장치(300)는 인터페이스 화면이 출력 가능한 스마트폰, 태블릿 PC, PC 등으로 구현될 수 있다.

관리자 장치(300)는 HMD 장치(100)와 연결되어, 인지 기능 검사를 위한 다양한 데이터를 주고받을 수 있다. 관리자 장치(300)는 사용자가 착용한 HMD 장치(100)의 화면을 공유하면서, 장치 연결, 통신 연결, 튜토리얼 진행, 인지 기능 테스트 및 분석 결과 등을 HMD 장치(100)로 지원할 수 있다.

이하에서는 도 2를 참조하여, 인지 기능을 검사하기 위해 사용자의 머리에 장착되는 HMD 장치(100)에 대하여 보다 구체적으로 설명하도록 한다.

한편, 본 발명에서 설명하는 HMD 장치(100)는 HMD 장치(100)가 단독으로 센서들과 연결된 스탠드얼론(stand-alone) 타입일 수 있다. 또한, HMD 장치(100)에는 센싱 모듈만 구비되고, 별도의 영상 출력 장치가 HMD 장치에 연결되는 타입일 수도 있다.

도 2는 본 발명의 일 실시예에 따른 HMD 장치의 블록도이다.

도 2를 참조하면, HMD 장치(100)는 통신 인터페이스(110), 센서(120), 메모리(130), 프로세서(140) 및 디스플레이(150)를 포함할 수 있다.

통신 인터페이스(110)는 HMD 장치(100)가 외부 장치와 통신 가능하도록 연결할 수 있다. 구체적으로, 통신 인터페이스(110)는 유/무선 통신을 통해 영상 등을 외부로부터 수신하거나 센싱과 연관된 데이터를 송수신할 수 있다. 여기서, 무선 통신은 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF) 및 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함하고, 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 및 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.

센서(120)는 사용자가 디스플레이(150)에 표시되는 복수의 이벤트 시퀀스를 시청하는 동안 사용자에게 제공되는 피처(자극 및 이벤트)에 관한 동기화 센싱 신호들을 획득할 수 있다. 예를 들어, 이벤트는, 사용자의 움직임과 관련된 이벤트, 주변의 밝기 변화와 관련된 이벤트, 기 설정된 양의 광이 감지되는 이벤트, 기 설정된 크기의 소리(또는 음성)가 감지되는 이벤트 등 사용자에게 주어지는 자극과 관련된 이벤트를 포함할 수 있다. 다른 예를 들어, 이벤트는, 인지 능력 과제와 관련하여, 이벤트 시퀀스의 시작 또는 종료와 관련된 이벤트, 인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 상기 그래픽 객체의 모션 및 효과음 등, 인지 기능 과제 제공과 관련된 이벤트를 포함할 수 있다.

HMD 장치(100)에서 획득되는 신호 간의 동기화를 위해, 센서(120)는 제1 센서(120-1), 제2 센서(120-2), 제1 센서(120-1)에 대응하는 제1 동기화 센서(120-10) 및 제2 센서(120-2)에 대응하는 제2 동기화 센서(120-20)를 포함할 수 있다.

제1 센서(120-1)는 제1 동기화 센서(120-10)와 인접하게 배치되고, 제2 센서(120-2)는 제2 동기화 센서(120-20)와 인접하게 배치될 수 있으며, 제1 센서(120-1) 및 제1 동기화 센서(120-10)는 제2 센서(120-2) 및 제2 동기화 센서(120-20)와 물리적으로 이격되어 위치될 수 있다.

구체적으로, 제1 센서(120-1)는 제1 센싱 신호를 출력하고, 제2 센서(120-2)는 제2 센싱 신호를 출력할 수 있다. 제1 센서(120-1) 및 제2 센서(120-2)는 사용자의 생체 정보를 나타내는 생체 신호를 획득하기 위한 적어도 둘 이상의 생체 센서들일 수 있다.

실시예에 따라, 제1 센서(120-1) 및 제2 센서(120-2)는 HMD 장치(100)와 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서를 포함할 수 있으며, 주기적으로 센싱 신호를 출력할 수 있다.

예를 들어, 사용자의 생체 신호를 획득하기 위한 적어도 하나의 센서(120)는 사용자가 HMD 장치(100)를 착용할 시 사용자의 피부에 접촉되어 사용자의 심박 신호 (Photoplethysmogram, PPG), 심전도 신호 (Electrocardiogram, ECG), 뇌전도 신호 (Electroencephalography, EEG), 근전도 신호 (Electromyography, EMG), 피부 온도 등을 측정할 수 있다. 한편, 인지 기능 검사를 위해 사용되는 뇌파 센서는, 사용자의 머리 전체에 배치되지 않고, 사용자의 전두엽 영역 일부 배치될 수 있다.

다른 예를 들어, 센서(120)는 HMD 장치(100)를 착용할 시, 사용자의 얼굴을 촬영할 수 있으며, 이를 통해 사용자 시선의 움직임, 동공 주변의 홍채 영역 크기, 눈 주변의 근육 움직임을 통한 표정의 변화, 눈 주위의 핏줄에서 혈류량의 변화에 의한 심박 정보 등을 획득할 수 있다.

제1 동기화 센서(120-10)는 제1 동기화 센싱 신호를 출력하고, 제2 동기화 센서(120-20)는 제2 센싱 신호에 관련된 제2 동기화 센싱 신호를 출력할 수 있다. 상기 제1 동기화 센서(120-10) 및 제2 동기화 센서(120-20)는 적어도 둘 이상의 일련의 신호들에 관련될 수 있다. 여기서, 일련의 신호는 제1 센서(120-1)로부터 출력된 제1 센싱 신호, 제2 센서(120-2)로부터 출력된 제2 센싱 신호, 가상 현실 영상의 영상 신호 및 시스템 내 다양한 신호들 중 적어도 하나를 포함할 수 있다.

실시예에 따라, 제1 동기화 센서(120-10) 및 제2 동기화 센서(120-20)는 HMD 장치(100)와 연결된 움직임 센서, 조도 센서, 광학 센서 및 음파 센서를 포함할 수 있으며, 움직임 센서는 가속도 센서, 자이로스코프 및 지자기 센서 중 적어도 하나를 포함할 수 있다.

예를 들어, 제1 동기화 센서(120-10) 및 제2 동기화 센서(120-20)는 움직임 센서를 통해 사용자 움직임 정보를 나타내는 동기화 센싱 신호를 획득할 수 있으며, 조도 센서를 통해 주변 밝기 정보를 나타내는 동기화 센싱 신호를 획득할 수 있으며, 광학 센서를 통해 기 설정된 광량의 광 정보를 나타내는 동기화 센싱 신호를 획득할 수 있으며, 음성 센서를 통해 기 설정된 크기의 음성(또는 소리) 정보를 나타내는 동기화 센싱 신호를 획득할 수 있다.

메모리(130)는 일련의 신호들 간의 시간 동기화를 위해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 통신 인터페이스(110)를 통해 수신된 복수의 이벤트 시퀀스와 복수의 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 저장할 수 있다. 다른 예를 들어, 메모리(130)는 센서(120)를 통해 획득된 센싱 신호를 저장할 수 있다. 또 다른 예를 들어, 메모리(130)는 센서(120) 또는 프로세서(140)에 의해서 산출된 동기화된 센싱 신호들 간의 시간차 정보를 저장할 수 있다.

실시예에 따라, 메모리(130)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

프로세서(140)는 통신 인터페이스(110), 센서(120), 메모리(130) 및 디스플레이(150)와 동작 가능하게 연결되며, 복수의 연속적인 이벤트 시퀀스를 디스플레이(150)에 표시하기 위한 다양한 명령들을 수행할 수 있다. 구체적으로, 프로세서(140)는 통신 인터페이스(110)를 통해서 수신된 또는 메모리(130)에 저장된 복수의 연속적인 이벤트 시퀀스를 디스플레이(120)에 표시할 수 있으며, 일련의 신호들 간의 시간 동기화를 수행할 수 있다.

실시예에 따라, 프로세서(140)는 제1 동기화 센서(120-10)로부터 이벤트에 관련된 제1 동기화 센싱 신호를 수신하고, 제2 동기화 센서(120-20)로부터 해당 이벤트에 관련된 제2 동기화 센싱 신호를 수신할 수 있다. 프로세서(140)는 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호에 기반하여 둘 이상의 일련의 신호들 간의 시간 동기화를 수행할 수 있다. 예를 들어, 둘 이상의 일련의 신호들은 제1 센싱 신호 및 제2 센싱 신호를 포함할 수 있다.

구체적으로, 프로세서(140)는 제1 및 제2 동기화 센싱 신호들 각각의 특징 정보를 확인하고, 확인된 특징 정보에 기반하여 제1 및 제2 동기화 센싱 신호들 간의 시간차 정보를 산출할 수 있다. 여기서, 특징 정보는 동기화 센싱 신호의 피크(peak)값 또는 기 설정된 임계 값 중 어느 하나를 포함할 수 있다.

실시예에 따라, 프로세서(150)는 제1 동기화 센싱 신호의 측정 값들 중 적어도 하나의 피크 값과 제2 동기화 센싱 신호의 측정 값들 중 적어도 하나의 피크 값을 확인하고, 제1 동기화 센싱 신호의 적어도 하나의 피크 값에 해당하는 제1 시간과 제2 동기화 센싱 신호의 적어도 하나의 피크 값에 해당하는 제2 시간 간의 차이 값을 시간차 정보로서 산출할 수 있다.

다른 실시예에 따라, 프로세서(140)는 제1 동기화 센싱 신호의 측정 값들 중 기 설정된 임계 값에 해당하는 측정 값의 제1 시간과 제2 동기화 센싱 신호의 측정값들 중 임계 값에 해당하는 측정값의 제2 시간을 확인하고, 확인된 제1 시간과 제2 시간 간의 차이 값을 시간차 정보로서 산출할 수 있다.

상술한 바와 같이, 시간차 정보를 산출한 뒤, 프로세서(140)는 산출된 시간차 정보에 기반하여 둘 이상의 일련의 신호들에 대한 시간 동기화를 수행할 수 있다. 예를 들어, 적어도 둘의 일련의 신호들이 제1 센싱 신호 및 제2 센싱 신호인 경우, 프로세서(140)는 제1 센싱 신호 및 제2 센싱 신호 중 어느 하나의 측정값들 각각에 대한 시간에 시간 차이를 합산 또는 감산하여 시간 보정을 수행할 수 있다.

아울러, 프로세서(140)는 산출된 시간차 정보에 기반하여 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호 간의 시간 동기화를 수행할 수 있다. 예를 들어, 프로세서(140)는 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호 중 어느 하나의 측정값들 각각에 대한 시간에 산출된 시간 차이를 합산 또는 감산하여 시간 보정을 수행할 수 있다.

실시예에 따라, 움직임 센서를 이용하여 시간 동기화를 수행하는 경우 움직임 센서는 서로 다른 시스템 환경에서도 사용자의 동역학이 동일하게 반영될 수 있다. 이에, 프로세서(140)는 타이머를 이용하여 사용자의 움직임 정보를 측정하는 제1 움직임 센서 및 제2 움직임 센서 각각에 대한 시간을 기록하고, 제1 움직임 센서를 통해서 기록된 시간에 따라 측정된 제1 값들과 제2 움직임 센서를 통해서 기록된 시간에 따라 측정된 제2 값들을 서로 비교하여 시간차 정보를 산출할 수 있다. 예를 들어, 프로세서(140)는 제1 값들 중 피크 값과 제2 값들 중 피크 값 사이의 시간 차이를 시간차 정보로서 산출할 수 있다. 다른 예를 들어, 프로세서(140)는 제1 값들 중 기 설정된 임계 값에 해당하는 어느 하나 및 제2 값들 중 어느 하나 사이의 시간 차이를 시간차 정보로서 산출할 수도 있다. 이와 같이 산출된 시간차 정보를 이용하여 프로세서(140)는 일련의 신호들 간의 시간 동기화를 수행할 수 있다.

다른 실시예에 따라, 음파 센서를 이용하여 시간 동기화를 수행하는 경우 음파 센서는 서로 다른 시스템 환경에서도 사용자에게 주어진 환경의 동역학적 변화가 동일하게 반영될 수 있다. 일 예로, 사용자가 소리를 지른 경우 생체 센서 및 음파 센서에서 동일하게 변화가 측정될 수 있다. 이러한 경우 HMD 장치(100) 또는 HMD 장치(100)와 연결된 별도의 출력 장치(미도시)는 마이크를 구비할 수 있다. 이에, 프로세서(140)는 타이머를 이용하여 소리(또는 음성) 정보를 측정 하는 제1 음파 센서 및 제2 음파 센서 각각에 대한 시간을 기록하고, 제1 음파 센서를 통해서 기록된 시간에 따라 측정된 제1 값들과 제2 음파 센서를 통해서 기록된 시간에 따라 측정된 제2 값들을 서로 비교하여 시간차 정보를 산출할 수 있다. 예를 들어, 프로세서(140)는 제1 값들 중 피크 값과 제2 값들 중 피크 값 사이의 시간 차이를 시간차 정보로서 산출할 수 있다. 다른 예를 들어, 프로세서(140)는 제1 값들 중 기 설정된 임계 값에 해당하는 어느 하나 및 제2 값들 중 어느 하나 사이의 시간 차이를 시간차 정보로서 산출할 수도 있다. 이와 같이 산출된 시간차 정보를 이용하여 프로세서(140)는 일련의 신호들 간의 시간 동기화를 수행할 수 있다.

또 다른 실시예에 따라, 조도 센서 또는 광학 센서를 이용하여 시간 동기화를 수행하는 경우 조도 센서 또는 광학 센 서는 서로 다른 시스템 환경에서도 사용자에게 주어진 환경의 동역학적 변화가 동일하게 반영될 수 있다. 일 예로, 주변 환경의 변화 또는 사용자의 움직임에 따른 빛 자극에 의해 생체 센서 및 조도 센서, 또는 생체 센서 및 광학 센서는 동일하게 변화가 측정될 수 있다. 다양한 실시예에서 HMD 장치(100) 또는 HMD 장치(100)와 연결된 별도의 출력 장치(미도시)는 동일한 타이밍으로 빛 자극을 주기 위해서 적외선 또는 가시광선 등의 빛 자극을 위한 별도의 발광부를 구비할 수 있다. 이에, 프로세서(140)는 타이머를 이용하여 적외선 또는 가시광선 등을 측정하는 제1 조도 또는 광학 센서 및 제2 조도 또는 광학 센서에 대한 시간을 기록하고, 제1 조도 또는 광학 센서를 통해서 기록된 시간에 따라 측정된 제1 값들과 제2 조도 또는 광학 센서를 통해서 기록된 시간에 따라 측정된 제2 값들을 서로 비교하여 시간차 정보를 산출할 수 있다. 예를 들어, 프로세서(140)는 제1 값들 중 피크 값과 제2 값들 중 피크 값 사이의 시간 차이를 시간차 정보로서 산출할 수 있다. 다른 예를 들어, 프로세서(140)는 제1 값들 중 기 설정된 임계 값에 해당하는 어느 하나 및 제2 값들 중 어느 하나 사이의 시간 차이를 시간차 정보로서 산출할 수도 있다. 이와 같이 산출된 시간차 정보를 이용하여 프로세서(140)는 일련의 신호들 간의 시간 동기화를 수행할 수 있다.

다양한 실시예에서, 프로세서(140)는 HMD 장치(100)에서 제공되는 이벤트 시퀀스에 대한 타임 스탬프를 생체 신호에 기록하고, 인지 기능을 검사할 수 있으며, 도 3을 참조하여 보다 구체적으로 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 HMD 장치를 이용한 인지 기능 검사 방법에 대한 순서도이다.

도 3을 참조하면, HMD 장치(100)의 프로세서(140)는 디스플레이(150)의 화면을 통해 연속적인 복수의 이벤트 시퀀스를 제공할 수 있다(S110). 이벤트 시퀀스는 이미지, 오디오, 영상, 진동, 모션 등, HMD 장치(100)(또는 HMD 장치(100)와는 별도로 연결된 출력 장치 장치)를 통해 출력 가능하며, 사용자가 인지할 수 있는 다양한 종류의 컨텐츠, 영상을 포함할 수 있다.

예를 들어, HMD 장치(100)는 사용자 조작 신호, 즉, HMD 장치(100)와 연결된 입력 장치(105)로부터 인지 기능 검사 시작 신호를 받아, 메모리(130)에 저장된 이벤트 시퀀스를 제공할 수 있다. 다른 예를 들어, HMD 장치(100)는 후술하게 될 인지 기능 검사 서버(200)로부터 수신되는 복수의 이벤트 시퀀스를 스트리밍하는 방식을 통해 사용자에게 연속적인 복수의 이벤트 시퀀스를 제공할 수 있다.

실시예에 따라, 이벤트 시퀀스는, 사용자의 휴식 상태의 생체 신호를 획득하도록 구성된 시퀀스와 함께 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력 (Depth perception), 순발력, 시지각력(Visual perception), 공간 지각력(Spatial perception), 작업 기억력(Working memory), 순간 주의력(Focused attention), 지속 주의력 (Sustained attention), 독해 능력 및 선택 주의력 (Selective attention) 중 적어도 하나의 인지 능력을 테스트하도록 구성된 시퀀스를 포함할 수 있다.

한편, S110 단계 이전에, HMD 장치(100)는 생체 신호와 관련된 적어도 둘 이상의 동기화 센서들 간의 시간 동기화를 수행할 수 있다. 구체적으로, 프로세서(140)는 생체 신호를 획득하는 적어도 둘 이상의 센서와 해당 센서와 연관된 적어도 둘 이상의 동기화 센서 간의 시간 동기화를 수행할 수 있다.

S110 단계 이후, HMD 장치(100)는 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득할 수 있다(S120). 구체적으로, 프로세서(140)는 이벤트 시퀀스에 의해서 HMD 장치(100)를 장착한 사용자에게 주어지는 자극에 대한 타임 스탬프 또는 인지 능력 과제에 대한 타임 스탬프를 획득할 수 있다. 여기서, 자극이란 예를 들어, 이벤트 시퀀스에 포함된 이미지 또는 영상에 의해 사용자에게 제공되는 시각적 종류의 자극, 이벤트 시퀀스에 포함된 효과음에 의해 사용자에게 제공되는 청각적 종류의 자극을 포함할 수 있다. 또한, 인지 능력 과제는 사용자가 수행해야 하는 특정 동작에 대한 가이드 텍스트(예. “이전 화면에서 보았던 물건을 선택해주세요”, 그래픽 객체 “빨간 점을 응시해주세요” 등을 포함할 수 있다.

즉, 프로세서(140)는 이벤트 시퀀스를 제공하는 일련의 과정에서 사용자에게 보여지거나, 듣거나, 느낄 수 있는 모든 유형의 이벤트를 사전에 기록해두고, 기록된 이벤트에 대한 타임 스탬프를 획득할 수 있다.

실시예에 따라, 이벤트 시퀀스에는 인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 그래픽 객체의 모션 및 효과음 중 적어도 하나의 제공에 대응되는 이벤트가 포함될 수 있다. 예를 들어, 하나의 이벤트 시퀀스에는 “시작과 관련된 이벤트 제공에 대한 타임 스탬프”, “자극 또는 인지 능력 과제 제공에 대한 적어도 하나의 타임 스탬프”, “종료와 관련된 이벤트 제공에 대한 타임 스탬프”가 포함될 수 있다.

S120 단계 이후, 프로세서(140)는 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득할 수 있다(S130). 구체적으로, 프로세서(140)는 HMD 장치(100)에 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서 중 적어도 하나의 센서로부터 생체 신호를 획득될 수 있다.

S130 단계 이후, 프로세서(140)는 S120 단계를 통해 획득된 타임 스탬프를 이용하여 생체 신호를 구분할 수 있다. 즉, S130 단계 이후, 프로세서(240)는 생체 신호에 S120 단계에서 획득한 적어도 하나의 타임 스탬프를 기록할 수 있다(S140).

S140 단계 이후, 프로세서(140)는 디스플레이(150)의 화면을 통해 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 제공할 수 있다(S250). 구체적으로, 프로세서(140)는 타임 스탬프에 의해 구분된 생체 신호를 통신 인터페이스(110)를 통해 인지 기능 검사 서버(200)로 송신하고, 인지 기능 검사 서버(200)로부터 이를 기초로 한 인지 기능 평가 결과를 수신할 수 있다.

다만, 평가 결과를 제공하는 방법은 이에 제한되지 않으며, 프로세서(140)가 자체적으로, 구분된 생체 신호를 토대로 인지 기능 평가 결과를 생성할 수도 있다. 예를 들어, 프로세서(140)는 뇌전도 센서로부터 획득된 뇌파 신호를 타임 스탬프 기준으로 구분하고, 구분된 뇌파 신호에서 주파수 대역 별 PSD(Power Spectral Density)를 기초로 사용자의 인지 기능 평가 결과를 생성할 수 있다.

다시 도 2를 참조하면, 디스플레이(150)는 통신 인터페이스(110)를 통해 수신된 각종 컨텐츠, 일련의 이벤트 시퀀스를 표시할 수 있다. 예를 들어, 각종 컨텐츠는 텍스트, 이미지, 영상, 아이콘, 배너 또는 심볼 등을 포함할 수 있으며, 실시예에 따라, 디스플레이(150)는 통신 인터페이스(110)를 통해 수신된 가상 현실 영상을 표시할 수 있다.

지금까지 본 발명의 일 실시예에 따른 HMD 장치(100)에 대하여 설명하였으며, 이하에서는 도 4를 참조하여, 복수의 연속적인 이벤트 시퀀스에 대한 타임 스탬프를 기록하고, 이를 기초로 인지 기능을 검사하는 인지 기능 검사 서버(200)에 대해서 보다 구체적으로 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 인지 기능 검사 서버의 블록도이다.

도 4를 참조하면, 인지 기능 검사 서버(200)는 통신 인터페이스(210), 메모리(220), I/O 인터페이스(230) 및 프로세서(240)를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.

통신 인터페이스(210)는 유/무선 통신 네트워크를 통해 HMD 장치(100) 및 관리자 장치(300)와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스(210)는 HMD 장치(100)로 복수의 연속적인 이벤트 시퀀스를 제공하고, HMD 장치(100)로부터 복수의 연속적인 이벤트 시퀀스를 기초로 하는 입력 데이터, 생체 신호(예. 동공 속도, 뇌파 신호) 및 센싱 신호를 수신할 수 있다. 다른 예를 들어, 통신 인터페이스(210)는 관리자 장치(300)로부터 인지 기능 검사를 수행하는 사용자 데이터를 수신하고, 관리자 장치(300)로 해당 사용자의 인지 기능 검사 이력, 회복 이력, 진단 결과 등을 송신할 수 있다.

한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스(210)는 통신 포드(211) 및 무선 회로(212)를 포함할 수 있다. 여기 유선 통신 포트(211)는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스(USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로(212)는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.

메모리(220)는 인지 기능 검사 서버(200)에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 사용자로 하여금 명상을 진행하도록 구성된 시퀀스, 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력 (Depth perception), 순발력, 시지각력(Visual perception), 공간 지각력(Spatial perception), 작업 기억력(Working memory), 순간 주의력(Focused attention), 지속 주의력 (Sustained attention), 독해 능력 및 선택 주의력 (Selective attention)을 테스트하도록 구성된 이벤트 시퀀스를 저장할 수 있다.

다른 예를 들어, 메모리(220)는 사용자에게 제공되는 복수의 이벤트 각각에 대한 적어도 하나의 타임 스탬프 로그를 저장할 수 있다. 또한, 메모리(220)는 이벤트의 종류에 따라, 복수의 이벤트 시퀀스 각각에 기 저장된 서브 이벤트에 대한 타임 스탬프 로그를 저장할 수 있다. 여기서, 기 저장된 서브 이벤트는 인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 상기 그래픽 객체의 모션 및 효과음 중 적어도 하나의 제공에 대응될 수 있다.

또 다른 예를 들어, 메모리(220)는 HMD 장치(100)의 센서(120)를 획득된 동기화 센싱 정보를 저장하거나, HMD 장치(100)의 프로세서(140)에 의해서 산출된 동기화 센싱 신호들 간의 시간차 정보를 저장할 수 있다. 아울러, 메모리(230)는 HMD 장치(100)로부터 수신된 센싱 정보 또는 동기화 센싱 정보를 저장할 수도 있다.

또 다른 예를 들어, 메모리(220)는 종합적인 인지 장애 여부, 인지 기능 별 인지 장애를 진단하기 위한 인지 평가 점수 기준 값, 정상군과 인지 기능이 저하된 환자군 사이의 뇌파 신호(예. EEG 신호) 차이, 패턴 등을 저장할 수 있다.

다양한 실시예에서, 메모리(220)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리(220)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

다양한 실시예에서, 메모리(220)는 운영 체제(221), 통신 모듈(222), 사용자 인터페이스 모듈(223) 및 하나 이상의 애플리케이션(224) 중 적어도 하나의 구성을 저장할 수 있다.

운영 체제(221)(예. LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제)는 일반적인 시스템 작업(예. 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.

통신 모듈(223)은 통신 인터페이스(210)를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈(220)은 통신 인터페이스(210)의 유선 통신 포트(211) 또는 무선 회로(212)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.

사용자 인터페이스 모듈(223)은 I/O 인터페이스(230)를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.

애플리케이션(224)은 하나 이상의 프로세서(240)에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 복수의 연속적인 이벤트 시퀀스를 기초로 생체 신호에 타임 스탬프를 기록하고, 이를 기초로 인지 평가 결과를 생성하기 위한 애플리케이션은 서버 팜(server farm) 상에서 구현될 수 있다.

I/O 인터페이스(230)는 인지 기능 검사 서버(200)의 입출력 디바이스(미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈(223)과 연결할 수 있다. I/O 인터페이스(230)는 사용자 인터페이스 모듈(223)과 함께 사용자 입력(예. 음성 입력, 키보드 입력, 터치 입력 등)을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.

프로세서(240)는 통신 인터페이스(210), 메모리(220) 및 I/O 인터페이스(230)와 연결되어 인지 기능 검사 서버(200)의 전반적인 동작을 제어할 수 있으며, 메모리(220)에 저장된 애플리케이션 또는 프로그램을 통해 시퀀스 간의 피처를 매핑하고, 사용자의 인지 장애 여부를 결정하기 위한 다양한 명령들을 수행할 수 있다.

프로세서(240)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서(240)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다. 또는 프로세서(240)는 NPU(Neural Processing Unit)과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.

실시예에 따라, 프로세서(240)는 HMD 장치(100)로 복수의 연속적인 이벤트 시퀀스를 제공하고, 이를 기초로 적어도 둘 이상의 일련의 신호들 간의 시간 동기화를 수행할 수 있다.

구체적으로, 프로세서(240)는 HMD 장치(100)로부터 수신된 제1 동기화 센싱 신호와 제3 동기화 센싱 신호 간의 시간차 정보를 산출할 수 있다. 여기서, 제3 동기화 센싱 신호는, HMD 장치(100)와 연결된 별도의 출력 장치로부터 획득될 수 있다. 즉, HMD 장치(100)에 생체 신호를 획득하기 위한 제1 센서(120-1)와 제1 동기화 센서(120-10)만을 포함하는 경우, 제2 센서(120-1)와 제2 동기화 센서(120-20)는 별도의 출력 장치에 구비될 수 있으며, 그에 따라, 제3 동기화 센싱 신호는 별도의 출력 장치로부터 수신될 수 있다.

프로세서(240)는 이벤트에 관련된 제1 및 제3 동기화 센싱 신호들이 수신되면 수신된 제1 및 제3 동기화 센싱 신호들 각각의 특징 정보를 확인하고, 확인된 특징 정보에 기반하여 제1 및 제3 동기화 센싱 신호들 간의 시간차 정보를 산출할 수 있다.

예를 들어, 프로세서(240)는 제1 동기화 센싱 신호의 측정 값들 중 적어도 하나의 피크 값과 제3 동기화 센싱 신호의 측정 값들 중 적어도 하나의 피크 값을 확인하고, 제1 동기화 센싱 신호의 적어도 하나의 피크 값에 해당하는 제1 시간과 제3 동기화 센싱 신호의 적어도 하나의 피크 값에 해당하는 제3 시간 간의 차이 값을 시간차 정보로서 산출할 수 있다.

다른 예를 들어, 프로세서(240)는 제1 동기화 센싱 신호의 측정값들 중 기 설정된 임계 값에 해당하는 측정값 의 제1 시간과 제3 동기화 센싱 신호의 측정값들 중 임계 값에 해당하는 측정값의 제3 시간을 확인하고, 확인된 제1 시간 및 제3 시간 간의 차이 값을 시간차 정보로서 산출할 수 있다.

프로세서(240)는 산출된 시간차 정보에 기반하여 적어도 둘 이상의 일련의 신호들 간의 시간 동기화를 수행할 수 있다. 구체적으로, 프로세서(240)는 제1 센싱 신호에 대한 각 측정 값들의 시간과 시간 차이를 합산하거나 제 1 센싱 신호에 대한 각 측정 값들의 시간에서 시간 차이를 감산하여 시간 보정을 수행할 수 있다. 또는, 프로세서(240)는 복수의 연속적인 이벤트 시퀀스(영상)에 대한 시간과 시간 차이를 합산하거나 영상 신호에서 시간 차이를 감산하여 시간 보정을 수행할 수 있다.

다양한 실시예에서 프로세서(240)는 산출된 시간차 정보를 이용하여 HMD 장치(100)의 시스템 시간 및 영상 출력 장치(200)의 시스템 시간에 대한 시간 동기화를 수행할 수 있다. 구체적으로, 프로세서(240)는 HMD 장치(100)로 산출된 시간차 정보를 전달하여 HMD 장치(100)가 시스템 시간을 보정하도록 하거나 영상 출력 장치(200)의 시스 템 시간에 산출된 시간 차이를 합산 또는 감산하여 시간 보정을 수행할 수 있다.

다양한 실시예에서 프로세서(150)는 산출된 시간차 정보에 기반하여 제1 동기화 센싱 신호 및 제3 동기화 센싱 신호 간의 시간 동기화를 수행할 수 있다. 예를 들어, 프로세서(150)는 제1 동기화 센싱 신호 및 제3 동기화 센 싱 신호 중 어느 하나의 측정값들 각각에 대한 시간에 산출된 시간 차이를 합산 또는 감산하여 시간 보정을 수행할 수 있다.

이하에서는, 도 5 내지 도 8f를 참조하여, 인지 기능 검사 서버(200)의 프로세서(240)가 복수의 연속적인 이벤트 시퀀스에 대한 타임 스탬프를 생체 신호에 기록하고, 인지 기능을 검사를 진행하는 방법에 대하여 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 인지 기능 검사 서버를 이용한 인지 기능 검사 방법에 대한 순서도이다.

도 5를 참조하면, 프로세서(240)는 HMD 장치(100)를 통해 연속적인 복수의 이벤트 시퀀스를 제공할 수 있다(S210). 이벤트 시퀀스는 이미지, 오디오, 영상, 진동, 모션 등, HMD 장치(100) 및 이와 연결된 출력 장치를 통해 출력 가능하며, 사용자가 인지할 수 있는 다양한 종류의 컨텐츠, 영상을 포함할 수 있다.

프로세서(240)는 HMD 장치(100)를 통해 어떠한 인지 기능을 테스트 하느냐에 따라 상술한 이벤트 시퀀스를 다양하게 조합할 수 있다. 프로세서(240)는 통신 인터페이스(210)를 통해 HMD 장치(100) 또는 관리자 장치(300)로부터 사용자가 수행할 인지 기능 검사의 종류를 선택 받고, 그에 맞게 복수의 이벤트 시퀀스를 HMD 장치(100)로 제공할 수 있다.

한편, S210 단계 이전에, 프로세서(240)는 HMD 장치(100)를 통해 생체 신호와 관련된 적어도 둘 이상의 동기화 센서들 간의 시간 동기화를 수행할 수 있다. 구체적으로, 프로세서(240)는 생체 신호를 획득하는 적어도 둘 이상의 센서와 해당 센서와 연관된 적어도 둘 이상의 동기화 센서 간의 시간 동기화를 수행할 수 있다.

S210 단계 이후, 프로세서(240)는 HMD 장치(100)로부터 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득할 수 있다(S220). 구체적으로, 프로세서(240)는 이벤트 시퀀스에 의해서 HMD 장치(100)를 장착한 사용자에게 주어지는 자극에 대한 타임 스탬프 또는 인지 능력 과제에 대한 타임 스탬프를 획득할 수 있다. 여기서, 자극이란 예를 들어, 이벤트 시퀀스에 포함된 이미지 또는 영상에 의해 사용자에게 제공되는 시각적 종류의 자극, 이벤트 시퀀스에 포함된 효과음에 의해 사용자에게 제공되는 청각적 종류의 자극을 포함할 수 있다. 또한, 인지 능력 과제는 사용자가 수행해야 하는 특정 동작에 대한 가이드 텍스트(예. “이전 화면에서 보았던 물건을 선택해주세요”, 그래픽 객체 “빨간 점을 응시해주세요” 등을 포함할 수 있다.

즉, 프로세서(240)는 이벤트 시퀀스를 제공하는 일련의 과정에서 사용자에게 보여지거나, 듣거나, 느낄 수 있는 모든 유형의 이벤트를 사전에 기록해두고, 기록된 이벤트에 대한 타임 스탬프를 획득할 수 있다.

S220 단계 이후, 프로세서(240)는 HMD 장치(100)로부터 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득할 수 있다(S230). 구체적으로, 프로세서(240)는 HMD 장치(100)에 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서 중 적어도 하나의 센서로부터 생체 신호를 획득될 수 있다.

다시 말해서, 프로세서(240)는 인지 기능을 테스트하기 위한 일련의 이벤트 시퀀스를 제공하는 동안, HMD 장치(100)로부터 끊임없는 생체 신호를 획득할 수 있다.

한편, 끊임없는 생체 신호를 이벤트 시퀀스에 따라 구분하기 위해, 하나의 이벤트 시퀀스의 제공이 완료되면, 잠시 인지 기능 테스트를 중단하고, 하나의 이벤트 시퀀스와 이에 대응되는 생체 신호를 매칭시켜 저장하는 단순한 방법을 사용할 수도 있다. 다만, 이러한 경우, 사용자의 인지 기능 테스트의 집중도가 떨어질 뿐만 아니라, 이벤트 시퀀스에 존재하는 이벤트(피처)의 개수가 많은 경우, 저장해야 할 파일의 개수가 지나치게 많아진다는 문제점이 존재한다.

또한, 이벤트 시퀀스 별로 사용자가 어떠한 행동을 수행 했는지에 따라 기 저장된 이벤트 외에 다른 이벤트가 생성될 수 있어, 복수의 이벤트 시퀀스가 제공되는 동안, 이벤트 시퀀스와 생체 신호와의 피처 매칭을 위해 이벤트 시퀀스의 제공을 잠시 중단하는 것은 바람직하지 못하다.

이에, 프로세서(240)는 S220 단계를 통해 획득된 타임 스탬프를 이용하여 생체 신호를 구분할 수 있다. 즉, S230 단계 이후, 프로세서(240)는 생체 신호에 S220 단계에서 획득한 적어도 하나의 타임 스탬프를 기록할 수 있다(S240).

도 6 및 도 7은 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스의 피처를 생체 신호와 매칭시키는 방식을 설명하기 위한 개략도이다.

도 6을 참조하면, 프로세서(240)는 HMD 장치(100)의 센서(120)를 통해 획득된 연속적인 생체 신호에 HMD 장치(100)로 제공 중인 복수의 연속적인 이벤트 시퀀스 각각의 타임 스탬프를 기록할 수 있다. 예를 들어, 복수의 연속적인 이벤트 시퀀스는, 명상을 진행하도록 구성된 이벤트 시퀀스, 순서 기억 및 기억 상기 능력을 테스트하도록 구성된 시퀀스를 포함할 수 있다.

프로세서(240)는 각각의 이벤트 시퀀스에 저장된 메인 이벤트 제공에 관한 타임 스탬프를 획득하고, 이를 생체 신호에 기록할 수 있다. 여기서, 메인 이벤트 제공에 관한 타임 스탬프는 예를 들어, 이벤트 시퀀스의 시작 또는 종료와 관련된 이벤트 제공에 관한 타임 스탬프일 수 있다.

한편, 도 6에서, 두 개의 이벤트 시퀀스에서 시작 및 종료와 관련된 타임 스탬프가 동일한 시간인 것으로 도시되어 있으나, 시작과 관련된 타임 스탬프가 종료와 관련된 타임 스탬프보다 앞선 시간일 수 있다. 예를 들어, 두 개의 타임 스탬프는 ms 시간 차이를 가질 수 있다.

도 7을 참조하면, 프로세서(240)는 HMD 장치(100)의 센서(120)를 통해 획득된 연속적인 생체 신호에, 복수의 연속적인 이벤트 시퀀스 각각에 기 저장된 서브 이벤트에 대한 타임 스탬프를 기록할 수 있다. 예를 들어, 집중력을 테스트하도록 구성된 이벤트 시퀀스에는 다음과 같은 복수의 메인 이벤트(①②)와 서브 이벤트(①②③④⑤⑥)들이 포함될 수 있으며, 프로세서(240)는 각각의 이벤트에 대한 타임 스탬프를 생체 신호에 기록하고, 생체 신호를 구간 별로 구분할 수 있다.

도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스 인터페이스를 설명하기 위한 개략도이다.

도 8a를 참조하면, 프로세서(240)는 HMD 장치(100)에 제공되는 “깜빡였던 공을 기억하는 게임입니다”와 같이 이벤트 시퀀스 시작과 관련된 가이드 텍스트의 제공(11)을 ①메인 이벤트로 간주하고, 이에 대한 타임 스탬프를 생체 신호에 기록할 수 있다.

다음으로 도 8b 내지 도 8e를 참조하면, 프로세서(240)는 HMD 장치(100)에서 그래픽 객체의 제공(12), 가이드 텍스트의 제공(13), 그래픽 객체의 모션 제공(14)(15), 효과음의 제공(16)을 복수의 서브 이벤트로 간주하고, 이에 대한 타임 스탬프를 생체 신호에 기록할 수 있다.

마지막으로, 도 8f를 참조하면, 프로세서(240)는 HMD 장치(100)에서 마지막 회차 임을 알려주는 시퀀스 종료와 관련된 가이드 텍스트의 제공(17)을 ②메인 이벤트로 간주하고, 이에 대한 타임 스탬프를 생체 신호에 기록할 수 있다.

한편, 이벤트 시퀀스에서 제공되는 이벤트(피처)들을 기 저장된 시간 순서에 따라 메인 이벤트와 서브 이벤트로 구분하였으나, 이는 생체 신호를 이벤트 시퀀스 별로 구분하기 위함일 뿐, 두 개의 이벤트는 동일한 속성을 가질 수 있다. 예를 들어, 메인 이벤트와 서브 이벤트 모두 동일한 규칙성을 가진 일련번호가 매칭될 수 있으며, 각각의 이벤트에는 해당 이벤트가 시작되는 시점과 종료되는 시점이 기록되어 있을 수 있다.

한편, 이벤트 시퀀스를 통해 인지 기능 테스트를 수행하는 동안, 사용자의 인지 기능 평가 결과에 따라 종료와 관련된 이벤트 제공에 대한 타임 스탬프가 달라질 수 있다. 예를 들어, 총 9회차로 이루어진 이벤트 시퀀스에서 기 저장된 메인 타임 스탬프는 9회차 수행이 완료되었음을 알리는 가이드 텍스트의 제공에 대한 타임 스탬프가 될 수 있다. 그러나, 사용자가 테스트를 9회차까지 성공하지 못할 경우, 다음 이벤트 시퀀스로의 전환에 대한 타임 스탬프가 종료와 관련된 이벤트 제공에 대한 타임 스탬프가 될 수 있다.

이를 위해, 프로세서(240)는 HMD 장치(100)와 연결된 입력 장치(105) 로부터 복수의 연속적인 이벤트 시퀀스를 기초로 획득되는 입력 데이터에 대한 타임 스탬프를 획득할 수 있다. 프로세서(240)는 생체 신호에 입력 데이터에 대한 타임 스탬프를 추가로 기록할 수 있다.

프로세서(240)는 입력 데이터를 기초로 복수의 연속적인 이벤트 시퀀스 중 어느 하나의 이벤트 시퀀스에 대한 평가 결과를 생성할 수 있으며, 평가 결과를 기초로 기 저장된 서브 이벤트 또는 다음 이벤트 시퀀스의 제공 여부를 결정할 수 있다. 예를 들어, 프로세서(240)는 입력 데이터를 기초로 사용자가 공 맞추기 게임(이벤트 시퀀스)에서 3회 이상 틀릴 경우, HMD 장치(100)로 기 저장된 서브 이벤트를 제공하지 않고, 다음 게임(다음 이벤트 시퀀스)을 제공할 수 있다.

도 5 및 도 7을 참조하면, 프로세서(240)는 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성할 수 있다(S250). 구체적으로, 프로세서(240)는 생체 신호에 기록된 타임 스탬프에 따라, 생체 신호를 복수의 구간으로 구분할 수 있다.

다양한 실시예에서, 프로세서(240)는 뇌전도 센서로부터 획득된 뇌파 신호(생체 신호)를 타임 스탬프를 기준으로 구분하고, 구분된 뇌파 신호에서 주파수 대역 별 PSD(Power Spectral Density)를 기초로 사용자의 인지 기능 평가 결과를 생성할 수 있다. 구체적으로, 프로세서(240)는 1~3Hz 델타 밴드, 4~7 Hz 세타 밴드, 8~14 Hz 알파 밴드, 15~30 Hz 베타 밴드 각각에서의 기준 뇌파 신호의 PSD 값과 사용자로부터 획득된 뇌파 신호의 PSD 값의 차이를 얻을 수 있다. 프로세서(240)는 사용자의 PSD 값의 차이와 정상군에서 얻게 되는 PSD 값의 차이를 비교하여, 사용자의 인지 장애 여부(인지 평가 결과)를 결정할 수 있다. 예를 들어, 깊이 지각력(Depth perception)의 경우, 인지 기능 장애가 있는 환자의 경우, 알파 밴드에서의 PSD 값이 정상군의 PSD 값 보다 낮을 수 있다.

도 9 및 도 10은 본 발명의 일 실시예에 따른 HMD 장치에서 제공되는 시퀀스의 피처 결합을 통해서 인지 기능 검사의 정확도가 높아짐을 설명하기 위한 그래프이다.

도 9를 참조하면, 델타 밴드, 세타 밴드, 알파 밴드, 베타 밴드 각각의 주파수 대역 별로 정상군(회색 바)과 인지 기능이 저하된 환자군(흰색 바) 사이의 PSD 값 차이가 다음과 같은 그래프로 얻어질 수 있다. 구체적으로, 주의 집중력, 작업 기억력, 공간 지각력 등 각종 이벤트 시퀀스에서의 타임 스탬프를 기준으로 생체 신호를 분석한 결과, 특정 주파수 대역(알파 밴드, 베타 밴드)에서 정상군에 비해 인지 기능이 저하된 환자군의 PSD 값이 낮아짐을 확인할 수 있다. 특히, 선택 주의력(Selective attention)과 공간 지각력(Depth perception)에서 PSD 값의 차이가 0.08, 0.01 수준으로 차이가 남을 확인할 수 있다. 즉, 프로세서(240)가 일련의 생체 신호를 이벤트(피처)에 대한 타임 스탬프를 기준으로 세분화시켜 구분함으로써, 상기와 같은 미세한 PSD 값 차이를 얻어내고, 이를 통해 정확한 인지 기능 평가 결과를 생성할 수 있다.

이 외에도, 프로세서(240)는 주파수 대역 별 PSD 값을 구하고, 대역 별 비율을 기초로 인지 기능 평가 결과를 생성할 수 있다. 구체적으로, 프로세서(240)는 델타/알파 비율(Delta/alpha ration, DAR) 또는 세타/알파 비율(theta/alpha ratio, TAR)을 계산한 뒤, 정상군의 비율 값과 현재 사용자를 통해 계산된 비율 값을 비교할 수 있으며, 이를 통해 인지 기능 평가 결과를 생성할 수 있다.

다양한 실시예에서, 프로세서(240)는 카메라 센서로부터 획득된 사용자의 동공 움직임 속도 또는 크기 변화(생체 신호)를 타임 스탬프를 기준으로 구분하고, 구분된 변화 값을 기초로 사용자의 인지 기능 평가 결과를 생성할 수 있다. 구체적으로, 프로세서(240)는 동공 움직임 또는 크기 변화에 대한 일련의 생체 신호 중에서 시각적인 이벤트 제공에 대한 타임 스탬프가 기록된 영역을 구분하고, 구분된 생체 신호를 분석하여 인지 기능 평가 결과를 생성할 수 있다.

도 10을 참조하면, HMD 장치(100)를 통해 시각적인 이벤트가 제공된 상태에서 정상군(NC), 주관적 인지 저하 환자군(SCD), 경도 인지 저하 환자군(MCI), 경도 알츠하이머 환자군(mild AD)의 동공 움직임 속도가 다음과 같은 그래프로 얻어질 수 있다. 특히, 경도 알츠하이머 환자군의 경우, 동공 크기 변화 속도가 나머지 정상군 및 환자군의 변화 속도 보다 낮음을 확인할 수 있다. 즉, 프로세서(240)는 일련의 생체 신호를 이벤트(피처)에 대한 타임 스탬프를 기준으로 생체 신호를 세분화시켜 구분함으로써, 적은 데이터를 통해서도 분석에 필요한 생체 신호를 획득할 수 있으며, 이를 통해 정확한 인지 기능 평가 결과를 생성할 수 있다.

한편, 프로세서(240)는 타임 스탬프를 통해 구분된 생체 신호로 인지 기능 평가 결과를 생성하는 것에서 나아가, HMD 장치(100)를 통해 획득된 인지 기능 평가 점수를 조합하여, 사용자의 인지 평가 결과를 생성할 수 있다. 구체적으로, 인지 기능 평가 점수는 HMD 장치(100)를 통해 사용자에게 제공되는 복수의 연속적인 이벤트 시퀀스에서 사용자의 입력 데이터를 기초로 계산된 점수를 의미할 수 있다. 즉, 프로세서(240)는 이벤트 시퀀스 각각에 지정된 기준 점수와 입력 데이터를 기초로 계산된 점수를 비교하여, 사용자의 인지 기능 평가 결과(인지 기능 장애 여부)를 생성할 수 있다.

실시예에 따라, 프로세서(240)는 생체 신호를 통해 생성된 평가 결과와 입력 데이터를 통해 생성된 평가 결과를 상호 보완하여 하나의 인지 기능 평가 결과를 생성하거나, 두 개의 결과를 그대로 사용자에게 제공할 수 있다. 즉, 프로세서(240)는 통신 인터페이스(210)를 통해 사용자의 인지 평가 결과를 HMD 장치(100) 또는 관리자 장치(300)로 송신할 수 있다.

지금까지 본 발명의 일 실시예에 따른 인지 기능 검사 서버(200)에 대하여 설명하였다. 본 발명에 따르면, 복수의 이벤트 시퀀스가 제공되는 동안 사용자로부터 획득되는 생체 신호에 이벤트 제공 시점에 대한 타임 스탬프를 기록함으로써, 일련의 생체 신호를 하나의 이벤트 시퀀스 기준으로 구분할 수 있다. 특히, 이벤트 시퀀스 내 기 저장된 이벤트에 따라 생체 신호를 세분화함으로써, 사용자에게 주어진 짧은 순간의 자극에 대한 생체 신호 변화를 획득하고, 이를 통해 사용자의 인지 기능 장애 여부를 정확하게 판단해 낼 수 있다.

한편, HMD 장치(100) 및 인지 기능 검사 서버(200)에서 수행한 생체 신호에서의 타임 스탬프 기록 및 이를 이용한 인지 기능 검사 방법은 HMD 장치(100)와 별도로 연결된 디스플레이 장치(예. 스마트 폰) 또는 이와 연결된 컴퓨팅 장치에서 수행될 수도 있다. 이러한 경우, 디스플레이 장치 또는 이와 연결된 컴퓨팅 장치에는 복수의 연속적인 이벤트 시퀀스가 저장될 수 있다. 아울러, 디스플레이 장치 또는 이와 연결된 컴퓨팅 장치는 HMD 장치(100)와 연결된 센서에서 획득되는 생체 신호에 타임 스탬프를 기록하고, 이를 기초로 인지 기능 검사 결과를 생성하거나, 제공할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 일 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1000: 인지 기능 검사 시스템
100: HMD 장치
105: 입력 장치
110: 통신 인터페이스 120: 센서
120-1: 제1 센서 120-2: 제2 센서
120-10: 제1 동기화 센서 120-20: 제2 동기화 센서
130: 메모리 140: 프로세서
150: 디스플레이
200: 인지 기능 검사 서버
210: 통신 인터페이스
211: 유선 통신 포트 212: 무선 회로
220: 메모리
221: 운영 체제 222: 통신 모듈
223: 사용자 인터페이스 모듈 224: 애플리케이션
230: I/O 인터페이스 240: 프로세서
300: 관리자 장치

Claims

HMD 장치를 통해 연속적인 복수의 이벤트 시퀀스를 제공하는 단계;
상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하는 단계;
상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하는 단계;
상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하는 단계; 및
상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계; 를 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제1항에 있어서,
상기 적어도 하나의 타임 스탬프를 획득하는 단계는,
상기 복수의 연속적인 이벤트 시퀀스 각각에 기 저장된 서브 이벤트에 대한 타임 스탬프를 획득하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제2항에 있어서,
상기 기 저장된 서브 이벤트는,
인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 상기 그래픽 객체의 모션 및 효과음 중 적어도 하나의 제공에 대응되는, 피처 결합을 이용한 인지 기능 검사 방법.
제2항에 있어서,
상기 HMD 장치와 연결된 입력 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 입력 데이터에 대한 타임 스탬프를 획득하는 단계, 와
상기 생체 신호에 상기 입력 데이터에 대한 타임 스탬프를 기록하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제4항에 있어서,
상기 입력 데이터를 기초로 상기 복수의 연속적인 이벤트 시퀀스 중 어느 하나의 이벤트 시퀀스에 대한 평가 결과를 생성하는 단계, 와
상기 평가 결과를 기초로 상기 기 저장된 서브 이벤트 또는 다음 이벤트 시퀀스의 제공 여부를 결정하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제1항에 있어서,
상기 생체 신호는,
상기 HMD 장치와 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서 중 적어도 하나의 센서로부터 획득되는, 피처 결합을 이용한 인지 기능 검사 방법.
제6항에 있어서,
상기 인지 기능 평가 결과를 생성하는 단계는,
상기 뇌전도 센서로부터 획득된 뇌파 신호를 상기 타임 스탬프를 기준으로 구분하고,
구분된 뇌파 신호에서 주파수 대역 별 PSD(Power Spectral Density)를 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계인, 피처 결합을 이용한 인지 기능 검사 방법.
제6항에 있어서,
상기 인지 기능 평가 결과를 생성하는 단계는,
상기 카메라 센서로부터 획득된 사용자의 동공 움직임 속도 또는 크기 변화를 상기 타임 스탬프를 기준으로 구분하고,
구분된 변화 값을 기초로 사용자의 인지 기능 평가 결과를 생성하는 단계인, 피처 결합을 이용한 인지 기능 검사 방법.
제1항에 있어서,
상기 복수의 이벤트 시퀀스를 제공하는 단계 이전에,
상기 생체 신호와 관련된 적어도 둘 이상의 동기화 센서를 이용하여,
상기 적어도 둘 이상의 센서로부터 획득되는 생체 신호에 대한 시간 동기화를 수행하는 단계, 를 더 포함하는, 피처 결합을 이용한 인지 기능 검사 방법.
제9항에 있어서,
상기 동기화 센서는,
상기 생체 신호를 획득하기 위한 센서와 인접하게 배치되며,
움직임 센서, 조도 센서, 광학 센서 및 음파 센서 중 적어도 하나를 포함하는, 피처 결합을 이용한 인지 기능 검사 방법.
제9항에 있어서,
상기 HMD 장치는,
상기 생체 신호를 획득하기 위한 제1 센서, 제2 센서, 상기 제1 센서와 인접하게 배치된 제1 동기화 센서 및 상기 제2 센서와 인접하게 배치된 제2 동기화 센서를 포함하는, 피처 결합을 이용한 인지 기능 검사 방법.
제11항에 있어서,
상기 시간 동기화를 수행하는 단계는,
상기 제1 및 제2 동기화 센싱 신호들에 대한 시간차 정보를 산출하는 단계, 및
상기 산출된 시간차 정보에 기반하여 상기 제1 생체 신호 및 상기 제2 생체 신호에 대한 시간 동기화를 수행하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제12항에 있어서,
상기 제1 센서를 통해 획득되는 제1 생체 신호 및 상기 제2 센서를 통해 획득되는 제2 생체 신호 중 어느 하나는, 영상 신호를 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제12항에 있어서,
상기 시간차 정보를 산출하는 단계는,
상기 제1 및 제2 동기화 센싱 신호들 각각에 대한 특징 정보를 확인하는 단계, 와
상기 확인된 특징 정보에 기반하여 상기 시간차 정보를 산출하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제14항에 있어서,
상기 특징 정보는,
동기화 센싱 신호의 피크(peak) 값 및 기 설정된 임계 값 중 적어도 하나를 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제1항에 있어서,
상기 이벤트 시퀀스는,
상기 사용자의 휴식 상태의 생체 신호를 획득하도록 구성된 시퀀스와 함께 사용자의 단기 기억, 장기 기억, 읽기 능력, 집중력, 깊이 지각력(Depth perception), 순발력, 시지각력(Visual perception), 공간 지각력(Spatial perception), 작업 기억력(Working memory), 순간 주의력(Focused attention), 지속 주의력 (Sustained attention), 독해 능력 및 선택 주의력 (Selective attention) 중 적어도 하나의 인지 능력을 테스트하도록 구성된 시퀀스를 포함하는, 피처 결합을 이용한 인지 기능 검사 방법.
통신 인터페이스;
메모리; 및
상기 통신 인터페이스, 상기 메모리와 동작 가능하게 연결된 프로세서; 를 포함하고,
상기 프로세서는,
HMD 장치를 통해 연속적인 복수의 이벤트 시퀀스를 제공하고,
상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하고,
상기 HMD 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하고,
상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하고,
상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 생성하도록 구성되는, 피처 결합을 이용한 인지 기능 검사 서버.
디스플레이 화면을 통해 연속적인 복수의 이벤트 시퀀스를 제공하는 단계;
상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하는 단계;
상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하는 단계;
상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하는 단계; 및
상기 디스플레이 화면을 통해 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 제공하는 단계; 를 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제18항에 있어서,
상기 적어도 하나의 타임 스탬프를 획득하는 단계는,
상기 복수의 연속적인 이벤트 시퀀스 각각에 기 저장된 서브 이벤트에 대한 타임 스탬프를 획득하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제19항에 있어서,
상기 기 저장된 서브 이벤트는,
인지 기능을 테스트하기 위한 가이드 텍스트, 가이드 오디오, 3차원 공간을 배경으로 위치하는 그래픽 객체, 상기 그래픽 객체의 모션 및 효과음 중 적어도 하나의 제공에 대응되는, 피처 결합을 이용한 인지 기능 검사 방법.
제18항에 있어서,
상기 디스플레이 화면과 연동된 입력 장치로부터 상기 복수의 연속적인 이벤트 시퀀스에 대응하는 입력 데이터에 대한 타임 스탬프를 획득하는 단계, 와
상기 생체 신호에 상기 입력 데이터에 대한 타임 스탬프를 기록하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제21항에 있어서,
상기 입력 데이터를 기초로 상기 복수의 연속적인 이벤트 시퀀스 중 어느 하나의 이벤트 시퀀스에 대한 평가 결과를 제공하는 단계, 와
상기 평가 결과를 기초로 상기 기 저장된 서브 이벤트 또는 다음 이벤트 시퀀스의 제공 여부를 결정하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
제18항에 있어서,
상기 생체 신호는,
상기 HMD 장치와 연결된 심박 센서, 심전도 센서, 뇌전도 센서, 근전도 센서, 온도 센서 및 카메라 센서 중 적어도 하나의 센서로부터 획득되는, 피처 결합을 이용한 인지 기능 검사 방법.
제18항에 있어서,
상기 복수의 이벤트 시퀀스를 제공하는 단계 이전에,
상기 생체 신호와 관련된 적어도 둘 이상의 동기화 센서를 이용하여,
상기 적어도 둘 이상의 센서로부터 획득되는 생체 신호에 대한 시간 동기화를 수행하는 단계, 를 더 포함하는, 피처 결합을 이용한 인지 기능 검사 방법.
제24항에 있어서,
상기 시간 동기화를 수행하는 단계는,
상기 제1 및 제2 동기화 센싱 신호들에 대한 시간차 정보를 산출하는 단계, 및
상기 산출된 시간차 정보에 기반하여 상기 제1 생체 신호 및 상기 제2 생체 신호에 대한 시간 동기화를 수행하는 단계, 를 더 포함하는 피처 결합을 이용한 인지 기능 검사 방법.
통신 인터페이스;
메모리;
디스플레이; 및
상기 통신 인터페이스, 상기 메모리 및 상기 디스플레이와 동작 가능하게 연결된 프로세서; 를 포함하고,
상기 프로세서는,
상기 디스플레이의 화면을 통해 연속적인 복수의 이벤트 시퀀스를 제공하고,
상기 복수의 연속적인 이벤트 시퀀스 각각에 대한 적어도 하나의 타임 스탬프를 획득하고,
상기 복수의 연속적인 이벤트 시퀀스에 대응하는 생체 신호를 획득하고,
상기 생체 신호에 상기 적어도 하나의 타임 스탬프를 기록하고,
상기 디스플레이의 화면을 통해 상기 타임 스탬프에 따른 생체 신호를 기초로 사용자의 인지 기능 평가 결과를 제공하도록 구성되는, HMD 장치.