Nothing Special   »   [go: up one dir, main page]

KR20200103397A - 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법 - Google Patents

생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법 Download PDF

Info

Publication number
KR20200103397A
KR20200103397A KR1020190021819A KR20190021819A KR20200103397A KR 20200103397 A KR20200103397 A KR 20200103397A KR 1020190021819 A KR1020190021819 A KR 1020190021819A KR 20190021819 A KR20190021819 A KR 20190021819A KR 20200103397 A KR20200103397 A KR 20200103397A
Authority
KR
South Korea
Prior art keywords
stress
user
signal
hmd device
sensor
Prior art date
Application number
KR1020190021819A
Other languages
English (en)
Inventor
이홍구
채용욱
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to KR1020190021819A priority Critical patent/KR20200103397A/ko
Priority to PCT/KR2019/014073 priority patent/WO2020175759A1/ko
Priority to US17/433,610 priority patent/US20220148728A1/en
Publication of KR20200103397A publication Critical patent/KR20200103397A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0408—
    • A61B5/0478—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법에 관한 것으로서, 복수의 생체 신호 센서로부터 수신한 생체 신호를 보정하여 스트레스 표준 정보를 생성하는 캘리브레이션(Calibration) 단계; 스트레스 가이딩 화면을 생성하고, 생성된 스트레스 가이딩 화면을 통해 사용자의 생체 데이터를 측정하고, 측정된 생체 데이터를 스트레스 표준 정보 및 생체 신호 중 적어도 하나와 비교하여 사용자의 스트레스 측정 정보를 산출하는 스트레스 측정 컨텐츠 진행 단계; 및 생체 데이터로부터 특징을 추출하고, 추출된 특징을 기반으로 사용자의 스트레스 지수를 예측하는 스트레스 분석 컨텐츠 진행 단계를 포함하고, 스트레스 표준 정보는 스트레스 초기 지수 및 특정 감정에 대한 기준 값을 포함하다. 이에, 생체 신호 센서를 이용하여 생체 신호를 측정함으로써 스트레스를 분석할 수 있는 데이터 신뢰성을 향상시킬 수 있다.

Description

생체 신호 센서 탑재 HMD 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법{A System and Method For Taking Care Of Personal Health and Mental Using Virtual Reality Device Mounting Biosignal Sensors}
생체 센서 탑재 HMD 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법에 관한 것으로서, 보다 상세하게는 뇌파, 심전도 및 시선 센서 등 복수의 생체 신호 센서를 활용하여 스트레스 레벨 측정의 신뢰성을 현저히 향상시킨 HMD 기기를 이용한 개인 정신건강 관리 시스템 및 방법에 대한 것이다.
현대인들은 매 순간마다 물리적 또는 심리적 자극을 받는다. 이러한 자극이 가해질 때에 자극에 대한 두려움, 불안감 또는 긴장감과 같은 감정이 유발되면 스트레스(Stress)를 받게 되는 것이다. 일반적으로, 스트레스는 인지적 스트레스, 업무 스트레스, 관계 스트레스 등 다양한 종류로 정의될 수 있다.
최근 이러한 스트레스를 객관적으로 측정하기 위해 생체 신호를 활용하는 시도들이 증가하고 있다. 이러한 시도들은 스트레스에 대한 생리적 반응을 평가하기 위해 주로 심전도(ECG)를 통해 HRV를 분석하여 신체의 자율 신경계 작용 정도를 판단하고 있다.
특히, 기존에 많이 사용된 방법들은 하나의 센서(single modality)를 이용하여 분석을 수행하는 경우가 대부분 이였다. 그러나, 생체 신호의 경우, 사용자가 처한 주변 상황이나 신체 내부적인 상황에 따라 상당히 큰 레벨 차이를 가지는 신호들이 검출되기 때문에 상당히 오차가 크다. 따라서, 측정된 신체 신호에 기초하여 정확한 스트레스 분석을 하는 것이 매우 어렵다는 문제가 있다.
단, 복수의 센서를 조합하여 운용하는 것과 관련하여 어떤 센서들이 상호 보완적인 관계에 있어서 정확한 스트레스 측정을 도출할 수 있는지에 대해서는 연구가 상당히 부족한 편이였다.
따라서, 정확한 스트레스 도출을 위한 센서의 조합이 어떤 것인지에 대한 심도 깊은 연구가 필요하고, 또한, 더 나아가 종류나 특성이 다른 센서로부터 얻어진 신호가 감정과 관련된 여러가지 특징을 담고 있다는 특징을 이용하여 정확한 스트레스를 검출할 수 있는 시스템이 절실히 요구되고 있다.
본 발명이 해결하고자 하는 과제는 복수의 생체 신호 센서를 이용하여 생체 신호를 측정함으로써 스트레스를 분석할 수 있는 데이터 신뢰성이 향상된 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 생체신호를 지속적으로 측정하고 피드백 함으로써 효율적으로 건강관리를 할 수 있는 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 기계 학습을 이용하여 스트레스 레벨 측정의 정확도를 크게 향상시켜 사용자의 편의성이 증대된 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 방법은 복수의 생체 신호 센서로부터 수신한 생체 신호를 보정하여 스트레스 표준 정보를 생성하는 캘리브레이션(Calibration) 단계; 스트레스 가이딩 화면을 생성하고, 생성된 스트레스 가이딩 화면을 통해 사용자의 생체 데이터를 측정하고, 측정된 생체 데이터를 스트레스 표준 정보 및 생체 신호 중 적어도 하나와 비교하여 사용자의 스트레스 측정 정보를 산출하는 스트레스 측정 컨텐츠 진행 단계; 및 생체 데이터로부터 특징을 추출하고, 추출된 특징을 기반으로 사용자의 스트레스 지수를 예측하는 스트레스 분석 컨텐츠 진행 단계를 포함하고, 스트레스 표준 정보는 스트레스 초기 지수 및 특정 감정에 대한 기준 값을 포함하다. 이에, 생체 신호 센서를 이용하여 생체 신호를 측정함으로써 스트레스를 분석할 수 있는 데이터 신뢰성을 향상시킬 수 있다.
본 발명의 다른 특징에 따르면, 스트레스 분석 컨텐츠 진행단계는, 추출된 특징을 스트레스 레벨로 치환하여 사용자의 스트레스 지수를 측정하고, 스트레스 레벨은 하기 수학식 1에 의해 산출될 수 있다.
[수학식 1]
Figure pat00001
(여기서, W는 각 뇌파(eeg)센서, 심전도(ecg) 센서, 시선 센서(eye)의 가중치를 나타냄)
본 발명의 또 다른 특징에 따르면, 스트레스 분석 컨텐츠 진행 단계는, 스트레스 표준 정보에 기초하여 스트레스 측정 정보의 차이를 비교하여 사용자의 스트레스 지수 및 감정 중 적어도 하나를 분석할 수 있다.
본 발명의 또 다른 특징에 따르면, 스트레스 분석 컨텐츠 진행 단계는, RNN(Recurrent Neural Network) 또는 LSTM(Long Short Term Memory)을 이용하여 추출된 특징을 기초로 스트레스를 지수를 예측할 수 있다.
본 발명의 또 다른 특징에 따르면, 스트레스 분석 결과에 따른 스트레스 완화 컨텐츠를 생성하는 스트레스 완화 컨텐츠 진행 단계를 더 포함하고, 스트레스 완화 컨텐츠는 소리, 이미지 및 영상 중 적어도 어느 하나의 형태로 출력되며, 사용자 또는 사용자의 스트레스 지수에 따라 서로 상이한 컨텐츠가 제공될 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 생체 신호 센서는 제1 및 제2 생체 신호 센서를 포함하고, HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법은 이벤트 트리거 신호로부터 유발되고 제1 생체 신호 센서로부터 수신한 제1 동기화 센싱 신호를 수신하는 단계; 이벤트 트리거 신호로부터 유발되고 제2 생체 신호 센서로부터 수신한 제2 동기화 센싱 신호를 수신하는 단계; 및 이벤트 트리거 신호가 출현한 시간에 기초하여 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호의 시간차 정보를 산출하고 시간차 정보에 기초하여 제1 및 제2 생체 신호 센서를 동기화하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 이벤트 트리거 신호는 익숙한 사진 및 익숙하지 않은 사진을 랜덤하게 배열하여 HMD 기기의 디스플레이에 표시될 수 있다.
본 발명의 또 다른 특징에 따르면, 이벤트 트리거 신호는 비프음을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 이벤트 트리거 신호는 깜박이는 화면을 HMD 기기의 디스플레이에 표시될 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 시스템은 복수의 생체 신호 센서로부터 생체 신호를 측정하는 HMD 기기; 및 측정된 생체 신호를 수신하고 수신한 생체 신호에 기초하여 스트레스 측정 정보를 산출하는 멘탈 케어 서버를 포함하고, 멘탈 케어 서버는 생체 신호를 보정하여 스트레스 표준 정보를 생성하며, 스트레스 가이딩 화면을 생성하고, 스트레스 가이딩 화면을 통해 사용자의 생체 데이터를 측정하며, 측정된 생체 데이터를 스트레스 표준 정보 및 생체 신호 중 적어도 하나와 비교하여 사용자의 스트레스 측정 정보를 산출하며, 생체 데이터로부터 특징을 추출하고, 추출된 특징을 기반으로 사용자의 스트레스 지수를 예측하고, 스트레스 표준 정보는 스트레스 초기 지수 및 특정 감정에 대한 기준 값을 포함한다. 이에, 생체신호를 지속적으로 측정하고 피드백함으로써 효율적으로 건강관리를 할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 심전도 센서, 뇌파 센서 및 시선 센서를 포함하는 복수의 생체 신호 센서를 활용하여 스트레스 분석 데이터의 신뢰성을 현저히 향상시켰다. 따라서, 기존에는 낮은 신뢰성으로 인해 실제 스트레스 상담 업무 또는 의료 스트레스 분석 실무에서 기기를 위한 스트레스 지수 측정이 어려웠으나, 본 발명으로 인한 신뢰성의 향상으로 실제 스트레스 상담 업무나, 의료 스트레스 분석 실무에서 기기를 사용한 스트레스의 지수 측정이 가능하다.
또한, 본 발명에 따르면, 생체신호의 지속적인 모니터링을 통하여 효율적인 정신 건강 관리가 가능하다.
또한, 본 발명에 따르면, 기계 학습을 이용하여 스트레스 지수 측정의 정확도를 크게 향상시킬 수 있다.
또한 본 발명에 따르면, 적어도 둘 이상의 동기화 센서들을 이용하여 일련의 신호들에 대한 시간 동기화를 수행함으로써 시스템 내의 구성 요소들 사이의 시간 오차 또는 서로 다른 시스템들 사이의 시간 오차를 보정할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템의 전체적인 개략도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 기기를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멘탈 케어 서버를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 심전도를 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 방법을 설명하기 위한 전체적인 순서도이다.
도 6은 본 발명의 일 실시예에 따른 멘탈 케어 서버의 분석 컨텐츠 진행 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 HMD 기기에 부착된 복수의 생체 신호 센서를 설명하기 위한 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 스트레스 가이딩 화면을 설명하기 위한 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 HMD 기기를 설명하기 위한 블록도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 이하의 설명에서 제1, 제2 등과 같은 서수식 표현은 서로 동등하고 독립된 객체를 설명하기 위한 것이며, 그 순서에 주(main)/부(sub) 또는 주(master)/종(slave)의 의미는 없는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
스트레스 분석 및 개인 정신건강 관리 시스템의 HMD 기기 구성
도 1은 본 발명의 일 실시예에 따른 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템의 전체적인 개략도이다. 도 2는 본 발명의 일 실시예에 따른 HMD 기기를 설명하기 위한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 멘탈 케어 서버를 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 심전도를 설명하기 위한 예시 그래프이다. 도 5는 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 방법의 전체적인 순서도이다. 도 6은 본 발명의 일 실시예에 따른 멘탈 케어 서버의 분석 컨텐츠 진행 방법에 대한 순서도이다. 도 7은 본 발명의 일 실시예에 따른 HMD 기기에 부착된 복수의 생체 신호 센서를 설명하기 위한 도면이다. 도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 스트레스 가이딩 화면을 설명하기 위한 예시도이다.
도 1을 참조하면, 스트레스 분석 및 개인 정신건강 관리 시스템은 HMD 기기(100), 생체 신호 센서 및 멘탈 케어 서버(200)를 포함한다.
HMD 기기(100)는 사용자가 착용 가능한 다양한 형태의 웨어러블(Wearable) 기기로서, 생체 신호 센서를 포함하며, 이를 통해 사용자의 생체 신호를 센싱할 수 있다. 여기서, 생체 신호는 사용자의 뇌파, 시선, 동공의 움직임, 심박수, 혈압 등 사용자의 신체로부터 발생하는 다양한 신호를 의미할 수 있다.
본 발명에서 HMD 기기(100)는 헤드 마운드 디스플레이(Head Mounted Display, HMD)로서 머리에 장착해 사용자에게 직간접적으로 영상을 제시할 수 있다.
예컨대, HMD 기기(100)는 오큘러스® VR(Virtual Reality)과 같이 자체적으로 디스플레이 유닛을 포함하는 가상현실을 지원하는 형태의 기기일 수 있고, HMD 마운트에 디스플레이 유닛을 장착해서 사용하는 기어® VR과 유사한 형태의 기기일 수도 있다. 또는 구글 글래스®(Google Glass) 또는 마이크로소프트사의 홀로렌즈®(Microsoft HoloLens) 형태의 AR(Augmented Reality)을 지원하는 기기일 수도 있다. 또는 Windows MR(Mixed Reality) 이나 오디세이 플러스 MR 등의 혼합 현실을 지원하는 기기일 수도 있다.
도 2에 도시된 바와 같이, HMD 기기(100)는 뇌파 센서(EEG)로부터 뇌파를 측정하는 뇌파 센싱 모듈(110), 시선 센서로부터 동공의 움직임을 측정하는 시선 센싱 모듈(120), 심전도 센서(ECG)로부터 심전도를 측정하는 심전도 센싱 모듈(130), 캘리브레이션 모듈(140) 및 출력 모듈(150)을 포함할 수 있다. 한편, 본 발명에서 뇌파 센서, 시선 센서, 심전도 센서는 사용자의 생체 신호를 측정할 수 있도록 신체 부위와 접촉이 용이하게 이루어질 수만 있다면, HMD 기기(100)에만 한정되는 것이 아니라 어떠한 형태의 웨어러블 기기여도 무방하다. 예컨대, 헤드셋, 스마트 워치(Smart watch), 이어폰, 모바일 기기 등일 수 있다.
도 7에 도시된 바와 같이, 생체 신호 센서는 HMD 기기(100)에 부착되며, 심전도 센서(101), 뇌파 센서(102) 및 시선 센서(103)를 포함한다.
뇌파 센싱 모듈(110)은 HMD 기기(100)를 착용한 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 모듈(110)은 적어도 하나의 EEG(Electroencephalogram) 센서를 포함할 수 있다. 뇌파 센싱 모듈(110)은 사용자가 HMD 기기를 착용하면 HMD 기기(100)에 부착된 EEG 센서가 사용자의 뇌파가 측정될 수 있는 신체 부위 예컨대, 머리 또는 이마에 접촉되어 사용자의 뇌파를 측정할 수 있다. 뇌파 센싱 모듈(110)은 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 또는 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정할 수 있다.
단, 뇌파는 생체 신호이기 때문에 사용자마다 또는 동일 사용자라 하더라도 주변 상황이나 사용자 내부의 신체 상황에 따라 차이가 발생할 수 있다. 따라서, 동일한 인지 상태에서도 사용자별/사용자의 상태별로 서로 다른 패턴의 뇌파가 추출될 수 있다. 따라서, 단순히 사용자의 뇌파를 추출하고 이를 일정한 데이터와 맵핑하여 분석하면 사용자의 현재 스트레스 상태를 파악하고 구별하는데 정확도가 떨어질 수 있다. 따라서, 본 발명은 뇌파를 기초로 사용자의 인지 상태를 정확하게 측정하기 위해, 사용자별로 뇌파의 캘리브레이션(Calibration) 방법을 수행한다. 뇌파 센싱 모듈(110)에 대한 보다 구체적인 동작은 추후 설명하기로 한다.
단, 뇌파 또는 심전도 등의 생체 신호의 경우, 사용자별로는 패턴(특징)과 레벨이 모두 달라질 수 있다. 예를 들어 A 사용자의 경우 추출된 특징 1에서 스트레스와 가장 상관성이 높았고 그 레벨이 1~10 범위로 변화한다고 할 수 있지만 B 사용자의 경우 추출된 특징2 또는 3에서 스트레스와 가장 상관성이 높을 수 있고 특징 1과 특징 2가 같은 범위의 스케일을 가지지 않을 수 있기 때문에 이는 각 특징별로 상이하게 레벨이 달라질 수 있습니다.
또한, 사용자의 상태별로도 레벨의 범위가 달라질 수 있는데, 주로 특징은 동일한데 레벨의 범위가 달라지는 경우가 대부분입니다. 즉, 사용자 A의 경우 특징 1이 해당 사용자의 스트레스 정도를 가장 잘 반영한다고 확인이 되면, 사용자의 상태에 따라 어느 경우에는 1~5 범위로 스트레스 측정이 되지만 어느 경우에는 15~20 레벨로 스트레스 측정이 될 수 있습니다.
따라서, 본 발명에 따르면, 캘리브레이션 및 노멀라이즈를 수행하여 사용자별, 사용자의 상태별로 스트레스 레벨의 차이가 발생할 수 있는 문제점을 해결하고 있다. 캘리브레이션 및 노멀라이즈의 상세한 내용은 후술하도록 한다.
심전도 센싱 모듈(130)은 심박변이도(Heart Rate Variability, HRV)를 활용하여 심전도(Electrocardiogram, ECG)를 측정할 수 있다. 여기서, 심전도(ECG)는 심장 박동이 이루어지는 순차적인 전기적 신호를 그래프로 표현한 것으로서, 도 4에 도시된 바와 같이, 심전도 상에는 세가지의 파장이 형성되며 P, Q, R, S, T의 주요 특징점을 포함한다. 이때, P는 심방 수축, QRS는 심실 수축을 유발하는 전기활동을 의미하며, T는 심실이 탈분극한 뒤 재분극할 때의 파형을 의미한다.
또한, 심박변이도(HRV)는 심박의 피크(peak)인 R peak(혹은 QRS complex)의 간격이 어떻게 변화하는지를 나타내는 지표를 의미한다. 즉, 심박변이도는 RR interval 혹은 Normal beat 간의 NN interval 값으로 확인할 수 있다. 이에 대한 구체적인 내용은 추후 설명하기로 한다.
또한, 심전도 센싱 모듈(130)은 도 1에 도시된 바와 같이, 뇌파가 있는 이마 중심에서 HMD 기기(100)에 포함될 수도 있으며, 경우에 따라서는 흉부 근처에 부착될 수 있고, 경우에 따라서는 손목에 부착될 수도 있다.
일반적으로, 심전도를 활용한 스트레스 측정 장치는 흉부 근처에 부착된 측정 전극에서부터 측정 전극 내에서 기준이 되는 기준 전극 사이의 전위차를 측정함으로써 심전도를 측정하였으며, QRS 그래프 상에서는 RR interval 값의 변이 정도를 활용하였다. 보다 상세하게는, 자율 신경계가 심장 박동을 제어하는 과정 중에서 그 생체 신호가 RR interval 로 표현되기 때문에 자율 신경계를 구성하는 교감/부교감 신경계의 활성 정도(스트레스 정도)가 변함에 따라 RR interval의 변화가 커져 불규칙한 양상을 보일 수 있다. 이러한 특징을 스트레스 상태를 반영하는 지표로 활용할 수 있다.
이에 반해, 본 발명의 심전도 센싱 모듈(130)은 뇌파가 있는 이마 중심에 부착된 기준 전극(REF 전극)과 VR 컨트롤러인 리모컨 뒤에 부착되어 심전도(ECG)를 측정하는 측정 전극 사이, 즉, 사용자가 손으로 측정 전극을 잡았을 때, 머리와 손에 나타나는 전위차를 측정함으로써 심전도 데이터를 측정할 수 있다. 따라서, 본 발명의 심전도 센싱 방법은 기존의 심전도 센싱 방법과 측정 원리는 동일하나, 분석 방식이 상이한 것을 알 수 있다. 심전도 센싱 모듈(130)에 대한 보다 구체적인 동작은 추후 설명하기로 한다.
시선 센싱 모듈(120)은 시선 센서를 이용하여 사용자의 시선을 추적할 수 있다. 시선 센싱 모듈(120)은 사용자의 시선(동공의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위, 특히 눈 아랫쪽에 위치하도록 HMD 기기(100)에 구비될 수 있다.
시선 센싱 모듈(120)은 빛을 발광하는 발광 소자 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서이다. 보다 상세하게는, 시선 센싱 모듈(120)은 사용자의 눈으로부터 반사된 빛을 카메라 센서로 촬영하고, 촬영된 이미지를 프로세서로 전송할 수 있다.
캘리브레이션(Calibration) 모듈은 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130) 및 시선 센싱 모듈(120)을 이용하여 이후에 획득될 데이터 분석에 필요한 기준을 제시하기 위해 생체 데이터를 보정할 수 있다. 보다 상세하게는, 캘리브레이션 모듈(140)은 사용자가 일정 시간(예컨대, 수 초(second) 또는 수 분(minute)) 동안 편안히 있는 상태에서 생체 데이터를 취득할 수 있다. 예를 들어, 사용자가 HMD 기기(100)를 착용한 상태에서 HMD 기기(100)의 출력 모듈(150)을 통해 출력되는 소리 또는 이미지 또는 영상을 기반으로 생체 데이터 보정을 수행할 수 있다. 캘리브레이션 모듈(140)에 대한 구체적인 동작은 추후 설명하기로 한다.
출력 모듈(150)은 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130), 시선 센싱 모듈(120)으로부터 센싱된 생체 데이터에 대한 결과 정보를 소리, 이미지 또는 영상으로 출력할 수 있다. 보다 상세하게, 출력 모듈(150)은 HMD 기기(100)의 자체적인 화면 또는 HMD 기기(100)에 탈부착되는 디스플레이 유닛에서 출력될 수 있는 텍스트, 동영상, 정지 영상, 파노라마 화면, VR 이미지, AR(Augment Reality) 이미지, 스피커, 헤드셋 또는 이들을 포함하는 기타 다양한 시청각적 정보를 출력할 수 있다.
상술한 바와 같이, 본 발명은 HMD 기기에 센서만 부착함으로써 고가의 의료기기를 사용하지 않아도 사용자의 뇌파, 심전도, 근전도, 시선 등을 동시에 측정할 수 있어 비용 부담을 절감할 수 있다.
또한, HMD 기기(100)의 상측, 즉 사용자의 이마 부근에 생체 신호 센서들을 부착함으로써 센서의 오차 발생을 줄일 수도 있고, 일반적으로 사용하는 HMD 기기에도 센서만 부착하면 생체 데이터를 측정할 수 있으므로 설치로 인한 어려움도 줄일 수 있다.
멘탈 케어 서버 구성
도 3을 참조하면, 멘탈 케어 서버(200)는 통신 모듈(240), 신호 처리 모듈(210), 진단 모듈(220), 학습 모듈(230), 제어 모듈(250) 및 출력 모듈(260)을 포함할 수 있다. HMD 기기(100)로부터 센싱된 생체 신호를 수신하여 사용자의 뇌파 반응, 심전도 반응 및 시선 반응을 분석할 수 있다.
통신 모듈(240)은 HMD 기기(100)의 뇌파 센싱 모듈(110), 시선 센싱 모듈(120) 및 심전도 센싱 모듈(130)으로부터 수신된 생체 신호를 신호 처리 모듈(210)로 전달할 수 있으며, 시선 센싱 모듈(120) 및 심전도 센싱 모듈(130)의 물리적인 위치에 따라 SPI, I2C, UART 등의 시리얼 통신일 수도 있고, WiFi,　Bluetooth　등의　무선　통신일　수도　있다.
통신 모듈(240)을 통해 수신한 생체 신호에 기초한 스트레스 분석 및 개인 정신건강 관리 방법은 도5에 도시한 바와 같다.
수신한 생체 신호에 기초한 캘리브레이션 방법
멘탈 케어 서버(200)는 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130) 및 시선 센싱 모듈(120)으로부터 센싱한 생체 신호를 캘리브레이션 한다(S510).
캘리브레이션 모듈(140)은 도 8a에 도시된 바와 같이, 통신 모듈(240)을 통해 수신한 뇌파, 심전도, 근전도, 시선 등을 포함하는 생체 신호를 필요에 따라 보정하는 모듈로서, 스트레스 레벨 또는 집중도에 관한 정보를 포함하는 스트레스 표준 정보를 생성하는 역할을 수행한다. 여기서, 스트레스 표준 정보를 생성한다는 것은 센싱된 생체 신호에 기초하여 진단 모듈(220) 또는 학습 모듈(230)을 통해 획득될 결과 데이터 분석에 필요한 기준을 생성하는 것을 의미한다. 즉, 스트레스 표준 정보는 사용자가 스트레스를 측정하고 분석하기 전, 사용자의 스트레스 초기 지수(또는 값)를 의미할 수도 있고, 사용자의 특정 감정에 대한 기준값인 것을 의미할 수도 있다. 예컨대, 사용자가 사용자가 스트레스를 측정하고 분석하기 전, '눈을 감고 1분간 휴식'하는 단계가 진행된다고 하면 이 상태의 데이터에서 추출된 특징들을 휴식 상태(resting state)로 정의하고, 이후에 측정 컨텐츠 혹은 분석 컨텐츠를 진행하는 과정에서 획득된 생체 데이터의 특징이 휴식 상태(resting state)와 얼마나 다른지 혹은 유사한지의 비교를 통해 특정 감정에 대한 정보를 유추할 수 있다.
다시 말해, 멘탈 케어 서버(200)는 캘리브레이션 모듈(140)에 의해 생성된 스트레스 표준 정보를 기준으로 VR 컨텐츠를 보는 사용자의 스트레스 레벨 또는 집중도의 변화를 분석함으로써 사용자의 특정 감정에 대한 정보를 유추할 수 있도록 기준을 제시하는 모듈이다. 여기서, VR 컨텐츠는 사용자들의 스트레스 레벨 또는 집중도를 측정하고 분석하기 위해 HMD 기기(100)의 출력 모듈(150)을 통해 사용자에게 이미지, 영상 또는 소리 형태로 출력되는 컨텐츠를 의미하며, 사용자의 스트레스 레벨 또는 집중도에 따라 서로 상이하게 제공될 수도 있다.
또한, 캘리브레이션 모듈(140)은 뇌파와 유사한 데이터인 근전도(EMG) 및 심전도(ECG)를 캘리브레이션 하는 경우와 시선 데이터를 캘리브레이션 하는 경우로 각각 나누어 동작할 수 있다.
캘리브레이션 모듈(140)의 캘리브레이션 대상이 뇌파와 유사한 데이터인 근전도(EMG)와 심전도(ECG)인 경우, 캘리브레이션 모듈(140)은 뇌, 골격근 또는 심장에서 발생하는 전기적 신호를 측정하여 생체 데이터를 취득한 후, 취득한 생체 데이터를 스트레스 표준 정보로 활용하여 추후 컨텐츠를 찾는 방법 및 감정을 분류하는 방법에 사용할 수 있다. 예컨대, 생체 데이터 중 뇌파는 주파수의 범위에 따라, 델타파(delta, δ),　쎄타파(theta, θ),　알파파(alpha, α), 베타파(beta, β), 감마파(gamma, g)로　구분될 수 있는데, 그 중에서도 알파파(α)는 긴장이완과 같은 편안한 상태에서 주로 나타나며,　베타파(β)는 긴장 또는 불안한 상태에서 주로 나타난다.
따라서, 수 초(second) 동안 사용자가 편안히 있는 상태에서 측정한 사용자 뇌파의 알파파(α)와 베타파(β)의 비율이 스트레스 표준 정보라고 할 때, 스트레스 측정 컨텐츠 단계/스트레스 분석 컨텐츠 단계 진행 시 측정된 알파파(α)와 베타파(β)의 비율이 스트레스 표준 정보보다 높은 경우 사용자가 VR 컨텐츠로부터 자극(스트레스)를 받은 것으로 판단할 수 있다.
또한, 캘리브레이션 모듈(140)의 캘리브레이션 대상이 시선 데이터인 경우, 캘리브레이션 모듈(140)은 VR 컨텐츠를 보는 사용자의 시선 데이터를 수집한 후, 수집한 시선 데이터를 스트레스 표준 정보로 활용하여 추후 사용자의 시선을 예측하는 방법에 사용할 수 있다. 예컨대, 검은 화면에 흰색 십자가를 몇 초 동안 응시하거나, 집중도를 향상시킬 수 있는 영상을 바라보는 사용자의 시선 데이터를 스트레스 표준 정보라고 할 때, 스트레스 측정 컨텐츠 단계/스트레스 분석 컨텐츠 단계 진행 시 측정된 시선 데이터를 분석하여 스트레스를 판단할 수도 있고, 시선 데이터를 예측할 수도 있다. 예측에 대한 구체적인 동작은 추후 설명하기로 한다.
한편, 경우에 따라서는 캘리브레이션 모듈(140)에 의한 캘리브레이션 동작이 후술할 학습 모듈(230)에 의해 생략될 수도 있다. 다시 말해, 본 발명은 캘리브레이션 모듈(140)의 스트레스 표준 정보에 기초하여 스트레스를 분석하는데, 학습 모듈(230)에 의한 학습만으로도 사용자의 스트레스를 분석할 수도 있기 때문에 캘리브레이션 단계가 생략될 수도 있다. 다시 말해, 학습 모듈(230)에 의해 반복적으로 사용자의 스트레스 지수에 대한 특징을 추출하고 그 특징에 따른 스트레스 지수를 레벨링 하면, 캘리브레이션 단계를 생략할 수도 있다.
스트레스 측정 컨텐츠 진행 방법
신호 처리 모듈(210)은 도 8b 와 도 8c에 도시된 바와 같이, 스트레스 표준 정보 또는 생체 신호 센서들로부터 센싱된 생체 데이터를 수신한 후 스트레스 측정 컨텐츠를 진행한다(S520). 여기서, 스트레스 측정 컨텐츠를 진행한다는 것은 스트레스 진단을 위해 사용자에게 VR 컨텐츠를 제공하고, 사용자가 VR 컨텐츠를 보는 동안의 생체 신호를 측정한 후 스트레스 가이딩 화면을 제공함으로써 사용자의 스트레스를 측정하는 것을 의미한다. 이때, 스트레스 가이딩 화면은 사용자의 스트레스를 진단할 수 있도록 HMD 기기(100)의 출력 모듈(150)을 통해 제공되는 설문 검사를 의미하는 것으로서, 적어도 하나의 질문과 해당 질문에 대한 복수의 답변 항목들을 포함할 수 있다. 즉, 스트레스 가이딩 화면은 스트레스를 측정한 이후에 스트레스의 심리적 요인 등을 분석하기 위해 사용자에게 제공되는 질의 응답용 설문지인 것으로 이해하는 것이 바람직하다.
사용자가 VR 컨텐츠를 보는 과정 혹은 스트레스 가이딩 화면에 질의응답을 하는 과정에서, 신호 처리 모듈(210)은 뇌파(EEG), 근전도(EMG), 심전도(ECG), 시선, 맥파(Photoplethysmography, PPG) 등의 생체 데이터를 측정할 수 있다. 여기서, 심전도(ECG)는 심박의 피크(peak)를 나타내는 R peak(혹은 QRS complex)의 간격인 심박변이도(HRV)를 활용하여 측정되므로, RR interval 값으로 심박변이도(HRV)를 확인할 수 있다. 또한, RR interval 사이의 저주파(Low Frequency) 영역과 고주파 영역(High Frequency) 또는 interval의 복잡도, 균일도 등은 자율 신경계의 균형 및 스트레스 범위를 의미한다.
보다 상세하게는, 자율 신경계가 심장 박동을 제어하는 과정 중에서 그 생체 신호가 RR interval로 표현되기 때문에 자율 신경계를 구성하는 교감/부교감 신경계의 활성 정도(스트레스 정도)가 변함에 따라 RR interval에도 변화가 생길 수 있다. 예컨대, 스트레스가 증가하면 RR interval의 변화가 줄어들어 규칙적인 양상을 보이는 반면, 스트레스가 완화되면 RR interval의 변화가 커져 불규칙한 양상을 보인다.
이에, 신호 처리 모듈(210)은 사용자가 VR 컨텐츠를 보는 동안 측정한 생체 데이터로부터 이러한 특징을 추출(S610)한 후, 추후 진단 모듈(220)이 추출한 특징을 기반으로 사용자의 스트레스 상태를 진단하는 지표로 활용할 수 있다. 여기서, 특징은 도 8b 및 도 8c에 도시된 바와 같이, 사용자의 스트레스 가이딩 화면에 표시되는 복수의 질문에 대한 질의 응답 과정을 통해 신호 처리 모듈(210)이 추출한 시선 반응, 뇌파 반응, 심전도 반응 등을 의미하며, 이들을 추출하는 방법은 추후 설명하기로 한다.
먼저, 신호 처리 모듈(210)은 도 8b와 같이, 기본 설문 검사를 수행하여 사용자가 스트레스 가이딩 화면을 리딩(reading)하는 리딩 패턴의 베이스 라인(baseline)을 검출할 수 있다. 즉, 스트레스 가이딩 화면을 통해 제공되는 본 설문 검사 전에 베이스 라인을 먼저 검출함으로써 도 8c와 같은 본 설문 검사에 대한 리딩 패턴을 분석하기 위한 기준을 제시할 수 있다. 이에, 도 8b와 같이 기본 설문 검사 단계에서는 간단하게 사실을 인지할 수 있는 질문이나, 정답이 없는 애매한 질문이나, 감정적으로 자극적인 질문들을 기본 설문 검사용 질문 등을 복합적으로 제공할 수 있다.
이하에서는, 시선 반응, 뇌파 반응, 심전도 반응, 심박수 변화 추이로부터 리딩 패턴을 검출하는 방법 구체적으로 설명하기로 한다.
시선 반응 검출
시선 반응은 시선 움직임에 사용되는 다양한 데이터들을 이용하여 추출된 시선 패턴에 기초하여 검출할 수 있다. 예컨대, 시선 움직임에 사용되는 데이터는 한 지점에서 잠시 시선이 머무르는 시선 고정(Fixation), 시선의 급격한 이동인 도약(Sacade), 시선의 경로인 주사 경로(Scan path) 및 세부적인 특징 탐지를 위해 특정 지점으로 시선이 다시 되돌아오는 재방문(Revisit)과 같은 데이터들로 정의될 수 있다.
한편, 사용자가 설문 검사에 대한 질의 응답 시, 얼마나 많은 시선 고정(Fixation) 데이터들이 형성되었는지는 해당 질문의 시지각 프로세스의 부하 정도를 의미할 수 있다.
또한, 사용자의 특정 답변 선택지(그렇다, 그렇지 않다, 예(Yes), 아니오(No) 등) 사이에서의 시선 고정(Fixation) 데이터의 복잡도 또는 시선 패턴의 변화도를 통하여 사용자가 이 질문에 대해서 얼마나 확신을 가지고 답변을 하였는지 확인할 수 있다.
또한, 사용자의 시선 고정(Fixation)과 도약(Sacade) 데이터를 분석하여 질문에 대한 사용자의 성실도를 측정할 수 있다. 예컨대, 사용자가 질문을 모두 읽었는지, 그리고 답변 항목을 모두 고민하고 답변하였는지 등을 측정할 수 있다.
뇌파 반응 검출
뇌파 반응은 뇌파 특정 영역의 전위(Potential)를 이용하여 추출된 뇌파 패턴에 기초하여 검출할 수 있다. 예컨대, 사용자에게 질문이 주어진 이후, 사용자의 뇌파에서 300ms 이내에 반응하는 뇌파 특정 영역의 전위 변화(p300)를 통해 사용자가 해당 질문에 얼마나 친숙한지 혹은 이때 감정상의 변화가 있었는지를 확인할 수 있다. 예컨대, 사용자에게 익숙하지 않은 사진과 익숙한 사진을 랜덤하게 배열하여 매우 짧은 시간동안 노출할 경우, 익숙한 사진을 봤을 때의 사건관련전위(event-related potential,　ERP) 자극이 더 크게 나타날 수 있다. 따라서, 본 발명은 이러한 랜덤 배열을 통해서 실제 ERP 자극의 패턴을 예측할 수 있고, 예측된 ERP 자극 패턴에 기초하여 동기화 시간으로 사용할 수 있다. 또한, 본 명세서에서 익숙한 사진은 사용자에게 반복적으로 노출되었던 사진들에 대한 태깅, 즉, 태깅할 수 있는 이미지일 수 있고, 실제로 사람들에게 실제 노출이 많았을 것으로 예측되는 이미지 예컨대, 윈도우 바탕화면 등일 수 있다. 여기서, 본 발명의 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템은 딥러닝을 위한 행렬연산모듈을 더 포함할 수 있고, 상기 행렬연산모듈에 기초하여 태깅함으로써 로컬에서 보다 효율적으로 연산을 수행할 수 있다.
다시 말해, 자극이 주어지는 시점의 시간(모바일 시간)과 ERP 자극이 나타나는 시간(뇌파 센서의 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다. 이와 관련된 구체적인 내용은 추후 설명하기로 한다.
또한, 사용자의 뇌파 반응 중 반응이 있는 질문과 반응이 없는 질문을 차별적으로 분석하여 사용자가 질문에 의해 받은 감정적 안정도를 측정할 수 있다. 예컨대, P300(사용자의 뇌파에서 300ms 이내에 반응하는 뇌파 특정 영역의 전위 변화)의 반응이 없었다면, 이는 이 문항에 대해 감정적, 무의식적 영향력이 없었다고 인식할 수 있다.
또한, 사용자가 지문을 읽을 때 발생한 뇌파에서 베타파(β)/감마파(g) 영역대의 뇌파 크기(power)가 베이스 라인(baseline) 질문들 중 기본 본 설문 검사를 읽을 때보다 지나치게 높을 경우에는 이 문항들에 대해서 인지적/감정적 스트레스가 발생했다고 분석될 수 있다.
심전도 반응 검출
심전도 반응은 사용자가 스트레스 가이딩 화면을 통해 설문 검사를 진행하는 동안 발생한 심전도 변화를 통해 검출될 수 있다. 이때, 심전도 반응은 다양한 심전도 변화 조건에 기초하여 부가적인 정보를 발생시킬 수 있다. 여기서, 심전도 변화 조건은 심박수 변화 추이, 심장 박동의 복잡도 변화, 심장 패턴의 이상 현상 등을 의미한다.
심전도 변화 조건이 심박수 변화 추이인 경우, 사용자가 기본 설문 검사 도중 본 설문 검사를 읽는 상태에 대비하여 심박수가 순간적으로 변화하는 구간을 통해 이 설문 문항에 대해서 사용자가 심정적으로 변화가 있었음을 인식할 수 있다.
또한, 심전도 변화 조건이 심장 박동의 복잡도 변화인 경우, 심장 박동의 복잡도의 변화가 스트레스 강도를 의미하는 것이므로 사용자의 복잡도가 특정 설문 문항에서 복잡해졌다는 것을 통해 사용자가 이 설문 문항에서 심정적, 인지적으로 스트레스를 받았다는 사실로 인식할 수 있다.
또한, 심전도 변화 조건이 심장 패턴의 이상 현상인 경우, 심박 세동 등 심장 패턴의 불특정한 이상 반응을 사용자 건강상의 치명적 문제인 것으로 인식할 수 있다. 이는 건강상 특정 질병(심장마비, 고혈압)등과 연결될 수 있으며, 추후 이와 관련된 질병에 대한 진단 및 스크리닝(혹은 선별 검사)으로 연결될 수 있다.
이때, 본 발명은 설문 검사의 분석 정확도을 높이기 위하여 정확도 향상 조건들을 선택적으로 적용할 수 있다. 여기서, 정확도 향상 조건은 답변 항목들의 순서 변화, 답변 항목의 위치 변화, 질문지의 순서 변화 등을 의미한다.
보다 상세하게는, 분석 정확도를 높이기 위해 답변 항목들의 순서를 변화한 경우, 그렇다, 그렇지 않다/예, 아니오 등의 답변 항목의 순서를 무작위적으로 바꿈으로서 사용자의 시선 패턴을 보다 정확하게 분석할 수 있다. 다시 말해, 답변 항목의 순서를 무작위적으로 바꾸는 이유는 사용자가 답변을 할 때 습관적으로 다음 항목의 질문과 답변 항목을 보는지에 대한 반응을 조사할 수 있으며, 사용자의 시선 패턴 등을 통하여 사용자의 시지각 정보처리 과정에서의 성실도 및 인지 부하 과정을 관찰하기에 용이해질 수 있다.
이 밖에도, 분석 정확도를 높이기 위해 답변 항목의 위치를 변화시켜 해당 항목에 대한 사용자의 응답이 일정한지 혹은 사용자가 성실히 항목의 질문을 읽는지 등을 파악할 수 있고, 질문지의 순서를 변화함으로써 분석 방법의 정확도를 향상시킬 수 있다.
스트레스 분석 컨텐츠 진행 방법
다음으로, 스트레스 측정 컨텐츠를 진행 결과에 따라 스트레스 분석 결과 컨텐츠를 진행한다(S530). 여기서, 스트레스 분석 결과 컨텐츠를 진행한다는 것은 추출한 특징으로부터 다양한 방법으로 스트레스를 분석하는 것을 의미한다. 본 발명에서 스트레스 분석 결과 컨텐츠를 진행하는 방법은 크게 세가지로 나눌 수 있다.
먼저, 신호 처리 모듈(210)이 생체 데이터로부터 특징을 추출한 후, 진단 모듈(220)은 추출된 특징을 스트레스 레벨로 치환한다(S620). 다시 말해, 진단 모듈(220)은 사용자의 설문 검사 과정 중 추출된 특징을 스트레스 레벨로 치환함으로써 사용자의 스트레스를 진단할 수 있다.
이때, 스트레스 레벨은 하기의 수학식 1을 이용하여 산출할 수 있다.
[수학식 1]
Figure pat00002
여기서, W는 각 센서의 가중치를 나타내며, 개별 사용자(피험자)의 실험 데이터에 의해 결정된다.
이때, 가중치(W)는 개별 센서 방식(modality)로 측정된 정확도로 선택할 수도 있다. 다시 말해, 심전도(ECG)의 정확도가 80%, 뇌파(EEG)의 정확도가 70%, 시선(Eye) 데이터의 정확도가 50 %이면, 해당 수치를 노멀라이즈(normalize)하여 가중치(W)를 0.4, 0.35, 0.25로 설정할 수 있습니다. 다만, 실험 데이터가 많을 경우 가중치(W)를 학습 모듈(230)을 통한 학습에 의해서 결정할 수도 있습니다. 즉, 설문자의 응답으로부터 사용자의 스트레스 레벨을 이미 알고 있는 경우라면, 간단한 선형 회귀(linear regression) 방법을 통해서도 이를 결정할 수 있습니다.
일반적인 스트레스 레벨 측정 시스템은 뇌파(eeg)센서, 심전도(ecg) 센서, 시선 센서(eye)는 측정 센서가 서로 다르기 때문에 각 센서로부터 서로 다른 특징을 추출하거나, 딥 러닝(Deep Learning)을 활용해 특징을 학습하여 추출할 수도 있다. 이때, 일반적인 스트레스 레벨 측정 시스템은 어떤 방법이건 간에 센서로　부터 획득한 Raw 데이터에서는 다양한 특징 추출이 가능한데 이 특징들을 모두 활용한다.
이에 반해, 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 시스템은 스트레스 레벨에 대해 명확히 알려진 정보 이외에 서로 다른 매우 다양한 특징을 추출하고, 학습을 통해 스트레스 레벨을 가장 잘 확인할 수 있는 가중치를 선택하는 것이 기존의 기술과 상이한 점입니다. 따라서, 본 발명의 경우 학습되는 데이터의 특징 차원이 매우 커지므로 학습이 어려워질 수 있어서 매우 정교한 학습 모델 (Machine learning, Deep learning 모델)이 필요하다.
여기서, 본 발명은 RNN(Recurrent Neural Network) 또는 LSTM(Long Short Term Memory)을 이용하여 학습하여 스트레스 레벨과 가장 연관성이 높은 특징을 선별한 후 스트레스를 예측하는 모델을 설계하고, 상기 학습 모델을 기초로 스트레스를 지수를 산출할 수도 있다.
또한, 진단 모듈(220)은 캘리브레이션 모듈(140)에 의해 생성된 스트레스 표준 정보 대비 스트레스 측정 정보의 변화도를 비교하여 스트레스를 예측할 수도 있다. 여기서, 스트레스 측정 정보는 캘리브레이션 단계 진행 후, VR컨텐츠 및 스트레스 가이딩 화면을 본 사용자로부터 측정한 스트레스 지수, 집중도, 성실도 등을 포함하는 정보를 의미한다.
스트레스 완화 컨텐츠 진행 방법
이후, 스트레스 분석 결과가 기설정된 스트레스 레벨보다 현저히 높을 경우, 스트레스 분석 결과에 따른 완화 컨텐츠를 진행한다(S540). 보다 상세하게는, 출력 모듈(260)이 스트레스 분석 결과에 따른 다양한 정보를 포함한 컨텐츠를 결과 화면으로 출력할 수 있다(S630). 예컨대, 완화 컨텐츠는 사용자의 스트레스 지수를 낮추기 위해 제공하는 컨텐츠로서, 소리, 이미지, 또는 영상을 포함할 수 있다.
또한, 완화 컨텐츠는 사용자 별로 혹은 사용자의 스트레스 레벨별로 서로 상이하게 출력될 수 있다.
제어 모듈(250)은 신호 처리 모듈(210), 진단 모듈(220), 학습 모듈(230) 및 출력 모듈(260)을 제어할 수 있다.
일련의 신호들에 대한 시간 동기화 방법
또한, HMD 기기(100)가 센싱하는 다양한 생체 신호인 뇌파, 시선, 심전도, 안전도, 근전도 등의 신호를 분석하기 위해서는 최소 300ms 또는 그 이하의 매우 짧은 시간 동안 사용자의 뇌파, 시선, 심전도, 안전도, 근전도 등의 변화를 측정한다. 이 경우, 스트레스 가이딩 화면을 표시하는 HMD 기기(100)의 클럭 시간과 사용자의 생체 정보를 획득하는 생체 센서의 클럭 시간이 서로 다르거나, 생체 센서의 클럭 시간과 생체 정보를 분석하는 프로세서의 클럭 시간이 서로 다를 수 있다.
이에, 스트레스 분석 및 개인 정신건강 관리 시스템은 사용자의 영상 시청에 따른 생체 정보의 변화를 올바르게 분석할 수 있도록 적어도 둘 이상의 동기화 센싱 신호들을 이용하여 일련의 신호들에 대한 시간 동기화(Time Synchronizing)를 수행할 수 있다.
구체적으로, 본 발명의 멘탈 케어 서버(200)는 제1 생체 신호 센서로부터 수신한 제1 센싱 신호(뇌파 센싱 신호)에 관련된 제1 동기화 센싱 신호를 수신하고, 제2 생체 신호 센서로부터 수신한 제2 센싱 신호(심전도 센싱 신호)에 관련된 제2 동기화 센싱 신호를 수신한다. 후술하겠지만, 본 명세서에서 이벤트 트리거 신호는 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호에 기초하여 발현되는 것으로 이해되는 것이 바람직하다.
여기서, 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호는 각각 적어도 둘 이상의 일련의 신호들에 관련될 수 있다. 예컨대, 일련의 신호는 뇌파 센싱 신호, 심전도 센싱 신호, 가상 현실 영상 또는 영상 신호 또는 시스템 내 다양한 신호들 중 적어도 하나를 포함할 수 있다.
또한, 제1 생체 신호 센서 및 제2 생체 신호 센서는 사용자의 움직임 정보를 나타내는 동기화 센싱 신호를 출력하는 움직임 센서, 주변 밝기 정보를 나타내는 동기화 센싱 신호를 출력하는 조도 센서, 기 설정된 광량의 광 정보를 나타내는 동기화 센싱 신호를 출력하는 광학 센서 및 기 설정된 음성 정보를 나타내는 동기화 센싱 신호를 출력하는 음파 센서 중 적어도 하나일 수도 있다.
또한, 멘탈 케어 서버(200)는 이벤트 트리거 신호로부터 유발되고 제1 생체 신호 센서로부터 수신한 제1 동기화 센싱 신호를 수신하고, 이벤트 트리거 신호로부터 유발되고 제2 생체 신호 센서로부터 수신한 제2 동기화 센싱 신호를 수신하고, 이벤트 트리거 신호가 출현한 시간에 기초하여 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호의 시간차 정보를 산출하고 시간차 정보에 기초하여 제1 생체 신호 센서 및 제2 생체 신호 센서를 동기화할 수 있다. 예컨대, 이벤트 트리거 신호는 사용자에게 자극이 주어질 때 발생하는 신호로서, 사용자에게 익숙한 사진/안익숙한 사진이 랜덤하게 노출되거나, 고음역대의 짧은 소리(Beep)를 청각 자극이 주어질 때 발생하는 신호로 이해되는 것이 바람직하다.
다시 말해, 이벤트 트리거 신호는 익숙한 사진 및 익숙하지 않은 사진을 랜덤하게 배열하여 HMD 기기(100)의 디스플레이에 표시될 수 있고, 일반적인 자극의 범위가 최대 500 ~ 10,000hz 정도라고 할 때, 대략 10 ~ 90db 범위를 갖는 고음역대 비프음(Beep)일 수 있고, 깜박이는 화면을 HMD 기기(100)의 디스플레이에 표시될 수 있다.
이하에서는, 이벤트 트리거 신호가 검출되는 경우를 두 가지 경우로 나누어 설명을 하기로 한다.
먼저, 본 발명은 시각적 자극에 의한 뇌파 센싱 신호를 검출하는 경우, 이벤트 트리거 신호를 발현시킨 시간(실제로 자극이 주어지는 시간)과 ERP 자극이 나타나는 시간(뇌파 센서의 시간 즉, 사건관련전위가 측정된 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다.
본 발명은 이벤트 트리거 신호가 출현한 다음에 일정 시간 이내에서 이벤트 트리거 신호를 발현시킨 시간과 ERP 자극(제1 동기화 신호 또는 제2 동기화 신호)이 나타나는 시간을 각각 측정한다. 이후, 측정된 두 신호가 서로 상이한 경우 상기 두 시간에 대한 차이가 동일해지도록 시간을 보정할 수 있다. 예컨대, 사용자에게 익숙한 사진과 익숙하지 않은 사진을 랜덤하게 노출시킴으로써 익숙한 사진을 볼 때의 사건관련전위(ERP)는 각각 상이하므로 익숙한 사진과 익숙하지 않은 사진에 대한 사건관련전위에 대응하는 시간차를 각각 측정함으로써 시간을 보정할 수 있다. 다만, 익숙하지 않은 사진과 익숙한 사진을 봤을 때의 사건관련전위가 일정레벨이상 차이가 나야 하는데 차이가 나지 않을 경우가 발생할 수 있다. 따라서, 이러한 경우에는 익숙한 사진과 익숙하지 않은 사진의 랜덤 배열을 재혼합시킴으로써 측정의 정확도를 높일 수 있다.
또한, 본 발명은 사용자에게 익숙한 사진과 익숙하지 않은 사진을 랜덤하게 노출시킴으로써 예측된 ERP 자극 패턴에 기초하여 시간을 보정할 수도 있다.
일반적으로, 화면에 특정 주파수 영역의 시각 자극을 사용자에게 노출하게 되면 사용자의 뇌파는 해당 주파수에 맞춰 동기화하는 현상이 나타난다. 즉, 사용자의 뇌파는 해당 주파수에 맞춰 동기화가 될 수 있다. 이에 따라, 화면의 임의의 부분을 예컨대, 60Hz로 깜박이는 화면을 표시할 때(사용자가 인지하지 못하는 수준) 해당 영역을 사용자가 바라보는 것으로 가정할 경우, 본 발명의 시스템 상에서는 사용자가 그 영역을 보는지 확인할 수 있고, 이때의 뇌파 동기화 시점(뇌파 센서의 시간)과 컨텐츠가 재생되는 시점의 시간(모바일 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다.
또한, 본 발명은 오디오 자극에 의한 뇌파 센싱 신호를 검출하는 경우, 고음역대의 짧은 소리(Beep)를 청각 자극으로 주었을 경우 해당 자극에 대한 뇌파 반응이 즉각적으로 나타나는 것을 활용해 시간 동기화를 할 수 있다. 다만, 시간 동기화는 정확하게 일치시켜 놓았다고 하더라도 내부 센서 시스템간 동기화의 경우는 시간에 따른 오차가 거의 발생하지 않지만, 컨텐츠가 재생되는 모바일 또는 제3의 장비간 동기화의 경우는 네트워크 상태에 따라 지연 오차가 발생할 수도 있다. 이에, 본 발명은 컨텐츠 중간중간에 임의로 신호 검출 방법을 노출시킴으로써 시간 동기화 오차를 확인하고, 시간 보정을 수행할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 HDM 기기(900)는 두 개의 동기화 센서들을 이용하여 일련의 신호들에 대한 시간 동기화를 수행함으로써 시스템 내의 구성 요소들 사이의 시간 오차 또는 서로 다른 시스템들 사이의 시간 오차를 보정하여 측정의 정확도를 향상시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
스트레스 분석 및 개인 정신건강 관리 시스템의 HMD 기기 구성
도 1은 본 발명의 일 실시예에 따른 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템의 전체적인 개략도이다. 도 2는 본 발명의 일 실시예에 따른 HMD 기기를 설명하기 위한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 멘탈 케어 서버를 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 심전도를 설명하기 위한 예시 그래프이다. 도 5는 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 방법의 전체적인 순서도이다. 도 6은 본 발명의 일 실시예에 따른 멘탈 케어 서버의 분석 컨텐츠 진행 방법에 대한 순서도이다. 도 7은 본 발명의 일 실시예에 따른 HMD 기기에 부착된 복수의 생체 신호 센서를 설명하기 위한 도면이다. 도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 스트레스 가이딩 화면을 설명하기 위한 예시도이다.
도 1을 참조하면, 스트레스 분석 및 개인 정신건강 관리 시스템은 HMD 기기(100), 생체 신호 센서 및 멘탈 케어 서버(200)를 포함한다.
HMD 기기(100)는 사용자가 착용 가능한 다양한 형태의 웨어러블(Wearable) 기기로서, 생체 신호 센서를 포함하며, 이를 통해 사용자의 생체 신호를 센싱할 수 있다. 여기서, 생체 신호는 사용자의 뇌파, 시선, 동공의 움직임, 심박수, 혈압 등 사용자의 신체로부터 발생하는 다양한 신호를 의미할 수 있다.
본 발명에서 HMD 기기(100)는 헤드 마운드 디스플레이(Head Mounted Display, HMD)로서 머리에 장착해 사용자에게 직간접적으로 영상을 제시할 수 있다.
예컨대, HMD 기기(100)는 오큘러스® VR(Virtual Reality)과 같이 자체적으로 디스플레이 유닛을 포함하는 가상현실을 지원하는 형태의 기기일 수 있고, HMD 마운트에 디스플레이 유닛을 장착해서 사용하는 기어® VR과 유사한 형태의 기기일 수도 있다. 또는 구글 글래스®(Google Glass) 또는 마이크로소프트사의 홀로렌즈®(Microsoft HoloLens) 형태의 AR(Augmented Reality)을 지원하는 기기일 수도 있다. 또는 Windows MR(Mixed Reality) 이나 오디세이 플러스 MR 등의 혼합 현실을 지원하는 기기일 수도 있다.
도 2에 도시된 바와 같이, HMD 기기(100)는 뇌파 센서(EEG)로부터 뇌파를 측정하는 뇌파 센싱 모듈(110), 시선 센서로부터 동공의 움직임을 측정하는 시선 센싱 모듈(120), 심전도 센서(ECG)로부터 심전도를 측정하는 심전도 센싱 모듈(130), 캘리브레이션 모듈(140) 및 출력 모듈(150)을 포함할 수 있다. 한편, 본 발명에서 뇌파 센서, 시선 센서, 심전도 센서는 사용자의 생체 신호를 측정할 수 있도록 신체 부위와 접촉이 용이하게 이루어질 수만 있다면, HMD 기기(100)에만 한정되는 것이 아니라 어떠한 형태의 웨어러블 기기여도 무방하다. 예컨대, 헤드셋, 스마트 워치(Smart watch), 이어폰, 모바일 기기 등일 수 있다.
도 7에 도시된 바와 같이, 생체 신호 센서는 HMD 기기(100)에 부착되며, 심전도 센서(101), 뇌파 센서(102) 및 시선 센서(103)를 포함한다.
뇌파 센싱 모듈(110)은 HMD 기기(100)를 착용한 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 모듈(110)은 적어도 하나의 EEG(Electroencephalogram) 센서를 포함할 수 있다. 뇌파 센싱 모듈(110)은 사용자가 HMD 기기를 착용하면 HMD 기기(100)에 부착된 EEG 센서가 사용자의 뇌파가 측정될 수 있는 신체 부위 예컨대, 머리 또는 이마에 접촉되어 사용자의 뇌파를 측정할 수 있다. 뇌파 센싱 모듈(110)은 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 또는 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정할 수 있다.
단, 뇌파는 생체 신호이기 때문에 사용자마다 또는 동일 사용자라 하더라도 주변 상황이나 사용자 내부의 신체 상황에 따라 차이가 발생할 수 있다. 따라서, 동일한 인지 상태에서도 사용자별/사용자의 상태별로 서로 다른 패턴의 뇌파가 추출될 수 있다. 따라서, 단순히 사용자의 뇌파를 추출하고 이를 일정한 데이터와 맵핑하여 분석하면 사용자의 현재 스트레스 상태를 파악하고 구별하는데 정확도가 떨어질 수 있다. 따라서, 본 발명은 뇌파를 기초로 사용자의 인지 상태를 정확하게 측정하기 위해, 사용자별로 뇌파의 캘리브레이션(Calibration) 방법을 수행한다. 뇌파 센싱 모듈(110)에 대한 보다 구체적인 동작은 추후 설명하기로 한다.
단, 뇌파 또는 심전도 등의 생체 신호의 경우, 사용자별로는 패턴(특징)과 레벨이 모두 달라질 수 있다. 예를 들어 A 사용자의 경우 추출된 특징 1에서 스트레스와 가장 상관성이 높았고 그 레벨이 1~10 범위로 변화한다고 할 수 있지만 B 사용자의 경우 추출된 특징2 또는 3에서 스트레스와 가장 상관성이 높을 수 있고 특징 1과 특징 2가 같은 범위의 스케일을 가지지 않을 수 있기 때문에 이는 각 특징별로 상이하게 레벨이 달라질 수 있습니다.
또한, 사용자의 상태별로도 레벨의 범위가 달라질 수 있는데, 주로 특징은 동일한데 레벨의 범위가 달라지는 경우가 대부분입니다. 즉, 사용자 A의 경우 특징 1이 해당 사용자의 스트레스 정도를 가장 잘 반영한다고 확인이 되면, 사용자의 상태에 따라 어느 경우에는 1~5 범위로 스트레스 측정이 되지만 어느 경우에는 15~20 레벨로 스트레스 측정이 될 수 있습니다.
따라서, 본 발명에 따르면, 캘리브레이션 및 노멀라이즈를 수행하여 사용자별, 사용자의 상태별로 스트레스 레벨의 차이가 발생할 수 있는 문제점을 해결하고 있다. 캘리브레이션 및 노멀라이즈의 상세한 내용은 후술하도록 한다.
심전도 센싱 모듈(130)은 심박변이도(Heart Rate Variability, HRV)를 활용하여 심전도(Electrocardiogram, ECG)를 측정할 수 있다. 여기서, 심전도(ECG)는 심장 박동이 이루어지는 순차적인 전기적 신호를 그래프로 표현한 것으로서, 도 4에 도시된 바와 같이, 심전도 상에는 세가지의 파장이 형성되며 P, Q, R, S, T의 주요 특징점을 포함한다. 이때, P는 심방 수축, QRS는 심실 수축을 유발하는 전기활동을 의미하며, T는 심실이 탈분극한 뒤 재분극할 때의 파형을 의미한다.
또한, 심박변이도(HRV)는 심박의 피크(peak)인 R peak(혹은 QRS complex)의 간격이 어떻게 변화하는지를 나타내는 지표를 의미한다. 즉, 심박변이도는 RR interval 혹은 Normal beat 간의 NN interval 값으로 확인할 수 있다. 이에 대한 구체적인 내용은 추후 설명하기로 한다.
또한, 심전도 센싱 모듈(130)은 도 1에 도시된 바와 같이, 뇌파가 있는 이마 중심에서 HMD 기기(100)에 포함될 수도 있으며, 경우에 따라서는 흉부 근처에 부착될 수 있고, 경우에 따라서는 손목에 부착될 수도 있다.
일반적으로, 심전도를 활용한 스트레스 측정 장치는 흉부 근처에 부착된 측정 전극에서부터 측정 전극 내에서 기준이 되는 기준 전극 사이의 전위차를 측정함으로써 심전도를 측정하였으며, QRS 그래프 상에서는 RR interval 값의 변이 정도를 활용하였다. 보다 상세하게는, 자율 신경계가 심장 박동을 제어하는 과정 중에서 그 생체 신호가 RR interval 로 표현되기 때문에 자율 신경계를 구성하는 교감/부교감 신경계의 활성 정도(스트레스 정도)가 변함에 따라 RR interval의 변화가 커져 불규칙한 양상을 보일 수 있다. 이러한 특징을 스트레스 상태를 반영하는 지표로 활용할 수 있다.
이에 반해, 본 발명의 심전도 센싱 모듈(130)은 뇌파가 있는 이마 중심에 부착된 기준 전극(REF 전극)과 VR 컨트롤러인 리모컨 뒤에 부착되어 심전도(ECG)를 측정하는 측정 전극 사이, 즉, 사용자가 손으로 측정 전극을 잡았을 때, 머리와 손에 나타나는 전위차를 측정함으로써 심전도 데이터를 측정할 수 있다. 따라서, 본 발명의 심전도 센싱 방법은 기존의 심전도 센싱 방법과 측정 원리는 동일하나, 분석 방식이 상이한 것을 알 수 있다. 심전도 센싱 모듈(130)에 대한 보다 구체적인 동작은 추후 설명하기로 한다.
시선 센싱 모듈(120)은 시선 센서를 이용하여 사용자의 시선을 추적할 수 있다. 시선 센싱 모듈(120)은 사용자의 시선(동공의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위, 특히 눈 아랫쪽에 위치하도록 HMD 기기(100)에 구비될 수 있다.
시선 센싱 모듈(120)은 빛을 발광하는 발광 소자 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서이다. 보다 상세하게는, 시선 센싱 모듈(120)은 사용자의 눈으로부터 반사된 빛을 카메라 센서로 촬영하고, 촬영된 이미지를 프로세서로 전송할 수 있다.
캘리브레이션(Calibration) 모듈은 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130) 및 시선 센싱 모듈(120)을 이용하여 이후에 획득될 데이터 분석에 필요한 기준을 제시하기 위해 생체 데이터를 보정할 수 있다. 보다 상세하게는, 캘리브레이션 모듈(140)은 사용자가 일정 시간(예컨대, 수 초(second) 또는 수 분(minute)) 동안 편안히 있는 상태에서 생체 데이터를 취득할 수 있다. 예를 들어, 사용자가 HMD 기기(100)를 착용한 상태에서 HMD 기기(100)의 출력 모듈(150)을 통해 출력되는 소리 또는 이미지 또는 영상을 기반으로 생체 데이터 보정을 수행할 수 있다. 캘리브레이션 모듈(140)에 대한 구체적인 동작은 추후 설명하기로 한다.
출력 모듈(150)은 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130), 시선 센싱 모듈(120)으로부터 센싱된 생체 데이터에 대한 결과 정보를 소리, 이미지 또는 영상으로 출력할 수 있다. 보다 상세하게, 출력 모듈(150)은 HMD 기기(100)의 자체적인 화면 또는 HMD 기기(100)에 탈부착되는 디스플레이 유닛에서 출력될 수 있는 텍스트, 동영상, 정지 영상, 파노라마 화면, VR 이미지, AR(Augment Reality) 이미지, 스피커, 헤드셋 또는 이들을 포함하는 기타 다양한 시청각적 정보를 출력할 수 있다.
상술한 바와 같이, 본 발명은 HMD 기기에 센서만 부착함으로써 고가의 의료기기를 사용하지 않아도 사용자의 뇌파, 심전도, 근전도, 시선 등을 동시에 측정할 수 있어 비용 부담을 절감할 수 있다.
또한, HMD 기기(100)의 상측, 즉 사용자의 이마 부근에 생체 신호 센서들을 부착함으로써 센서의 오차 발생을 줄일 수도 있고, 일반적으로 사용하는 HMD 기기에도 센서만 부착하면 생체 데이터를 측정할 수 있으므로 설치로 인한 어려움도 줄일 수 있다.
멘탈 케어 서버 구성
도 3을 참조하면, 멘탈 케어 서버(200)는 통신 모듈(240), 신호 처리 모듈(210), 진단 모듈(220), 학습 모듈(230), 제어 모듈(250) 및 출력 모듈(260)을 포함할 수 있다. HMD 기기(100)로부터 센싱된 생체 신호를 수신하여 사용자의 뇌파 반응, 심전도 반응 및 시선 반응을 분석할 수 있다.
통신 모듈(240)은 HMD 기기(100)의 뇌파 센싱 모듈(110), 시선 센싱 모듈(120) 및 심전도 센싱 모듈(130)으로부터 수신된 생체 신호를 신호 처리 모듈(210)로 전달할 수 있으며, 시선 센싱 모듈(120) 및 심전도 센싱 모듈(130)의 물리적인 위치에 따라 SPI, I2C, UART 등의 시리얼 통신일 수도 있고, WiFi,　Bluetooth　등의　무선　통신일　수도　있다.
통신 모듈(240)을 통해 수신한 생체 신호에 기초한 스트레스 분석 및 개인 정신건강 관리 방법은 도5에 도시한 바와 같다.
수신한 생체 신호에 기초한 캘리브레이션 방법
멘탈 케어 서버(200)는 뇌파 센싱 모듈(110), 심전도 센싱 모듈(130) 및 시선 센싱 모듈(120)으로부터 센싱한 생체 신호를 캘리브레이션 한다(S510).
캘리브레이션 모듈(140)은 도 8a에 도시된 바와 같이, 통신 모듈(240)을 통해 수신한 뇌파, 심전도, 근전도, 시선 등을 포함하는 생체 신호를 필요에 따라 보정하는 모듈로서, 스트레스 레벨 또는 집중도에 관한 정보를 포함하는 스트레스 표준 정보를 생성하는 역할을 수행한다. 여기서, 스트레스 표준 정보를 생성한다는 것은 센싱된 생체 신호에 기초하여 진단 모듈(220) 또는 학습 모듈(230)을 통해 획득될 결과 데이터 분석에 필요한 기준을 생성하는 것을 의미한다. 즉, 스트레스 표준 정보는 사용자가 스트레스를 측정하고 분석하기 전, 사용자의 스트레스 초기 지수(또는 값)를 의미할 수도 있고, 사용자의 특정 감정에 대한 기준값인 것을 의미할 수도 있다. 예컨대, 사용자가 사용자가 스트레스를 측정하고 분석하기 전, '눈을 감고 1분간 휴식'하는 단계가 진행된다고 하면 이 상태의 데이터에서 추출된 특징들을 휴식 상태(resting state)로 정의하고, 이후에 측정 컨텐츠 혹은 분석 컨텐츠를 진행하는 과정에서 획득된 생체 데이터의 특징이 휴식 상태(resting state)와 얼마나 다른지 혹은 유사한지의 비교를 통해 특정 감정에 대한 정보를 유추할 수 있다.
다시 말해, 멘탈 케어 서버(200)는 캘리브레이션 모듈(140)에 의해 생성된 스트레스 표준 정보를 기준으로 VR 컨텐츠를 보는 사용자의 스트레스 레벨 또는 집중도의 변화를 분석함으로써 사용자의 특정 감정에 대한 정보를 유추할 수 있도록 기준을 제시하는 모듈이다. 여기서, VR 컨텐츠는 사용자들의 스트레스 레벨 또는 집중도를 측정하고 분석하기 위해 HMD 기기(100)의 출력 모듈(150)을 통해 사용자에게 이미지, 영상 또는 소리 형태로 출력되는 컨텐츠를 의미하며, 사용자의 스트레스 레벨 또는 집중도에 따라 서로 상이하게 제공될 수도 있다.
또한, 캘리브레이션 모듈(140)은 뇌파와 유사한 데이터인 근전도(EMG) 및 심전도(ECG)를 캘리브레이션 하는 경우와 시선 데이터를 캘리브레이션 하는 경우로 각각 나누어 동작할 수 있다.
캘리브레이션 모듈(140)의 캘리브레이션 대상이 뇌파와 유사한 데이터인 근전도(EMG)와 심전도(ECG)인 경우, 캘리브레이션 모듈(140)은 뇌, 골격근 또는 심장에서 발생하는 전기적 신호를 측정하여 생체 데이터를 취득한 후, 취득한 생체 데이터를 스트레스 표준 정보로 활용하여 추후 컨텐츠를 찾는 방법 및 감정을 분류하는 방법에 사용할 수 있다. 예컨대, 생체 데이터 중 뇌파는 주파수의 범위에 따라, 델타파(delta, δ),　쎄타파(theta, θ),　알파파(alpha, α), 베타파(beta, β), 감마파(gamma, g)로　구분될 수 있는데, 그 중에서도 알파파(α)는 긴장이완과 같은 편안한 상태에서 주로 나타나며,　베타파(β)는 긴장 또는 불안한 상태에서 주로 나타난다.
따라서, 수 초(second) 동안 사용자가 편안히 있는 상태에서 측정한 사용자 뇌파의 알파파(α)와 베타파(β)의 비율이 스트레스 표준 정보라고 할 때, 스트레스 측정 컨텐츠 단계/스트레스 분석 컨텐츠 단계 진행 시 측정된 알파파(α)와 베타파(β)의 비율이 스트레스 표준 정보보다 높은 경우 사용자가 VR 컨텐츠로부터 자극(스트레스)를 받은 것으로 판단할 수 있다.
또한, 캘리브레이션 모듈(140)의 캘리브레이션 대상이 시선 데이터인 경우, 캘리브레이션 모듈(140)은 VR 컨텐츠를 보는 사용자의 시선 데이터를 수집한 후, 수집한 시선 데이터를 스트레스 표준 정보로 활용하여 추후 사용자의 시선을 예측하는 방법에 사용할 수 있다. 예컨대, 검은 화면에 흰색 십자가를 몇 초 동안 응시하거나, 집중도를 향상시킬 수 있는 영상을 바라보는 사용자의 시선 데이터를 스트레스 표준 정보라고 할 때, 스트레스 측정 컨텐츠 단계/스트레스 분석 컨텐츠 단계 진행 시 측정된 시선 데이터를 분석하여 스트레스를 판단할 수도 있고, 시선 데이터를 예측할 수도 있다. 예측에 대한 구체적인 동작은 추후 설명하기로 한다.
한편, 경우에 따라서는 캘리브레이션 모듈(140)에 의한 캘리브레이션 동작이 후술할 학습 모듈(230)에 의해 생략될 수도 있다. 다시 말해, 본 발명은 캘리브레이션 모듈(140)의 스트레스 표준 정보에 기초하여 스트레스를 분석하는데, 학습 모듈(230)에 의한 학습만으로도 사용자의 스트레스를 분석할 수도 있기 때문에 캘리브레이션 단계가 생략될 수도 있다. 다시 말해, 학습 모듈(230)에 의해 반복적으로 사용자의 스트레스 지수에 대한 특징을 추출하고 그 특징에 따른 스트레스 지수를 레벨링 하면, 캘리브레이션 단계를 생략할 수도 있다.
스트레스 측정 컨텐츠 진행 방법
신호 처리 모듈(210)은 도 8b 와 도 8c에 도시된 바와 같이, 스트레스 표준 정보 또는 생체 신호 센서들로부터 센싱된 생체 데이터를 수신한 후 스트레스 측정 컨텐츠를 진행한다(S520). 여기서, 스트레스 측정 컨텐츠를 진행한다는 것은 스트레스 진단을 위해 사용자에게 VR 컨텐츠를 제공하고, 사용자가 VR 컨텐츠를 보는 동안의 생체 신호를 측정한 후 스트레스 가이딩 화면을 제공함으로써 사용자의 스트레스를 측정하는 것을 의미한다. 이때, 스트레스 가이딩 화면은 사용자의 스트레스를 진단할 수 있도록 HMD 기기(100)의 출력 모듈(150)을 통해 제공되는 설문 검사를 의미하는 것으로서, 적어도 하나의 질문과 해당 질문에 대한 복수의 답변 항목들을 포함할 수 있다. 즉, 스트레스 가이딩 화면은 스트레스를 측정한 이후에 스트레스의 심리적 요인 등을 분석하기 위해 사용자에게 제공되는 질의 응답용 설문지인 것으로 이해하는 것이 바람직하다.
사용자가 VR 컨텐츠를 보는 과정 혹은 스트레스 가이딩 화면에 질의응답을 하는 과정에서, 신호 처리 모듈(210)은 뇌파(EEG), 근전도(EMG), 심전도(ECG), 시선, 맥파(Photoplethysmography, PPG) 등의 생체 데이터를 측정할 수 있다. 여기서, 심전도(ECG)는 심박의 피크(peak)를 나타내는 R peak(혹은 QRS complex)의 간격인 심박변이도(HRV)를 활용하여 측정되므로, RR interval 값으로 심박변이도(HRV)를 확인할 수 있다. 또한, RR interval 사이의 저주파(Low Frequency) 영역과 고주파 영역(High Frequency) 또는 interval의 복잡도, 균일도 등은 자율 신경계의 균형 및 스트레스 범위를 의미한다.
보다 상세하게는, 자율 신경계가 심장 박동을 제어하는 과정 중에서 그 생체 신호가 RR interval로 표현되기 때문에 자율 신경계를 구성하는 교감/부교감 신경계의 활성 정도(스트레스 정도)가 변함에 따라 RR interval에도 변화가 생길 수 있다. 예컨대, 스트레스가 증가하면 RR interval의 변화가 줄어들어 규칙적인 양상을 보이는 반면, 스트레스가 완화되면 RR interval의 변화가 커져 불규칙한 양상을 보인다.
이에, 신호 처리 모듈(210)은 사용자가 VR 컨텐츠를 보는 동안 측정한 생체 데이터로부터 이러한 특징을 추출(S610)한 후, 추후 진단 모듈(220)이 추출한 특징을 기반으로 사용자의 스트레스 상태를 진단하는 지표로 활용할 수 있다. 여기서, 특징은 도 8b 및 도 8c에 도시된 바와 같이, 사용자의 스트레스 가이딩 화면에 표시되는 복수의 질문에 대한 질의 응답 과정을 통해 신호 처리 모듈(210)이 추출한 시선 반응, 뇌파 반응, 심전도 반응 등을 의미하며, 이들을 추출하는 방법은 추후 설명하기로 한다.
먼저, 신호 처리 모듈(210)은 도 8b와 같이, 기본 설문 검사를 수행하여 사용자가 스트레스 가이딩 화면을 리딩(reading)하는 리딩 패턴의 베이스 라인(baseline)을 검출할 수 있다. 즉, 스트레스 가이딩 화면을 통해 제공되는 본 설문 검사 전에 베이스 라인을 먼저 검출함으로써 도 8c와 같은 본 설문 검사에 대한 리딩 패턴을 분석하기 위한 기준을 제시할 수 있다. 이에, 도 8b와 같이 기본 설문 검사 단계에서는 간단하게 사실을 인지할 수 있는 질문이나, 정답이 없는 애매한 질문이나, 감정적으로 자극적인 질문들을 기본 설문 검사용 질문 등을 복합적으로 제공할 수 있다.
이하에서는, 시선 반응, 뇌파 반응, 심전도 반응, 심박수 변화 추이로부터 리딩 패턴을 검출하는 방법 구체적으로 설명하기로 한다.
시선 반응 검출
시선 반응은 시선 움직임에 사용되는 다양한 데이터들을 이용하여 추출된 시선 패턴에 기초하여 검출할 수 있다. 예컨대, 시선 움직임에 사용되는 데이터는 한 지점에서 잠시 시선이 머무르는 시선 고정(Fixation), 시선의 급격한 이동인 도약(Sacade), 시선의 경로인 주사 경로(Scan path) 및 세부적인 특징 탐지를 위해 특정 지점으로 시선이 다시 되돌아오는 재방문(Revisit)과 같은 데이터들로 정의될 수 있다.
한편, 사용자가 설문 검사에 대한 질의 응답 시, 얼마나 많은 시선 고정(Fixation) 데이터들이 형성되었는지는 해당 질문의 시지각 프로세스의 부하 정도를 의미할 수 있다.
또한, 사용자의 특정 답변 선택지(그렇다, 그렇지 않다, 예(Yes), 아니오(No) 등) 사이에서의 시선 고정(Fixation) 데이터의 복잡도 또는 시선 패턴의 변화도를 통하여 사용자가 이 질문에 대해서 얼마나 확신을 가지고 답변을 하였는지 확인할 수 있다.
또한, 사용자의 시선 고정(Fixation)과 도약(Sacade) 데이터를 분석하여 질문에 대한 사용자의 성실도를 측정할 수 있다. 예컨대, 사용자가 질문을 모두 읽었는지, 그리고 답변 항목을 모두 고민하고 답변하였는지 등을 측정할 수 있다.
뇌파 반응 검출
뇌파 반응은 뇌파 특정 영역의 전위(Potential)를 이용하여 추출된 뇌파 패턴에 기초하여 검출할 수 있다. 예컨대, 사용자에게 질문이 주어진 이후, 사용자의 뇌파에서 300ms 이내에 반응하는 뇌파 특정 영역의 전위 변화(p300)를 통해 사용자가 해당 질문에 얼마나 친숙한지 혹은 이때 감정상의 변화가 있었는지를 확인할 수 있다. 예컨대, 사용자에게 익숙하지 않은 사진과 익숙한 사진을 랜덤하게 배열하여 매우 짧은 시간동안 노출할 경우, 익숙한 사진을 봤을 때의 사건관련전위(event-related potential,　ERP) 자극이 더 크게 나타날 수 있다. 따라서, 본 발명은 이러한 랜덤 배열을 통해서 실제 ERP 자극의 패턴을 예측할 수 있고, 예측된 ERP 자극 패턴에 기초하여 동기화 시간으로 사용할 수 있다. 또한, 본 명세서에서 익숙한 사진은 사용자에게 반복적으로 노출되었던 사진들에 대한 태깅, 즉, 태깅할 수 있는 이미지일 수 있고, 실제로 사람들에게 실제 노출이 많았을 것으로 예측되는 이미지 예컨대, 윈도우 바탕화면 등일 수 있다. 여기서, 본 발명의 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템은 딥러닝을 위한 행렬연산모듈을 더 포함할 수 있고, 상기 행렬연산모듈에 기초하여 태깅함으로써 로컬에서 보다 효율적으로 연산을 수행할 수 있다.
다시 말해, 자극이 주어지는 시점의 시간(모바일 시간)과 ERP 자극이 나타나는 시간(뇌파 센서의 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다. 이와 관련된 구체적인 내용은 추후 설명하기로 한다.
또한, 사용자의 뇌파 반응 중 반응이 있는 질문과 반응이 없는 질문을 차별적으로 분석하여 사용자가 질문에 의해 받은 감정적 안정도를 측정할 수 있다. 예컨대, P300(사용자의 뇌파에서 300ms 이내에 반응하는 뇌파 특정 영역의 전위 변화)의 반응이 없었다면, 이는 이 문항에 대해 감정적, 무의식적 영향력이 없었다고 인식할 수 있다.
또한, 사용자가 지문을 읽을 때 발생한 뇌파에서 베타파(β)/감마파(g) 영역대의 뇌파 크기(power)가 베이스 라인(baseline) 질문들 중 기본 본 설문 검사를 읽을 때보다 지나치게 높을 경우에는 이 문항들에 대해서 인지적/감정적 스트레스가 발생했다고 분석될 수 있다.
심전도 반응 검출
심전도 반응은 사용자가 스트레스 가이딩 화면을 통해 설문 검사를 진행하는 동안 발생한 심전도 변화를 통해 검출될 수 있다. 이때, 심전도 반응은 다양한 심전도 변화 조건에 기초하여 부가적인 정보를 발생시킬 수 있다. 여기서, 심전도 변화 조건은 심박수 변화 추이, 심장 박동의 복잡도 변화, 심장 패턴의 이상 현상 등을 의미한다.
심전도 변화 조건이 심박수 변화 추이인 경우, 사용자가 기본 설문 검사 도중 본 설문 검사를 읽는 상태에 대비하여 심박수가 순간적으로 변화하는 구간을 통해 이 설문 문항에 대해서 사용자가 심정적으로 변화가 있었음을 인식할 수 있다.
또한, 심전도 변화 조건이 심장 박동의 복잡도 변화인 경우, 심장 박동의 복잡도의 변화가 스트레스 강도를 의미하는 것이므로 사용자의 복잡도가 특정 설문 문항에서 복잡해졌다는 것을 통해 사용자가 이 설문 문항에서 심정적, 인지적으로 스트레스를 받았다는 사실로 인식할 수 있다.
또한, 심전도 변화 조건이 심장 패턴의 이상 현상인 경우, 심박 세동 등 심장 패턴의 불특정한 이상 반응을 사용자 건강상의 치명적 문제인 것으로 인식할 수 있다. 이는 건강상 특정 질병(심장마비, 고혈압)등과 연결될 수 있으며, 추후 이와 관련된 질병에 대한 진단 및 스크리닝(혹은 선별 검사)으로 연결될 수 있다.
이때, 본 발명은 설문 검사의 분석 정확도을 높이기 위하여 정확도 향상 조건들을 선택적으로 적용할 수 있다. 여기서, 정확도 향상 조건은 답변 항목들의 순서 변화, 답변 항목의 위치 변화, 질문지의 순서 변화 등을 의미한다.
보다 상세하게는, 분석 정확도를 높이기 위해 답변 항목들의 순서를 변화한 경우, 그렇다, 그렇지 않다/예, 아니오 등의 답변 항목의 순서를 무작위적으로 바꿈으로서 사용자의 시선 패턴을 보다 정확하게 분석할 수 있다. 다시 말해, 답변 항목의 순서를 무작위적으로 바꾸는 이유는 사용자가 답변을 할 때 습관적으로 다음 항목의 질문과 답변 항목을 보는지에 대한 반응을 조사할 수 있으며, 사용자의 시선 패턴 등을 통하여 사용자의 시지각 정보처리 과정에서의 성실도 및 인지 부하 과정을 관찰하기에 용이해질 수 있다.
이 밖에도, 분석 정확도를 높이기 위해 답변 항목의 위치를 변화시켜 해당 항목에 대한 사용자의 응답이 일정한지 혹은 사용자가 성실히 항목의 질문을 읽는지 등을 파악할 수 있고, 질문지의 순서를 변화함으로써 분석 방법의 정확도를 향상시킬 수 있다.
스트레스 분석 컨텐츠 진행 방법
다음으로, 스트레스 측정 컨텐츠를 진행 결과에 따라 스트레스 분석 결과 컨텐츠를 진행한다(S530). 여기서, 스트레스 분석 결과 컨텐츠를 진행한다는 것은 추출한 특징으로부터 다양한 방법으로 스트레스를 분석하는 것을 의미한다. 본 발명에서 스트레스 분석 결과 컨텐츠를 진행하는 방법은 크게 세가지로 나눌 수 있다.
먼저, 신호 처리 모듈(210)이 생체 데이터로부터 특징을 추출한 후, 진단 모듈(220)은 추출된 특징을 스트레스 레벨로 치환한다(S620). 다시 말해, 진단 모듈(220)은 사용자의 설문 검사 과정 중 추출된 특징을 스트레스 레벨로 치환함으로써 사용자의 스트레스를 진단할 수 있다.
이때, 스트레스 레벨은 하기의 수학식 1을 이용하여 산출할 수 있다.
[수학식 1]
Figure pat00003
여기서, W는 각 센서의 가중치를 나타내며, 개별 사용자(피험자)의 실험 데이터에 의해 결정된다.
이때, 가중치(W)는 개별 센서 방식(modality)로 측정된 정확도로 선택할 수도 있다. 다시 말해, 심전도(ECG)의 정확도가 80%, 뇌파(EEG)의 정확도가 70%, 시선(Eye) 데이터의 정확도가 50 %이면, 해당 수치를 노멀라이즈(normalize)하여 가중치(W)를 0.4, 0.35, 0.25로 설정할 수 있습니다. 다만, 실험 데이터가 많을 경우 가중치(W)를 학습 모듈(230)을 통한 학습에 의해서 결정할 수도 있습니다. 즉, 설문자의 응답으로부터 사용자의 스트레스 레벨을 이미 알고 있는 경우라면, 간단한 선형 회귀(linear regression) 방법을 통해서도 이를 결정할 수 있습니다.
일반적인 스트레스 레벨 측정 시스템은 뇌파(eeg)센서, 심전도(ecg) 센서, 시선 센서(eye)는 측정 센서가 서로 다르기 때문에 각 센서로부터 서로 다른 특징을 추출하거나, 딥 러닝(Deep Learning)을 활용해 특징을 학습하여 추출할 수도 있다. 이때, 일반적인 스트레스 레벨 측정 시스템은 어떤 방법이건 간에 센서로　부터 획득한 Raw 데이터에서는 다양한 특징 추출이 가능한데 이 특징들을 모두 활용한다.
이에 반해, 본 발명의 일 실시예에 따른 스트레스 분석 및 개인 정신건강 관리 시스템은 스트레스 레벨에 대해 명확히 알려진 정보 이외에 서로 다른 매우 다양한 특징을 추출하고, 학습을 통해 스트레스 레벨을 가장 잘 확인할 수 있는 가중치를 선택하는 것이 기존의 기술과 상이한 점입니다. 따라서, 본 발명의 경우 학습되는 데이터의 특징 차원이 매우 커지므로 학습이 어려워질 수 있어서 매우 정교한 학습 모델 (Machine learning, Deep learning 모델)이 필요하다.
여기서, 본 발명은 RNN(Recurrent Neural Network) 또는 LSTM(Long Short Term Memory)을 이용하여 학습하여 스트레스 레벨과 가장 연관성이 높은 특징을 선별한 후 스트레스를 예측하는 모델을 설계하고, 상기 학습 모델을 기초로 스트레스를 지수를 산출할 수도 있다.
또한, 진단 모듈(220)은 캘리브레이션 모듈(140)에 의해 생성된 스트레스 표준 정보 대비 스트레스 측정 정보의 변화도를 비교하여 스트레스를 예측할 수도 있다. 여기서, 스트레스 측정 정보는 캘리브레이션 단계 진행 후, VR컨텐츠 및 스트레스 가이딩 화면을 본 사용자로부터 측정한 스트레스 지수, 집중도, 성실도 등을 포함하는 정보를 의미한다.
스트레스 완화 컨텐츠 진행 방법
이후, 스트레스 분석 결과가 기설정된 스트레스 레벨보다 현저히 높을 경우, 스트레스 분석 결과에 따른 완화 컨텐츠를 진행한다(S540). 보다 상세하게는, 출력 모듈(260)이 스트레스 분석 결과에 따른 다양한 정보를 포함한 컨텐츠를 결과 화면으로 출력할 수 있다(S630). 예컨대, 완화 컨텐츠는 사용자의 스트레스 지수를 낮추기 위해 제공하는 컨텐츠로서, 소리, 이미지, 또는 영상을 포함할 수 있다.
또한, 완화 컨텐츠는 사용자 별로 혹은 사용자의 스트레스 레벨별로 서로 상이하게 출력될 수 있다.
제어 모듈(250)은 신호 처리 모듈(210), 진단 모듈(220), 학습 모듈(230) 및 출력 모듈(260)을 제어할 수 있다.
일련의 신호들에 대한 시간 동기화 방법
또한, HMD 기기(100)가 센싱하는 다양한 생체 신호인 뇌파, 시선, 심전도, 안전도, 근전도 등의 신호를 분석하기 위해서는 최소 300ms 또는 그 이하의 매우 짧은 시간 동안 사용자의 뇌파, 시선, 심전도, 안전도, 근전도 등의 변화를 측정한다. 이 경우, 스트레스 가이딩 화면을 표시하는 HMD 기기(100)의 클럭 시간과 사용자의 생체 정보를 획득하는 생체 센서의 클럭 시간이 서로 다르거나, 생체 센서의 클럭 시간과 생체 정보를 분석하는 프로세서의 클럭 시간이 서로 다를 수 있다.
이에, 스트레스 분석 및 개인 정신건강 관리 시스템은 사용자의 영상 시청에 따른 생체 정보의 변화를 올바르게 분석할 수 있도록 적어도 둘 이상의 동기화 센싱 신호들을 이용하여 일련의 신호들에 대한 시간 동기화(Time Synchronizing)를 수행할 수 있다.
구체적으로, 본 발명의 멘탈 케어 서버(200)는 제1 생체 신호 센서로부터 수신한 제1 센싱 신호(뇌파 센싱 신호)에 관련된 제1 동기화 센싱 신호를 수신하고, 제2 생체 신호 센서로부터 수신한 제2 센싱 신호(심전도 센싱 신호)에 관련된 제2 동기화 센싱 신호를 수신한다. 후술하겠지만, 본 명세서에서 이벤트 트리거 신호는 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호에 기초하여 발현되는 것으로 이해되는 것이 바람직하다.
여기서, 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호는 각각 적어도 둘 이상의 일련의 신호들에 관련될 수 있다. 예컨대, 일련의 신호는 뇌파 센싱 신호, 심전도 센싱 신호, 가상 현실 영상 또는 영상 신호 또는 시스템 내 다양한 신호들 중 적어도 하나를 포함할 수 있다.
또한, 제1 생체 신호 센서 및 제2 생체 신호 센서는 사용자의 움직임 정보를 나타내는 동기화 센싱 신호를 출력하는 움직임 센서, 주변 밝기 정보를 나타내는 동기화 센싱 신호를 출력하는 조도 센서, 기 설정된 광량의 광 정보를 나타내는 동기화 센싱 신호를 출력하는 광학 센서 및 기 설정된 음성 정보를 나타내는 동기화 센싱 신호를 출력하는 음파 센서 중 적어도 하나일 수도 있다.
또한, 멘탈 케어 서버(200)는 이벤트 트리거 신호로부터 유발되고 제1 생체 신호 센서로부터 수신한 제1 동기화 센싱 신호를 수신하고, 이벤트 트리거 신호로부터 유발되고 제2 생체 신호 센서로부터 수신한 제2 동기화 센싱 신호를 수신하고, 이벤트 트리거 신호가 출현한 시간에 기초하여 제1 동기화 센싱 신호 및 제2 동기화 센싱 신호의 시간차 정보를 산출하고 시간차 정보에 기초하여 제1 생체 신호 센서 및 제2 생체 신호 센서를 동기화할 수 있다. 예컨대, 이벤트 트리거 신호는 사용자에게 자극이 주어질 때 발생하는 신호로서, 사용자에게 익숙한 사진/안익숙한 사진이 랜덤하게 노출되거나, 고음역대의 짧은 소리(Beep)를 청각 자극이 주어질 때 발생하는 신호로 이해되는 것이 바람직하다.
다시 말해, 이벤트 트리거 신호는 익숙한 사진 및 익숙하지 않은 사진을 랜덤하게 배열하여 HMD 기기(100)의 디스플레이에 표시될 수 있고, 일반적인 자극의 범위가 최대 500 ~ 10,000hz 정도라고 할 때, 대략 10 ~ 90db 범위를 갖는 고음역대 비프음(Beep)일 수 있고, 깜박이는 화면을 HMD 기기(100)의 디스플레이에 표시될 수 있다.
이하에서는, 이벤트 트리거 신호가 검출되는 경우를 두 가지 경우로 나누어 설명을 하기로 한다.
먼저, 본 발명은 시각적 자극에 의한 뇌파 센싱 신호를 검출하는 경우, 이벤트 트리거 신호를 발현시킨 시간(실제로 자극이 주어지는 시간)과 ERP 자극이 나타나는 시간(뇌파 센서의 시간 즉, 사건관련전위가 측정된 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다.
본 발명은 이벤트 트리거 신호가 출현한 다음에 일정 시간 이내에서 이벤트 트리거 신호를 발현시킨 시간과 ERP 자극(제1 동기화 신호 또는 제2 동기화 신호)이 나타나는 시간을 각각 측정한다. 이후, 측정된 두 신호가 서로 상이한 경우 상기 두 시간에 대한 차이가 동일해지도록 시간을 보정할 수 있다. 예컨대, 사용자에게 익숙한 사진과 익숙하지 않은 사진을 랜덤하게 노출시킴으로써 익숙한 사진을 볼 때의 사건관련전위(ERP)는 각각 상이하므로 익숙한 사진과 익숙하지 않은 사진에 대한 사건관련전위에 대응하는 시간차를 각각 측정함으로써 시간을 보정할 수 있다. 다만, 익숙하지 않은 사진과 익숙한 사진을 봤을 때의 사건관련전위가 일정레벨이상 차이가 나야 하는데 차이가 나지 않을 경우가 발생할 수 있다. 따라서, 이러한 경우에는 익숙한 사진과 익숙하지 않은 사진의 랜덤 배열을 재혼합시킴으로써 측정의 정확도를 높일 수 있다.
또한, 본 발명은 사용자에게 익숙한 사진과 익숙하지 않은 사진을 랜덤하게 노출시킴으로써 예측된 ERP 자극 패턴에 기초하여 시간을 보정할 수도 있다.
일반적으로, 화면에 특정 주파수 영역의 시각 자극을 사용자에게 노출하게 되면 사용자의 뇌파는 해당 주파수에 맞춰 동기화하는 현상이 나타난다. 즉, 사용자의 뇌파는 해당 주파수에 맞춰 동기화가 될 수 있다. 이에 따라, 화면의 임의의 부분을 예컨대, 60Hz로 깜박이는 화면을 표시할 때(사용자가 인지하지 못하는 수준) 해당 영역을 사용자가 바라보는 것으로 가정할 경우, 본 발명의 시스템 상에서는 사용자가 그 영역을 보는지 확인할 수 있고, 이때의 뇌파 동기화 시점(뇌파 센서의 시간)과 컨텐츠가 재생되는 시점의 시간(모바일 시간)이 동일해지도록 시스템의 시간을 보정할 수 있다.
또한, 본 발명은 오디오 자극에 의한 뇌파 센싱 신호를 검출하는 경우, 고음역대의 짧은 소리(Beep)를 청각 자극으로 주었을 경우 해당 자극에 대한 뇌파 반응이 즉각적으로 나타나는 것을 활용해 시간 동기화를 할 수 있다. 다만, 시간 동기화는 정확하게 일치시켜 놓았다고 하더라도 내부 센서 시스템간 동기화의 경우는 시간에 따른 오차가 거의 발생하지 않지만, 컨텐츠가 재생되는 모바일 또는 제3의 장비간 동기화의 경우는 네트워크 상태에 따라 지연 오차가 발생할 수도 있다. 이에, 본 발명은 컨텐츠 중간중간에 임의로 신호 검출 방법을 노출시킴으로써 시간 동기화 오차를 확인하고, 시간 보정을 수행할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 HDM 기기(900)는 두 개의 동기화 센서들을 이용하여 일련의 신호들에 대한 시간 동기화를 수행함으로써 시스템 내의 구성 요소들 사이의 시간 오차 또는 서로 다른 시스템들 사이의 시간 오차를 보정하여 측정의 정확도를 향상시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: HMD 기기 101: 심전도 센서
102: 뇌파 센서 103: 시선 센서
110: 뇌파 센싱 모듈 120: 시선 센싱 모듈
130: 심전도 센싱 모듈 140: 캘리브레이션 모듈
150, 260: 출력 모듈 200: 멘탈 케어 서버
210: 신호 처리 모듈 220: 진단 모듈
230: 학습 모듈 240: 통신 모듈
250: 제어 모듈 911: 뇌파 동기화 모듈
931: 심전도 동기화 모듈

Claims (10)

  1. 복수의 생체 신호 센서로부터 수신한 생체 신호를 보정하여 스트레스 표준 정보를 생성하는 캘리브레이션(Calibration) 단계;
    스트레스 가이딩 화면을 생성하고, 상기 생성된 스트레스 가이딩 화면을 통해 사용자의 생체 데이터를 측정하고, 상기 측정된 생체 데이터를 상기 스트레스 표준 정보 및 상기 생체 신호 중 적어도 하나와 비교하여 상기 사용자의 스트레스 측정 정보를 산출하는 스트레스 측정 컨텐츠 진행 단계; 및
    상기 생체 데이터로부터 복수의 특징을 추출하고, 상기 추출된 복수의 특징을 기반으로 사용자의 스트레스 지수를 예측하는 스트레스 분석 컨텐츠 진행 단계를 포함하고,
    상기 스트레스 표준 정보는 스트레스 초기 지수 및 특정 감정에 대한 기준 값을 포함하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  2. 제1항에 있어서,
    상기 스트레스 분석 컨텐츠 진행단계는,
    상기 추출된 특징을 스트레스 레벨로 치환하여 상기 사용자의 스트레스 지수를 측정하고,
    상기 스트레스 레벨은 하기 수학식 1에 의해 산출되는,
    [수학식 1]
    Figure pat00004

    (여기서, W는 각 뇌파(eeg)센서, 심전도(ecg) 센서, 시선 센서(eye)의 가중치를 나타냄)
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  3. 제1항에 있어서,
    상기 스트레스 분석 컨텐츠 진행 단계는,
    상기 스트레스 표준 정보에 기초하여 상기 스트레스 측정 정보의 차이를 비교하여 상기 사용자의 스트레스 지수 및 감정 중 적어도 하나를 분석하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  4. 제1항에 있어서,
    상기 스트레스 분석 컨텐츠 진행 단계는,
    RNN(Recurrent Neural Network) 또는 LSTM(Long Short Term Memory)을 이용하여 상기 추출된 특징을 기초로 스트레스를 지수를 예측하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  5. 제1항에 있어서,
    상기 스트레스 분석 결과에 따른 스트레스 완화 컨텐츠를 생성하는 스트레스 완화 컨텐츠 진행 단계를 더 포함하고,
    상기 스트레스 완화 컨텐츠는 소리, 이미지 및 영상 중 적어도 어느 하나의 형태로 출력되며, 사용자 또는 사용자의 스트레스 지수에 따라 서로 상이한 컨텐츠가 제공되는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  6. 제1항에 있어서,
    상기 복수의 생체 신호 센서는 제1 및 제2 생체 신호 센서를 포함하고,
    상기 HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법은
    이벤트 트리거 신호로부터 유발되고 상기 제1 생체 신호 센서로부터 수신한 제1 동기화 센싱 신호를 수신하는 단계;
    상기 이벤트 트리거 신호로부터 유발되고 상기 제2 생체 신호 센서로부터 수신한 제2 동기화 센싱 신호를 수신하는 단계; 및
    상기 이벤트 트리거 신호가 출현한 시간에 기초하여 상기 제1 동기화 센싱 신호 및 상기 제2 동기화 센싱 신호의 시간차 정보를 산출하고 상기 시간차 정보에 기초하여 상기 제1 및 제2 생체 신호 센서를 동기화하는 단계를 더 포함하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  7. 제 6 항에 있어서,
    상기 이벤트 트리거 신호는 익숙한 사진 및 익숙하지 않은 사진을 랜덤하게 배열하여 상기 HMD 기기의 디스플레이에 표시되는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  8. 제 6 항에 있어서,
    상기 이벤트 트리거 신호는 비프음을 포함하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  9. 제 6 항에 있어서,
    상기 이벤트 트리거 신호는 깜박이는 화면이 상기 HMD 기기의 디스플레이에 표시되는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 방법.
  10. 복수의 생체 신호 센서로부터 생체 신호를 측정하는 HMD 기기; 및
    상기 측정된 생체 신호를 수신하고 수신한 생체 신호에 기초하여 스트레스 측정 정보를 산출하는 멘탈 케어 서버를 포함하고,
    상기 멘탈 케어 서버는 상기 생체 신호를 보정하여 스트레스 표준 정보를 생성하며, 스트레스 가이딩 화면을 생성하고, 상기 스트레스 가이딩 화면을 통해 사용자의 생체 데이터를 측정하며, 상기 측정된 생체 데이터를 상기 스트레스 표준 정보 및 상기 생체 신호 중 적어도 하나와 비교하여 상기 사용자의 스트레스 측정 정보를 산출하며, 상기 생체 데이터로부터 특징을 추출하고, 상기 추출된 특징을 기반으로 사용자의 스트레스 지수를 예측하고,
    상기 스트레스 표준 정보는 스트레스 초기 지수 및 특정 감정에 대한 기준 값을 포함하는,
    HMD 기기를 이용한 스트레스 분석 및 개인 정신건강 관리 시스템.
KR1020190021819A 2019-02-25 2019-02-25 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법 KR20200103397A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190021819A KR20200103397A (ko) 2019-02-25 2019-02-25 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
PCT/KR2019/014073 WO2020175759A1 (ko) 2019-02-25 2019-10-24 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
US17/433,610 US20220148728A1 (en) 2019-02-25 2019-10-24 System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190021819A KR20200103397A (ko) 2019-02-25 2019-02-25 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200103397A true KR20200103397A (ko) 2020-09-02

Family

ID=72240036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190021819A KR20200103397A (ko) 2019-02-25 2019-02-25 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법

Country Status (3)

Country Link
US (1) US20220148728A1 (ko)
KR (1) KR20200103397A (ko)
WO (1) WO2020175759A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2766391C1 (ru) * 2021-04-28 2022-03-15 Елена Леонидовна Малиновская Способ анализа поведения испытуемого для выявления его психологических особенностей посредством технологий виртуальной реальности
KR20230045167A (ko) * 2021-09-28 2023-04-04 연세대학교 산학협력단 정형외과 수술 중 의사의 실시간 스트레스를 분석 및 출력하기 위한 방법 및 장치
WO2024080453A1 (ko) * 2022-10-11 2024-04-18 (의)삼성의료재단 마음건강 서비스 장치, 시스템 및 방법
WO2024096580A1 (ko) * 2022-11-01 2024-05-10 (주)포티파이 사용자 맞춤형 스트레스 케어 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113498503A (zh) * 2019-01-17 2021-10-12 苹果公司 用于感测生理状况的具有面部界面的头戴式显示器
US20240164672A1 (en) * 2021-03-31 2024-05-23 Apple Inc. Stress detection
EP4268718A1 (en) * 2022-04-29 2023-11-01 BIC Violex Single Member S.A. Virtual reality system
KR20240014036A (ko) 2022-07-21 2024-01-31 고려대학교 산학협력단 지역 사회 노인 맞춤형 정신 건강 케어 방법 및 이를위한 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189599B2 (en) * 2011-05-13 2015-11-17 Fujitsu Limited Calculating and monitoring a composite stress index
AU2015302050B2 (en) * 2014-08-10 2020-01-30 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
EP3397151A4 (en) * 2015-10-14 2019-09-25 Synphne Pte Ltd. SYSTEMS AND METHOD FOR ENABLING THE SELF-ADJUSTMENT OF THE MENTAL-BODY EMOTION CONDITION AND DEVELOPING FUNCTIONAL ABILITIES THROUGH BIOFEEDBACK AND AMBIENT MONITORING
CN108697386B (zh) * 2016-02-17 2022-03-04 纽洛斯公司 用于检测生理状态的系统和方法
RU2649519C2 (ru) * 2016-03-18 2018-04-03 Общество с ограниченной ответственностью "ДАРТА СИСТЕМС" Способ непрерывного контроля уровня напряженного состояния человека
KR101854812B1 (ko) * 2016-05-18 2018-05-04 신호철 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
KR102015097B1 (ko) * 2017-04-26 2019-10-21 클라트 주식회사 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR101901261B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2766391C1 (ru) * 2021-04-28 2022-03-15 Елена Леонидовна Малиновская Способ анализа поведения испытуемого для выявления его психологических особенностей посредством технологий виртуальной реальности
KR20230045167A (ko) * 2021-09-28 2023-04-04 연세대학교 산학협력단 정형외과 수술 중 의사의 실시간 스트레스를 분석 및 출력하기 위한 방법 및 장치
WO2024080453A1 (ko) * 2022-10-11 2024-04-18 (의)삼성의료재단 마음건강 서비스 장치, 시스템 및 방법
WO2024096580A1 (ko) * 2022-11-01 2024-05-10 (주)포티파이 사용자 맞춤형 스트레스 케어 장치 및 방법

Also Published As

Publication number Publication date
WO2020175759A1 (ko) 2020-09-03
US20220148728A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US10314485B2 (en) Portable google based VOG system with comparative left and right eye ocular response analysis with MTBI analysis using percent of saccade function of smooth pursuit test
KR20200103397A (ko) 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
US11903720B2 (en) System and method for detecting neurological disease
Walter et al. The biovid heat pain database data for the advancement and systematic validation of an automated pain recognition system
CN106999065B (zh) 使用加速度测量术的可穿戴疼痛监测器
US8323216B2 (en) System and method for applied kinesiology feedback
WO2021076642A1 (en) Systems and methods for multivariate stroke detection
Keshavarz et al. Detecting and predicting visually induced motion sickness with physiological measures in combination with machine learning techniques
CN105491942A (zh) 用于监测对象的血液动力学状态的监测系统和方法
KR20110004899A (ko) 생리적 상태를 결정하기 위한 방법 및 시스템
CN110582228A (zh) 用于确定婴儿的健康状态的方法和装置
JP2002253509A (ja) 脳機能検査方法とその装置、脳機能検査システム、脳機能検査サービス方法及びそのプログラムと装置
Park et al. Non-contact measurement of heart response reflected in human eye
US20210204861A1 (en) Portable wearable eye movement monitoring system, device and monitoring method
KR20220047187A (ko) 피처 결합을 이용한 인지 기능 검사 방법 및 서버
KR20180099030A (ko) 성범죄 분류를 위한 자극 제시에 따른 신체 변화 측정 시스템 및 방법
CN108451496B (zh) 检测脑心连通性的信息的方法及其系统
CN115770013B (zh) 辅助弱势人群的眼动测试方法、装置、设备及介质
EP4124289A1 (en) Device, system and method for determining health information related to the cardiovascular system of a subject

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application