Nothing Special   »   [go: up one dir, main page]

KR101868597B1 - 올바른 기기사용자세 유도 장치 및 방법 - Google Patents

올바른 기기사용자세 유도 장치 및 방법 Download PDF

Info

Publication number
KR101868597B1
KR101868597B1 KR1020110094854A KR20110094854A KR101868597B1 KR 101868597 B1 KR101868597 B1 KR 101868597B1 KR 1020110094854 A KR1020110094854 A KR 1020110094854A KR 20110094854 A KR20110094854 A KR 20110094854A KR 101868597 B1 KR101868597 B1 KR 101868597B1
Authority
KR
South Korea
Prior art keywords
user
portable terminal
face image
state
range
Prior art date
Application number
KR1020110094854A
Other languages
English (en)
Other versions
KR20130031120A (ko
Inventor
이호섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020110094854A priority Critical patent/KR101868597B1/ko
Priority to US13/420,789 priority patent/US9141761B2/en
Priority to EP12184924.4A priority patent/EP2573696B1/en
Priority to JP2012206804A priority patent/JP6050069B2/ja
Priority to CN2012103518795A priority patent/CN103021140A/zh
Publication of KR20130031120A publication Critical patent/KR20130031120A/ko
Application granted granted Critical
Publication of KR101868597B1 publication Critical patent/KR101868597B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephone Function (AREA)
  • Alarm Systems (AREA)

Abstract

별도의 센서를 사용자 몸에 부착하지 않고도 휴대 단말의 자체 센싱 정보로부터 사용자의 자세가 올바른지 판단하고 그에 따라 적절한 경보를 발생함으로써 올바른 기기사용자세를 유도하는 장치 및 방법이 제공된다. 본 발명의 일 양상에 따른 장치는, 휴대 단말로 촬영된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 사용자가 휴대 단말을 올바른 자세로 사용하고 있는지 여부를 판단하는 판단부 및 판단부의 판단 결과에 따라 사용자가 휴대 단말을 올바른 자세로 사용하고 있지 아니한 경우, 소정의 경보를 실행하는 경보실행부를 포함할 수 있다.

Description

올바른 기기사용자세 유도 장치 및 방법{Apparatus and method for assisting in positioning user`s posture}
휴대 단말 및 휴대 단말 사용자의 자세를 교정하기 위한 기술과 관련된다.
스마트폰/태블릿PC 등 이동 단말을 통해 DMB 방송, 전자책, 게임·영화 등의 다양한 컨텐츠를 즐기는 사용자가 증가하고 있다. 특히, 젊은층의 사용자들은 전철이나 버스로 이동시에 스마트폰/태블릿PC를 허리 근처나 무릎 위에 올려 놓고 고개를 숙인 채 사용하는 경우가 많은데, 이 자세로 스마트폰/태블릿PC를 계속 사용하다 보면 목뼈(경추; 頸椎)에 무리가 갈 수 있다. 예컨대, 기본적으로 목뼈는 C자형인데, 계속 목을 빼고 화면을 응시하다 보면 거북이처럼 일자 목이 되는 '거북목증후군'에 걸릴 위험이 높다는 것이다. 목뼈가 일자로 되면 충격 완화 효과가 감소해 목 디스크가 유발될 확률이 높아진다.
 한 보도에 따르면, 척추통증 전문병원에서 스마트폰 출시 시점(2009년 10월)과 광범위하게 이용된 시점(2010년 4월)의 목 디스크 환자를 월별로 비교 분석한 결과, 30대 이하 환자의 경우 한 달에 38명에서 149명으로 3.9배 이상 폭증했다고 한다. 40대도 스마트폰 출시 시점에 한 달에 69명 발생하던 목 디스크 환자가 2010년 4월에는 129명으로 늘어났으며, 대신 50대와 60대 환자의 증가폭은 각각 39%, 37% 선에 그쳤다.
 또한 스마트폰 사용시에 얼굴을 화면으로 가까이 가져가는 사용자들은 '안구건조증'에 걸릴 위험이 있다. 안구건조증은 눈이 시리고 콕콕 쑤시는 느낌이 있으며 눈이 쉽게 피로해져 눈을 잘 뜨기 어려운 증상으로, 이 증상을 일으키는 원인 중 하나는 눈물의 분비가 원활하지 못하기 때문이라고 한다. 사람이 무언가를 집중해서 보다 보면 눈을 깜박이는 것을 잊게 되어 눈물 분비가 적어지는데, 스마트폰의 경우 화면이 작아 근거리에서 더욱 집중하게 되므로 안구건조증에 걸릴 위험이 높다는 것이다.
 이러한 거북목증후군이나 안구건조증을 예방하기 위해선 되도록 스마트폰 사용시간을 줄이고, 사용시에는 조금 어색하고 힘들더라도 스마트폰을 시선과 같은 높이로 올리며, 10분 이상 사용시에는 주기적으로 스트레칭을 하거나 눈을 의도적으로 자주 깜박여 줘야 한다고 한다.
 하지만, 이동성이 뛰어나고 기능과 컨텐츠가 많은 스마트폰/태블릿PC의 특성상 사용시간을 줄이는 것이 쉽지 않고, 이러한 위험에 대해 아예 인지하지 못하거나 인지하더라도 올바른 사용자세를 취하지 않는 사용자가 많은 실정이다. 따라서, 기기가 능동적으로 적절한 조치를 취하거나 사용자에게 상기 위험을 경고할 필요가 있다.
별도의 센서를 사용자 몸에 부착하지 않고도 휴대 단말의 자체 센싱 정보로부터 사용자의 자세가 올바른지 판단하고 그에 따라 적절한 경보를 발생함으로써 올바른 기기사용자세를 유도하는 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 장치는, 휴대 단말로 촬영된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 사용자가 휴대 단말을 올바른 자세로 사용하고 있는지 여부를 판단하는 판단부 및 판단부의 판단 결과에 따라 사용자가 휴대 단말을 올바른 자세로 사용하고 있지 아니한 경우, 소정의 경보를 실행하는 경보실행부를 포함할 수 있다.
본 발명의 다른 양상에 따른 장치는, 휴대 단말로 촬영된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도를 수집하는 센서부, 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 사용자의 경추 상태를 추정하는 경추 상태 추정부, 및 경추 상태 추정부의 추정 결과에 따라 소정의 경보를 실행하는 경보실행부를 포함할 수 있다.
본 발명의 또 다른 양상에 따른 장치는, 휴대 단말로 촬영된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도를 수집하는 센서부, 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 사용자의 경추 상태가 정상인지 또는 비정상인지를 추정하는 경추 상태 추정부, 경추 상태가 정상인 경우, 사용자의 얼굴 영상을 이용해서 사용자의 휴대 단말 주시 상태가 정상인지 또는 비정상인지를 추정하는 주시 상태 추정부, 및 경추 상태 또는 휴대 단말 주시 상태가 비정상인 경우, 소정의 경보를 실행하는 경보실행부를 포함할 수 있다.
본 발명의 일 양상에 따른 방법은, 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 사용자의 경추 상태 또는 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계, 및 경추 상태 또는 휴대 단말 주시 상태가 비정상 범위인 경우, 소정의 경보를 실행하는 단계를 포함할 수 있다.
개시된 내용에 의하면, 별도의 센서 없이도 휴대 단말 자체의 센싱 데이터를 이용해서 사용자가 올바른 자세로 휴대 단말을 사용하고 있는지 여부를 판단할 수 있고, 그 사용 자세가 올바르지 않다면 자세 변경을 유도하는 경보를 발생함으로써 휴대 단말의 사용에 따른 각종 질환을 사전에 예방할 수가 있다.
도 1은 본 발명의 제 1 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 2는 경추 상태를 추정하는 방법의 일 예를 도시한다.
도 3은 경추 상태를 추정하는 방법의 다른 예를 도시한다.
도 4는 휴대 단말 주시 상태를 추정하는 방법의 일 예를 도시한다.
도 5는 휴대 단말 주시 상태를 추정하는 방법의 다른 예를 도시한다.
도 6은 본 발명의 제 2 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 7은 본 발명의 제 3 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 8은 본 발명의 제 4 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 9는 본 발명의 제 5 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 10은 본 발명의 일 실시예에 따른 올바른 기기사용자세 유도 방법을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 1을 참조하면, 본 실시예에 따른 장치(100)는 휴대 단말에 적용될 수 있다. 휴대 단말은 휴대폰, 스마트폰, mp3 플레이어, PMP 등이 될 수 있다. 휴대 단말은 각종 센서를 포함할 수 있다.
도 1에서, 본 실시예에 따른 장치(100)는 판단부(101) 및 경보 실행부(102)를 포함할 수 있다. 본 실시예에서, 각각의 판단부(101) 및 경보 실행부(102)는 휴대 단말 내부에 설치되는 하드웨어 또는 휴대 단말에 탑재되는 프로세서에 의해 실행되는 소프트웨어의 형태로 구현될 수 있다. 또한 각각의 판단부(101) 및 경보 실행부(102)는 도 1에서 도시된 것과 달리 통합되어 구현될 수도 있고, 어느 하나의 기능 유니트에서 수행되는 기능의 일부가 하나 또는 그 이상의 다른 기능 유니트에서 수행되는 것도 가능하다.
판단부(101)는 휴대 단말로 촬영된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 수신한다. 예를 들어, 판단부(101)는 휴대 단말에 탑재된 전면 카메라로부터 사용자의 얼굴 영상을 수신할 수 있고, 방향 센서 또는 가속도 센서/자기계 센서로부터 휴대 단말의 기울임 각도를 수신할 수 있다.
판단부(101)는 수신된 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용하여 사용자가 휴대 단말을 올바른 자세로 사용하고 있는지 여부를 판단한다. 예를 들어, 판단부(101)는 올바른 자세에 관한 판단 기준으로서 사용자의 경추 상태 및 사용자의 휴대 단말 주시 상태 중 적어도 하나를 추정하는 것이 가능하다. 경추 상태란 사용자의 머리와 몸통 사이의 각도, 즉 목의 기울어진 정도를 의미할 수 있다. 휴대 단말 주시 상태란 사용자의 눈과 휴대 단말 간의 거리 또는 휴대 단말에 대한 사용자의 주시 집중 정도를 의미할 수 있다.
본 발명의 일 양상에 따라, 판단부(101)는 사용자의 경추 상태가 정해진 정상 범위를 벗어나는 경우에 올바른 자세가 아니라고 결정할 수 있다. 예컨대, 휴대 단말을 사용하는 사용자의 목의 기울어진 각도가 정해진 임계값을 넘어가고 그 상태가 장시간 지속되는 경우, 올바른 사용자세가 아니라고 결정할 수 있다.
또한 본 발명의 다른 양상에 따라, 판단부(101)는 사용자의 휴대 단말 주시 상태가 정해진 정상 범위를 벗어나는 경우에 올바른 자세가 아니라고 결정할 수 있다. 예컨대, 사용자가 휴대 단말을 임계값 이하의 거리에서 근접하게 응시하거나, 휴대 단말의 특정 부분을 집중해서 장시간 응시하는 경우, 올바른 사용자세가 아니라고 결정할 수 있다.
또한 본 발명의 또 다른 양상에 따라, 판단부(101)는 전술한 경추 상태와 휴대 단말 주시 상태 모두를 이용해서 올바른 사용자세 여부를 판단할 수도 있다. 예컨대, 경추 상태 또는 휴대 단말 주시 상태 중 어느 하나라도 정상 범위를 벗어나면 올바른 자세가 아니라고 결정할 수도 있고, 경추 상태를 예비적으로 먼저 판단하여 올바른 자세가 아닐 가능성이 있는 경우에 휴대 단말 주시 상태를 최종적으로 판단할 수도 있다. 또한 반대로 휴대 단말 주시 상태를 예비적으로 먼저 판단하여 올바른 자세가 아닐 가능성이 있는 경우에 경추 상태를 최종적으로 판단할 수도 있음은 물론이다.
경보 실행부(102)는, 판단부(101)에 의해 사용자가 휴대 단말을 올바른 자세로 사용하고 있지 아니한 것으로 판단되면, 그 판단 결과에 따라 소정의 경보를 실행한다. 실행되는 경보의 종류는 제한되지 아니한다. 예컨대, 경보 실행부(102)는 영상, 문자, 소리, 진동 등의 경보를 실행할 수 있다. 또한 경고 문구를 휴대 단말의 디스플레이 창에 표시하거나, 경고 사운드 또는 진동을 발생하거나, 또는 디스플레이 창의 전원을 차단하는 것이 가능하다. 또한 소정의 동작(예컨대, 체조 동작)을 휴대 단말의 화면에 표시하거나, 휴대 단말의 화면 표시 방법(예컨대, 입체 효과)을 조절해서 사용자의 자세 변경을 유도할 수도 있다.
도 2는 경추 상태를 추정하는 방법의 일 예를 도시한다.
도 1 및 도 2를 참조하면, 판단부(101)는 미리 저장된 기준 얼굴 영상(201)과 현재 촬영된 얼굴 영상(202)을 비교하여 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정할 수 있다.
본 발명의 일 양상에 따라, 기준 얼굴 영상(201)은 올바른 자세에서 촬영된 사용자의 얼굴 영상이 될 수 있다. 판단부(101)는 기준 얼굴 영상(201)의 특징 정보와 촬영된 얼굴 영상(202)의 특징 정보를 비교해서 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정할 수 있다. 특징 정보로는 얼굴의 윤곽, 얼굴 면적과 목 면적의 비율, 얼굴의 밝기 등이 사용될 수 있다. 예를 들어, 사용자가 고개를 숙이고 있는 경우, 촬영된 얼굴 영상(202)은 기준 얼굴 영상(201)에 비해 얼굴의 윤곽이 갸름해지거나, 목의 면적이 줄어들거나, 또는 얼굴의 밝기가 어두울 수가 있다. 만약, 촬영된 얼굴 영상(202)의 특징 정보가 정해진 임계 범위를 벗어나는 경우 (즉, 기준 얼굴 영상과 유사하지 않다고 판단되는 경우), 판단부(101)는 사용자의 경추 상태가 비정상 범위인 것으로 결정할 수 있다. 또한 사용자의 경추 상태가 비정상인 범위인 경우, 판단부(101)는 사용자가 올바른 자세로 휴대 단말을 사용하고 있지 아니한 것으로 결정할 수 있다.
본 발명의 다른 양상에 따라, 기준 얼굴 영상(201)은 각각의 경추 기울임 각도 별로 미리 저장된 다수의 영상일 수가 있다. 판단부(101)는 촬영된 얼굴 영상(202)의 특징 정보와 가장 유사도가 높은 특징 정보를 갖는 기준 얼굴 영상(201)을 추출하고, 추출된 기준 얼굴 영상(201)에 대응되는 경추 기울임 각도를 현재 경추 기울임 각도로 추정하는 것이 가능하다. 만약 추정된 경추 기울임 각도가 정해진 임계 범위를 벗어나는 경우, 판단부(101)는 사용자의 경추 상태가 비정상 범위인 것으로 결정할 수 있다. 또한 사용자의 경추 상태가 비정상인 범위인 경우, 판단부(101)는 사용자가 올바른 자세로 휴대 단말을 사용하고 있지 아니한 것으로 결정할 수 있다.
도 3은 경추 상태를 추정하는 방법의 다른 예를 도시한다.
도 1 및 도 3을 참조하면, 휴대 단말의 사용 특성을 고려할 때, 사용자의 시야각으로 인해 휴대 단말(301)의 기울어진 정도(310)와 사용자 목의 기울어진 정도(320)는 실질적으로 동일하다고 보아도 무방하다. 따라서 판단부(101)는 휴대 단말(301)의 기울임 각도(310)와 사용자 경추의 기울임 각도(320)를 동일한 것으로 판단할 수 있다. 예컨대, 판단부(101)는 휴대 단말(301)에 탑재된 방향 센서, 가속도 센서, 자기계 센서 등으로부터 센서 정보를 수신하고, 수신된 센서 정보에 기초하여 휴대 단말(301)의 기울임 각도(310)를 계산하고, 계산된 기울임 각도(310)를 이용하여 사용자 경추의 기울임 각도(320)를 계산할 수가 있다. 만약 사용자 경추의 기울임 각도(320)가 정해진 임계 범위를 벗어나는 경우, 판단부(101)는 사용자의 경추 상태가 비정상 범위인 것으로 결정할 수 있다. 또한 사용자의 경추 상태가 비정상인 범위인 경우, 판단부(101)는 사용자가 올바른 자세로 휴대 단말을 사용하고 있지 아니한 것으로 결정할 수 있다.
도 2 및 도 3에서는, 얼굴 영상 및 휴대 단말의 기울임 각도 각각을 이용해서 사용자의 경추 상태를 추정하는 방법을 설명하였다. 그러나 이것은 이해를 돕기 위한 예시에 불과한 것으로 본 발명에 따른 경추 상태 추정 방법이 반드시 여기에 한정되는 것은 아니다. 예를 들어, 도 2와 같이 얼굴 영상을 토대로 예비적으로 경추 상태를 판단하고, 만약 경추 상태가 비정상 범위에 있을 가능성이 있는 경우에 도 3과 같이 휴대 단말의 기울임 각도를 토대로 최종적으로 경추 상태를 판단할 수도 있다. 또한 경추 상태가 비정상 범위라도 그 상태가 임계 시간 이상 지속되는지를 추가적으로 판단한 후에 사용자가 올바른 자세로 휴대 단말을 사용하는지 여부를 결정할 수도 있다.
도 4는 휴대 단말 주시 상태를 추정하는 방법의 일 예를 도시한다.
도 1 및 도 4를 참조하면, 판단부(101)는 미리 저장된 기준 얼굴 영상(401)과 현재 촬영된 얼굴 영상(402)을 비교하여 사용자 눈과 휴대 단말 간의 거리에 대응되는 휴대 단말 주시 상태를 추정할 수 있다.
본 발명의 일 양상에 따라, 기준 얼굴 영상(401)은 올바른 자세에서 촬영된 사용자의 얼굴 영상이 될 수 있다. 판단부(101)는 기준 얼굴 영상(401)에서 얼굴 부분(410)이 차지하는 비율과 촬영된 얼굴 영상(402)에서 얼굴 부분(420)이 차지하는 비율을 비교해서 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정할 수 있다. 기준 얼굴 영상(401)에서 얼굴 부분(410)이 차지하는 비율은, 기준 얼굴 영상(401)이 다수 개인 경우, 그 평균값이 사용될 수도 있다. 사용자의 눈과 휴대 단말 간의 거리가 가까울수록 전체 화면에서 얼굴 부분(410, 420)이 차지하는 비율이 커지므로, 판단부(101)는 촬영된 얼굴 영상(402)에서 얼굴 부분(420)이 차지하는 비율이 정해진 임계 범위를 벗어나면, 예컨대, 너무 가까이에서 휴대 단말을 보고 있으므로, 휴대 단말 주시 상태가 비정상 범위인 것으로 결정할 수 있다. 또한 사용자의 휴대 단말 주시 상태가 비정상인 범위인 경우, 판단부(101)는 사용자가 올바른 자세로 휴대 단말을 사용하고 있지 아니한 것으로 결정할 수 있다.
도 5는 휴대 단말 주시 상태를 추정하는 방법의 다른 예를 도시한다.
도 1 및 도 5를 참조하면, 판단부(101)는 촬영된 얼굴 영상에서 눈의 움직임 정보를 이용하여 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정할 수 있다. 판단부(101)는 시선 추적(eye tracking) 기법을 토대로 사용자의 눈이 휴대 단말의 어느 곳을 응시하고 있는지, 또는 눈의 깜박임 횟수의 변화는 어떠한지 등을 파악할 수 있다. 예컨대, 판단부(101)는 사용자가 휴대 단말의 화면(501)의 특정 지점(502)을 바라보고 있는 경우, 그 지점(502)을 연속적으로 바라보고 있는 시간(즉, 주시 시간)과 눈의 깜박임 횟수를 측정할 수 있다. 만약 주시 시간이 임계 시간 이상으로 지속되거나, 또는 눈의 깜박임 횟수가 임계 횟수 이하로 떨어지는 경우, 판단부(101)는 휴대 단말 주시 상태가 비정상 범위인 것으로 결정할 수 있다. 또한 사용자의 휴대 단말 주시 상태가 비정상인 범위인 경우, 판단부(101)는 사용자가 올바른 자세로 휴대 단말을 사용하고 있지 아니한 것으로 결정할 수 있다.
도 4 및 도 5에서는, 사용자 눈과 휴대 단말간의 거리 및 눈의 움직임 정보 각각을 이용해서 휴대 단말 주시 상태를 추정하는 방법을 설명하였다. 그러나 이것은 이해를 돕기 위한 예시에 불과한 것으로 본 발명에 따른 휴대 단말 주시 상태 추정 방법이 반드시 여기에 한정되는 것은 아니다. 예를 들어, 도 4와 같이 사용자 눈과 휴대 단말간의 거리를 토대로 예비적으로 휴대 단말 주시 상태를 판단하고, 만약 휴대 단말 주시 상태가 비정상 범위에 있을 가능성이 있는 경우에 도 5와 같이 눈의 움직임 정보를 토대로 최종적으로 휴대 단말 주시 상태를 판단할 수도 있다. 또한 휴대 단말 주시 상태가 비정상 범위라도 그 상태가 임계 시간 이상 지속되는지를 추가적으로 판단한 후에 사용자가 올바른 자세로 휴대 단말을 사용하는지 여부를 결정할 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 6을 참조하면, 본 실시예에 따른 장치(600)는 센서부(601), 경추 상태 추정부(602), 및 경보 실행부(603)를 포함한다.
센서부(601)는 사용자의 얼굴 영상과 휴대 단말의 기울임 각도 정보를 수집한다. 센서부(601)는 휴대 단말에 구비된 전면 카메라 및 방향 센서, 가속도 센서, 자기계 센서 등의 센서들을 포함할 수 있다. 전면 카메라는 휴대 단말의 전면에 배치되어, 사용자의 얼굴을 촬영한다. 방향 센서는 휴대 단말의 내부에 배치되어, 휴대 단말의 방위각(azimuth), 피치(pitch), 롤(roll)을 측정한다. 가속도 센서와 자기계 센서는 휴대 단말의 내부에 배치되어, 휴대 단말이 이동할 때의 가속도나 자기장의 세기를 3차원 축 방향으로 측정한다. 사용자의 얼굴 영상은 전면 카메라로부터 획득될 수 있다. 휴대 단말의 기울임 각도 정보는 방향 센서의 피치값이 이용될 수 있다. 또한 휴대 단말의 기울임 각도 정보는 가속도 센서와 자기계 센서의 측정값을 회전 행렬(rotation matrix)에 적용한 결과가 이용될 수도 있다.
경추 상태 추정부(602)는 사용자의 경추 상태를 추정한다. 예컨대, 경추 상태 추정부(602)는 사용자의 경추 상태가 정상인지 또는 비정상인지 여부를 결정할 수 있다.
경추 상태 추정에 사용되는 정보는 사용자의 얼굴 영상과 휴대 단말 기울임 각도가 모두 사용될 수도 있고, 둘 중 하나만 사용될 수도 있다.
얼굴 영상만 이용되는 경우를 예시적으로 설명한다. 도 2와 같이, 경추 상태 추정부(602)는 미리 저장된 기준 얼굴 영상(201)과 현재 수신된 얼굴 영상(202)을 비교해서 사용자가 고개를 숙이고 있는지 여부를 판단한다. 예컨대, 얼굴의 윤곽, 얼굴과 목의 면적, 얼굴의 밝기 등이 특징 정보로서 비교될 수가 있다. 사용자가 고개를 숙이고 있는 경우, 그 고개를 숙이고 있는 시간이 정해진 임계 시간 이상으로 지속되면, 경추 상태를 비정상이라고 결정할 수 있다.
휴대 단말 기울임 각도만 이용되는 경우를 예시적으로 설명한다. 도 3과 같이, 경추 상태 추정부(602)는 휴대 단말의 기울임 각도(310)가 고개를 숙인 각도(320)와 실질적으로 동일하다고 간주하고 휴대 단말의 기울임 각도(310)가 정해진 임계값 이하인지 여부를 판단한다. 만약 휴대 단말의 기울임 각도(310)가 정해진 임계값 이하이고, 그 상태가 임계 시간 이상으로 지속되면, 경추 상태를 비정상이라고 결정할 수 있다.
또한 전술한 예와 달리, 얼굴 영상과 휴대 단말 기울임 각도가 모두 이용될 수도 있다. 예를 들어, 얼굴 영상을 이용해서 대략적인 경추 상태를 추정하고 휴대 단말 기울임 각도를 이용해서 구체적인 경추 상태를 추정할 수도 있다. 다시 말해, 얼굴 영상에 기초하여 현재 사용자의 상태가 경추에 무리가 올 가능성이 있는 자세인지 여부를 대략적으로 판단하고, 만약 그렇다면 현재의 휴대 단말 기울임 각도와 올바른 자세에서의 휴대 단말 기울임 각도의 평균값을 비교해서 최종적으로 경추 상태가 정상 범위인지 비정상 범위인지 여부를 판단할 수도 있다.
경추 상태 추정부(602)에 의해 사용자의 경추 상태가 비정상인 것으로 결정되면, 경보 실행부(603)는 소정의 경보를 실행한다. 실행되는 경보의 종류에는 제한이 없다. 예컨대, 문자, 소리, 진동, 표시화면변경 등 사용 자세의 변경을 유도하는 모든 방법이 가능하다.
도 7은 본 발명의 또 다른 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 7을 참조하면, 본 실시예에 따른 장치(700)는 센서부(601), 경추 상태 추정부(602), 및 경보 실행부(603)를 포함하고, 패턴 저장부(701), 및 사용자 설정부(702)를 더 포함한다. 센서부(601), 경추 상태 추정부(602), 및 경보 실행부(603)는 도 6에서 설명한 것과 동일하다.
패턴 저장부(701)는 추정된 경추 상태, 추정 당시의 경추의 기울임 각도, 및 추정 당시의 얼굴 영상의 특징 정보 등을 저장할 수 있다. 패턴 저장부(701)는 센서부(601)로부터 사용자의 얼굴 영상과 휴대 단말 기울임 각도를 수신한다. 패턴 저장부(701)는 수신된 사용자의 얼굴 영상에서 특징점을 추출하고, 추출된 특징점을 휴대 단말 기울임 각도와 함께 데이터베이스에 저장한다. 데이터베이스의 예는 다음과 같다.
얼굴윤곽타입 전체화면대비
얼굴면적비율
전체화면대비
목면적비율
얼굴 밝기
(1~10)
휴대 단말
기울임 각도
(pitch)
Oval
23% 5% 8 -91
사용자/촬영상태마다 경추 상태별 얼굴 영상의 특징점이 상이하므로, 사용자에 의한 기준 얼굴 영상 촬영(예컨대, 좋은 자세 또는 나쁜 자세)을 통해 학습데이터가 생성될 수 있다. 패턴 저장부(701)에 의해 저장된 데이터베이스 (학습 데이터 포함)는 경추 상태 추정부(602)에 의한 영상 분류에 활용될 수가 있다.
사용자 설정부(702)는 사용자의 입력에 응답하여 경추 상태 추정부(602)의 파라미터 및/또는 경보 실행부(603)가 실행할 경보의 종류를 설정한다. 경추 상태 추정부(602)의 파라미터는, 경추 상태가 정상인지 또는 비정상인지 여부를 판단할 때 사용되는 각종 임계값, 임계시간 또는 영상 비교에서 사용되는 특징점의 종류 등이 될 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 8을 참조하면, 본 실시예에 따른 장치(800)는 센서부(601), 경추 상태 추정부(602), 주시 상태 추정부(801), 및 경보 실행부(802)를 포함할 수 있다. 센서부(601) 및 경추 상태 추정부(602)는 도 6에서 설명한 것과 동일하다.
주시 상태 추정부(801)는 사용자의 휴대 단말 주시 상태를 추정한다. 휴대 단말 주시 상태는 사용자 눈과 휴대 단말의 거리 및/또는 휴대 단말 응시의 집중도 정도가 정상 범위인지 또는 비정상 범위인지를 나타낼 수 있다.
사용자 눈과 휴대 단말의 거리를 이용하여 휴대 단말 주시 상태를 결정하는 예를 살펴본다. 예컨대, 주시 상태 추정부(801)는 도 4와 같이 촬영된 영상(402)에서 얼굴 부분(420)이 차지하는 비율을 토대로 사용자 눈과 휴대 단말간의 거리를 추정할 수 있다. 만약 추정된 거리가 임계 범위를 벗어나고 그 상태가 임계 시간 이상으로 지속되면, 주시 상태 추정부(801)는 휴대 단말 주시 상태가 비정상 범위인 것으로 결정할 수 있다.
휴대 단말 응시의 집중도 정도를 이용하여 휴대 단말 주시 상태를 결정하는 예를 살펴본다. 예컨대, 주시 상태 추정부(801)는 도 5와 같이 촬영된 영상에서 눈의 움직임 정보(예컨대, 주시 시간 또는 깜박임 횟수/시간 등)를 토대로 휴대 단말 응시의 집중도 정도를 추정할 수 있다. 만약 추정된 휴대 단말 응시의 집중도 정도가 임계 범위를 벗어나고 그 상태가 임계 시간 이상으로 지속되면, 주시 상태 추정부(801)는 휴대 단말 주시 상태가 비정상 범위인 것으로 결정할 수 있다.
또한 사용자 눈과 휴대 단말간의 거리와 휴대 단말 응시의 집중도 정도를 모두 파악하여 둘 중에 하나라도 임계 범위를 벗어나면 휴대 단말 주시 상태가 비정상 범위인 것으로 결정할 수도 있고, 사용자 눈과 휴대 단말간의 거리에 기초하여 예비적으로 휴대 단말 주시 상태를 결정한 후, 휴대 단말 응시의 집중도 정도에 기초하여 최종적으로 휴대 단말 주시 상태를 결정할 수도 있다.
경보 실행부(802)는 경추 상태 추정부(602)에 의해 사용자의 경추 상태가 비정상 범위인 것으로 결정되거나, 또는 주시 상태 추정부(801)에 의해 사용자의 휴대 단말 주시 상태가 비정상 범위인 것으로 결정되면, 소정의 경보를 실행한다. 실행되는 경보의 종류에는 제한이 없다.
도 9는 본 발명의 또 다른 실시예에 따른 올바른 기기사용자세 유도 장치를 도시한다.
도 9를 참조하면, 본 실시예에 따른 장치(900)는 센서부(601), 경추 상태 추정부(602), 주시 상태 추정부(801), 경보 실행부(802), 패턴 저장부(701), 및 사용자 설정부(702)를 포함할 수 있다. 도 9에서, 각각의 구성 및 기능은 전술한 도 6 내지 도 8과 동일하므로 동일한 참조 부호를 병기하고 자세한 설명은 생략하기로 한다. 다만 도 7과 달리 사용자 설정부(702)는 주시 상태 추정부(801)의 파라미터도 추가적으로 설정할 수가 있다.
도 10은 본 발명의 일 실시예에 따른 올바른 기기사용자세 유도 방법을 도시한다.
도 10을 참조하면, 먼저 휴대 단말의 센싱 데이터가 수집된다(1001). 수집되는 센싱 데이터는 별도의 센서를 부가하지 않고 휴대 단말의 자체 기능으로부터 얻어질 수 있는 데이터들이 될 수 있다. 예컨대, 센싱 데이터는 전면 영상, 즉 사용자의 얼굴 영상, 휴대 단말의 자세 정보, 즉 방향 센서, 가속도 센서, 자기계 센서 등의 센싱 정보 등이 될 수 있다.
센싱 데이터가 수집되면, 사용자의 경추 상태 또는 사용자의 휴대 단말 주시 상태가 비정상인지 여부가 판단된다(1002). 경추 상태란 사용자의 머리와 몸통이 이루는 각도, 즉 경추의 기울어진 정도가 정상 범위인지 또는 비정상 범위인지를 나타낸다. 휴대 단말 주시 상태란 사용자가 휴대 단말을 응시할 때 눈 또는 자세에 무리가 오는 정도가 정상 범위인지 또는 비정상 범위인지를 나타낸다. 경추 상태는 도 2 및/또는 도 3과 같이 얼굴 영상 및/또는 휴대 단말의 기울임 각도를 이용해서 추정될 수 있다. 휴대 단말 주시 상태는 도 4 및/또는 도 5와 같이 사용자 눈과 휴대 단말 간의 거리 및/또는 휴대 단말 응시의 집중도 정도를 이용해서 추정될 수 있다.
경추 상태 또는 휴대 단말 주시 상태가 비정상인 경우, 소정의 경보가 실행된다(1003). 실행되는 경보에는 제한이 없다. 예를 들어, 사용자의 자세 변경을 유도할 수 있도록 각종 영상, 문자, 음성, 진동 등의 경보를 실행하는 것이 가능하다.
이상에서 살펴본 것과 같이, 개시된 실시예에 의하면, 별도의 센서 없이도 휴대 단말 자체의 센싱 데이터를 이용해서 사용자가 올바른 자세로 휴대 단말을 사용하고 있는지 여부를 판단할 수 있고, 그 사용 자세가 올바르지 않다면 자세 변경을 유도하는 경보를 발생함으로써 휴대 단말의 사용에 따른 각종 질환을 사전에 예방할 수가 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
나아가 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
101: 판단부
102: 경보 실행부
601: 센서부
602: 경추 상태 추정부
603: 경보 실행부
701: 패턴 저장부
702: 사용자 설정부

Claims (26)

  1. 휴대 단말로 촬영된 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 상기 사용자가 상기 휴대 단말을 올바른 자세로 사용하고 있는지 여부를 판단하는 판단부; 및
    상기 판단부의 판단 결과에 따라 상기 사용자가 상기 휴대 단말을 올바른 자세로 사용하고 있지 아니한 경우, 소정의 경보를 실행하는 경보실행부; 를 포함하고,
    상기 판단부는,
    기준 얼굴 영상과 상기 사용자의 얼굴 영상에서 얼굴 부분이 차지하는 비율을 비교하여 사용자의 눈과 휴대 단말 간의 거리를 계산하고,
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보로서 주시 시간 및 눈의 깜박임 횟수를 이용하여 상기 사용자의 휴대 단말에 대한 주시 집중 정도를 계산하여,
    상기 사용자의 휴대 단말 주시 상태가 임계 범위를 벗어나고 그 상태가 임계 시간 이상 지속되면 상기 사용자의 휴대 단말 주시 상태가 비정상이라고 판단하는 올바른 기기사용자세 유도 장치.
  2. 제 1 항에 있어서, 상기 판단부는
    상기 올바른 자세에 관한 판단 기준으로서 상기 사용자의 경추 상태 및 상기 사용자의 휴대 단말 주시 상태 중 적어도 하나를 추정하는 올바른 기기사용자세 유도 장치.
  3. 제 2 항에 있어서, 상기 판단부는
    상기 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도 중 적어도 하나를 이용하여, 상기 경추 상태로서 상기 사용자의 경추의 기울어진 정도를 추정하는 경추 상태 추정부; 를 포함하는 올바른 기기사용자세 유도 장치.
  4. 제 2 항에 있어서, 상기 판단부는
    상기 사용자의 얼굴 영상을 이용하여, 상기 휴대 단말 주시 상태로서 상기 사용자의 눈과 상기 휴대 단말간의 거리 또는 상기 사용자의 상기 휴대 단말에 대한 주시 집중 정도를 추정하는 주시 상태 추정부; 를 포함하는 올바른 기기사용자세 유도 장치.
  5. 휴대 단말로 촬영된 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도를 수집하는 센서부;
    상기 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 상기 사용자의 경추 상태를 추정하는 경추 상태 추정부;
    기준 얼굴 영상과 상기 사용자의 얼굴 영상에서 얼굴 부분이 차지하는 비율을 비교하여 사용자의 눈과 휴대 단말 간의 거리를 계산하고, 상기 사용자의 얼굴 영상에서 눈의 움직임 정보로서 주시 시간 및 눈의 깜박임 횟수를 이용하여 상기 사용자의 휴대 단말에 대한 주시 집중 정도를 계산하여, 상기 사용자의 휴대 단말 주시 상태가 임계 범위를 벗어나고 그 상태가 임계 시간 이상 지속되면 상기 사용자의 휴대 단말 주시 상태가 비정상이라고 추정하는 주시 상태 추정부; 및
    상기 경추 상태 추정부 및 상기 주시 상태 추정부의 추정 결과에 따라 소정의 경보를 실행하는 경보실행부; 를 포함하는 올바른 기기사용자세 유도 장치.
  6. 제 5 항에 있어서, 상기 경추 상태 추정부는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  7. 제 5 항에 있어서, 상기 경추 상태 추정부는
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  8. 제 5 항에 있어서, 상기 경추 상태 추정부는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 예비적으로 결정하고,
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 최종적으로 결정하는 올바른 기기사용자세 유도 장치.
  9. 제 5 항에 있어서,
    상기 센서부로부터 상기 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도를 수신하고,
    상기 얼굴 영상에서 특징점을 추출하고, 추출된 특징점과 상기 휴대 단말의 기울임 각도를 매칭해서 저장하는 패턴저장부; 를 더 포함하는 올바른 기기사용자세 유도 장치.
  10. 제 5 항에 있어서,
    상기 사용자의 입력에 응답하여 상기 경추 상태 추정부의 파라미터 및 상기 경보 실행부가 실행할 경보의 종류를 설정하는 사용자 설정부; 를 더 포함하는 올바른 기기사용자세 유도 장치.
  11. 휴대 단말로 촬영된 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도를 수집하는 센서부;
    상기 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 상기 사용자의 경추 상태가 정상인지 또는 비정상인지를 추정하는 경추 상태 추정부;
    상기 경추 상태가 정상인 경우, 상기 사용자의 얼굴 영상을 이용해서 상기 사용자의 휴대 단말 주시 상태가 정상인지 또는 비정상인지를 추정하는 주시 상태 추정부; 및
    상기 경추 상태 또는 상기 휴대 단말 주시 상태가 비정상인 경우, 소정의 경보를 실행하는 경보실행부; 를 포함하고,
    상기 주시 상태 추정부는,
    기준 얼굴 영상과 상기 사용자의 얼굴 영상에서 얼굴 부분이 차지하는 비율을 비교하여 사용자의 눈과 휴대 단말 간의 거리를 계산하고,
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보로서 주시 시간 및 눈의 깜박임 횟수를 이용하여 상기 사용자의 휴대 단말에 대한 주시 집중 정도를 계산하여,
    상기 사용자의 휴대 단말 주시 상태가 임계 범위를 벗어나고 그 상태가 임계 시간 이상 지속되면 상기 사용자의 휴대 단말 주시 상태가 비정상이라고 추정하는 올바른 기기사용자세 유도 장치.
  12. 제 11 항에 있어서, 상기 경추 상태 추정부는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  13. 제 11 항에 있어서, 상기 경추 상태 추정부는
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  14. 제 11 항에 있어서, 상기 경추 상태 추정부는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 예비적으로 결정하고,
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 최종적으로 결정하는 올바른 기기사용자세 유도 장치.
  15. 제 11 항에 있어서, 상기 주시 상태 추정부는
    상기 사용자의 얼굴 영상에서 전체 화면 대비 얼굴 부분의 크기 비율을 이용하여 상기 사용자의 눈과 상기 휴대 단말 간의 거리를 계산하고, 계산된 상기 거리에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  16. 제 11 항에 있어서, 상기 주시 상태 추정부는
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보를 이용하여 상기 사용자의 상기 휴대 단말에 대한 주시 집중 정도를 계산하고, 계산된 상기 주시 집중 정도에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 장치.
  17. 제 11 항에 있어서, 상기 주시 상태 추정부는
    상기 사용자의 얼굴 영상에서 전체 화면 대비 얼굴 부분의 크기 비율을 이용하여 상기 사용자의 눈과 상기 휴대 단말 간의 거리를 계산하고, 계산된 상기 거리에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 예비적으로 결정하고,
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보를 이용하여 상기 사용자의 상기 휴대 단말에 대한 주시 집중 정도를 계산하고, 계산된 상기 주시 집중 정도에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 최종적으로 결정하는 올바른 기기사용자세 유도 장치.
  18. 제 11 항에 있어서,
    상기 센서부로부터 상기 사용자의 얼굴 영상 및 상기 휴대 단말의 기울임 각도를 수신하고,
    상기 얼굴 영상에서 특징점을 추출하고, 추출된 특징점과 상기 휴대 단말의 기울임 각도를 매칭해서 저장하는 패턴저장부; 를 더 포함하는 올바른 기기사용자세 유도 장치.
  19. 제 11 항에 있어서,
    상기 사용자의 입력에 응답하여 상기 경추 상태 추정부의 파라미터, 상기 주시 상태 추정부의 파라미터 및 상기 경보 실행부가 실행할 경보의 종류를 설정하는 사용자 설정부; 를 더 포함하는 올바른 기기사용자세 유도 장치.
  20. 사용자의 얼굴 영상 및 휴대 단말의 기울임 각도 중 적어도 하나를 이용해서 상기 사용자의 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계;
    상기 사용자의 얼굴 영상을 이용하여 상기 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계; 및
    상기 경추 상태 또는 상기 휴대 단말 주시 상태가 비정상 범위인 경우, 소정의 경보를 실행하는 단계; 를 포함하고,
    상기 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는,
    기준 얼굴 영상과 상기 사용자의 얼굴 영상에서 얼굴 부분이 차지하는 비율을 비교하여 사용자의 눈과 휴대 단말 간의 거리를 계산하고,
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보로서 주시 시간 및 눈의 깜박임 횟수를 이용하여 상기 사용자의 휴대 단말에 대한 주시 집중 정도를 계산하여,
    상기 사용자의 휴대 단말 주시 상태가 임계 범위를 벗어나고 그 상태가 임계 시간 이상 지속되면 상기 사용자의 휴대 단말 주시 상태가 비정상이라고 결정하는 올바른 기기사용자세 유도 방법.
  21. 제 20 항에 있어서, 상기 사용자의 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 방법.
  22. 제 20 항에 있어서, 상기 사용자의 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 방법.
  23. 제 20 항에 있어서, 상기 사용자의 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    미리 저장된 기준 얼굴 영상과 현재 촬영된 얼굴 영상을 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 예비적으로 결정하고,
    정해진 임계값과 상기 휴대 단말의 기울임 각도를 비교하여 상기 경추 상태가 정상 범위인지 또는 비정상 범위인지 여부를 최종적으로 결정하는 올바른 기기사용자세 유도 방법.
  24. 제 20 항에 있어서, 상기 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    상기 사용자의 얼굴 영상에서 전체 화면 대비 얼굴 부분의 크기 비율을 이용하여 상기 사용자의 눈과 상기 휴대 단말 간의 거리를 계산하고, 계산된 상기 거리에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 방법.
  25. 제 20 항에 있어서, 상기 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보를 이용하여 상기 사용자의 상기 휴대 단말에 대한 주시 집중 정도를 계산하고, 계산된 상기 주시 집중 정도에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 올바른 기기사용자세 유도 방법.
  26. 제 20 항에 있어서, 상기 사용자의 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 결정하는 단계는
    상기 사용자의 얼굴 영상에서 전체 화면 대비 얼굴 부분의 크기 비율을 이용하여 상기 사용자의 눈과 상기 휴대 단말 간의 거리를 계산하고, 계산된 상기 거리에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 예비적으로 결정하고,
    상기 사용자의 얼굴 영상에서 눈의 움직임 정보를 이용하여 상기 사용자의 상기 휴대 단말에 대한 주시 집중 정도를 계산하고, 계산된 상기 주시 집중 정도에 따라 상기 휴대 단말 주시 상태가 정상 범위인지 또는 비정상 범위인지 여부를 최종적으로 결정하는 올바른 기기사용자세 유도 방법.
KR1020110094854A 2011-09-20 2011-09-20 올바른 기기사용자세 유도 장치 및 방법 KR101868597B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110094854A KR101868597B1 (ko) 2011-09-20 2011-09-20 올바른 기기사용자세 유도 장치 및 방법
US13/420,789 US9141761B2 (en) 2011-09-20 2012-03-15 Apparatus and method for assisting user to maintain correct posture
EP12184924.4A EP2573696B1 (en) 2011-09-20 2012-09-19 Apparatus and method for assisting user to maintain correct posture
JP2012206804A JP6050069B2 (ja) 2011-09-20 2012-09-20 正しい機器使用姿勢誘導装置及び方法
CN2012103518795A CN103021140A (zh) 2011-09-20 2012-09-20 用于帮助用户保持正确姿势的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110094854A KR101868597B1 (ko) 2011-09-20 2011-09-20 올바른 기기사용자세 유도 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130031120A KR20130031120A (ko) 2013-03-28
KR101868597B1 true KR101868597B1 (ko) 2018-06-19

Family

ID=47428466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110094854A KR101868597B1 (ko) 2011-09-20 2011-09-20 올바른 기기사용자세 유도 장치 및 방법

Country Status (5)

Country Link
US (1) US9141761B2 (ko)
EP (1) EP2573696B1 (ko)
JP (1) JP6050069B2 (ko)
KR (1) KR101868597B1 (ko)
CN (1) CN103021140A (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377643B (zh) * 2012-04-26 2017-02-15 富泰华工业(深圳)有限公司 字体调整系统及方法
KR102044498B1 (ko) * 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
CN104102435A (zh) * 2013-04-02 2014-10-15 百度在线网络技术(北京)有限公司 一种在使用设备时调整用户姿势的方法及设备
HK1181255A2 (en) * 2013-07-18 2013-11-01 Leung Spencer Yu Cheong Monitor system and method for smart device
JP2015039472A (ja) * 2013-08-21 2015-03-02 日本電信電話株式会社 姿勢検出方法及び携帯端末装置及びプログラム
CN104424771B (zh) * 2013-09-10 2018-07-06 南京中兴软件有限责任公司 一种告警方法及装置
CN103729981B (zh) * 2014-01-03 2015-10-14 东南大学 一种儿童坐姿监控智能终端
CN103795865B (zh) * 2014-02-12 2017-05-31 惠州Tcl移动通信有限公司 一种移动终端
CN103902043B (zh) * 2014-04-02 2018-08-31 努比亚技术有限公司 智能终端及其提醒方法
CN103927010B (zh) * 2014-04-16 2017-06-13 北京智产科技咨询有限公司 一种通过监控程序实现用户姿态检测的移动终端和方法
CN103927012B (zh) * 2014-04-16 2017-06-13 北京智产科技咨询有限公司 一种通过操作系统实现用户姿态检测的移动终端和方法
WO2015158258A1 (zh) * 2014-04-16 2015-10-22 苏州尚德智产通信技术有限公司 一种用户姿态检测方法、装置及系统
CN103955272B (zh) * 2014-04-16 2017-08-29 北京智产科技咨询有限公司 一种终端设备用户姿态检测系统
CN103955271B (zh) * 2014-04-16 2017-06-09 北京智产科技咨询有限公司 一种通过操作系统实现用户姿态检测的移动终端和方法
CN103955273B (zh) * 2014-04-16 2017-06-13 北京智产科技咨询有限公司 一种通过操作系统实现用户姿态检测的移动终端和方法
CN103927011B (zh) * 2014-04-16 2017-06-09 北京智产科技咨询有限公司 实现用户姿态检测的操作系统运行装置和应用程序模块
CN103927250B (zh) * 2014-04-16 2017-09-01 北京智产科技咨询有限公司 一种终端设备用户姿态检测方法
JP2017522104A (ja) 2014-07-02 2017-08-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 目状態決定システム
US9406211B2 (en) 2014-11-19 2016-08-02 Medical Wearable Solutions Ltd. Wearable posture regulation system and method to regulate posture
CN104382599B (zh) * 2014-12-05 2017-01-18 京东方科技集团股份有限公司 用于测量颈椎活动的方法、设备和可穿戴装置
JP6481357B2 (ja) * 2014-12-22 2019-03-13 富士通コネクテッドテクノロジーズ株式会社 電子機器
CN104994218A (zh) * 2015-05-14 2015-10-21 努比亚技术有限公司 一种移动终端及其实现使用提醒的方法
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
KR101782086B1 (ko) * 2015-10-01 2017-09-26 장헌영 이동단말 제어장치 및 방법
GB2543057A (en) * 2015-10-01 2017-04-12 Yu Cheong Leung Spencer System and method for monitoring habits of user of electronic device
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN105516463B (zh) * 2015-11-27 2019-06-04 惠州Tcl移动通信有限公司 一种移动终端提醒方法及系统
CN106020460A (zh) * 2016-05-13 2016-10-12 上海龙旗科技股份有限公司 一种基于俯仰角信息提示用户的方法与设备
CN106095093B (zh) * 2016-06-08 2019-06-04 北京安云世纪科技有限公司 一种数据处理方法和装置
CN106339167A (zh) * 2016-08-19 2017-01-18 昆山工研院新型平板显示技术中心有限公司 一种显示设备
CN106343977B (zh) * 2016-09-21 2019-07-09 中国人民解放军国防科学技术大学 基于多传感器融合的无人机操作员状态监视系统
WO2018125778A1 (en) 2016-12-29 2018-07-05 Posture Solutions, LLC Progressive display alteration in real-time to effect desirable behavior
KR101851099B1 (ko) * 2017-01-19 2018-04-20 신소현 영상처리 기계학습을 이용한 소프트웨어 기반의 거북목 방지 방법 및 시스템
JP6598258B2 (ja) * 2017-06-20 2019-10-30 修 宇留野 姿勢監視装置、姿勢監視方法及び姿勢監視プログラム
US20190021652A1 (en) * 2017-07-19 2019-01-24 International Business Machines Corporation Monitoring the posture of a user
US10602976B2 (en) 2017-08-03 2020-03-31 International Business Machines Corporation Personalized posture correction
CN107977153A (zh) * 2017-10-23 2018-05-01 广东小天才科技有限公司 一种移动终端的护眼方法、装置、移动终端及存储介质
JP7084709B2 (ja) * 2017-10-31 2022-06-15 株式会社イトーキ 机システム、及びプログラム。
CN108661545B (zh) * 2018-04-11 2019-11-15 新昌县坞捷农业科技有限公司 多功能金属梯的控制方法
WO2019216453A1 (ko) * 2018-05-09 2019-11-14 Jeong Gyumin 자세 교정 가이드 제공 시스템 및 방법
CN109171692A (zh) * 2018-10-10 2019-01-11 合肥京东方光电科技有限公司 护颈显示系统、利用护颈显示系统护颈的方法
JP7055111B2 (ja) * 2019-02-19 2022-04-15 Kddi株式会社 ユーザの首曲げ状態を推定可能な携帯装置、プログラム及び方法
CN110236551A (zh) * 2019-05-21 2019-09-17 西藏纳旺网络技术有限公司 用户颈椎倾斜角度的获取方法、装置、电子设备及介质
US11475753B2 (en) * 2019-07-02 2022-10-18 John Pellegrini Device for facilitating correcting of a posture of a user
CN110941998B (zh) * 2019-11-07 2024-02-02 咪咕互动娱乐有限公司 姿势调整方法、装置及计算机存储介质
KR102366612B1 (ko) * 2020-01-03 2022-02-23 주식회사 데이탄소프트 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치
CN111345928B (zh) * 2020-03-09 2022-02-25 腾讯科技(深圳)有限公司 头部姿势监测方法及装置、存储介质、电子设备
JPWO2022190578A1 (ko) * 2021-03-10 2022-09-15
CN113031773A (zh) * 2021-03-24 2021-06-25 Oppo广东移动通信有限公司 提示方法、电子设备及计算机可读存储介质
US20220319045A1 (en) * 2021-04-01 2022-10-06 MohammadSado Lulu System For Posture Detection Using The Camera Of A Hand-Held Device
CN113486789A (zh) * 2021-07-05 2021-10-08 维沃移动通信有限公司 基于脸部面积的坐姿检测方法、电子设备及存储介质
JP7331281B2 (ja) * 2021-07-30 2023-08-22 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
JP7282235B2 (ja) * 2021-07-30 2023-05-26 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
JP7331282B2 (ja) * 2021-07-30 2023-08-22 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
JP7331283B2 (ja) * 2021-07-30 2023-08-22 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
JP7174817B1 (ja) 2021-07-30 2022-11-17 功憲 末次 不適切使用抑制システムおよび不適切使用抑制プログラム
CN113723297A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 颈椎姿态评估方法、装置、设备及存储介质
US11927993B2 (en) * 2022-06-23 2024-03-12 UpBright LLC System for biomechanically optimizing use of mobile devices
US20240087432A1 (en) * 2022-09-11 2024-03-14 John Pellegrini Device for facilitating correcting of a posture of a user
KR102552192B1 (ko) * 2023-04-03 2023-07-05 김택균 바른자세 모니터링 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375971U (ko) * 1989-11-28 1991-07-30
JP3075971U (ja) * 1999-08-18 2001-03-16 ▲黄▼榮堂 目の保護システム
JP2005261869A (ja) * 2004-03-16 2005-09-29 Eye Power Sports Inc 電子表示装置に対する視距離通知装置と方法
US20090324024A1 (en) * 2008-06-25 2009-12-31 Postureminder Ltd System and method for improving posture
JP2010086192A (ja) * 2008-09-30 2010-04-15 Sony Ericsson Mobile Communications Ab 携帯機器、コンピュータプログラムおよび記録媒体
US20110080290A1 (en) * 2009-10-01 2011-04-07 Baxi Amit S Ergonomic detection, processing and alerting for computing devices

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084263A (ko) 2002-12-11 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 폰 이미지에서 머리 자세를 보정하기 위한 방법 및장치
KR100657917B1 (ko) 2004-12-11 2006-12-14 삼성전자주식회사 자세 교정 장치 및 그 방법
KR20060124207A (ko) 2005-05-31 2006-12-05 주식회사 팬택 자세를 교정할 수 있는 이동통신단말기 및 자세교정방법
KR20070071308A (ko) 2005-12-30 2007-07-04 주식회사 팬택 이동통신단말기에서의 자세 교정 정보 제공 방법 및 그장치
KR101275490B1 (ko) 2006-06-30 2013-06-14 삼성전자주식회사 동작 인식을 이용한 자세교정 단말 장치 및 방법
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
CN100578531C (zh) * 2007-11-08 2010-01-06 北京中星微电子有限公司 一种实现视力保护的显示器、装置及方法
KR20110037297A (ko) * 2009-10-06 2011-04-13 삼성전자주식회사 단말에서 문자 입력 방법 및 시스템
JP2011090421A (ja) 2009-10-21 2011-05-06 Rohm Co Ltd モバイル機器
CN102648615B (zh) 2009-10-16 2015-11-25 罗姆股份有限公司 移动装置
CN201590203U (zh) * 2009-12-03 2010-09-22 冠捷投资有限公司 符合人体工学的显示器
US8810413B2 (en) * 2010-10-15 2014-08-19 Hewlett Packard Development Company, L.P. User fatigue

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375971U (ko) * 1989-11-28 1991-07-30
JP3075971U (ja) * 1999-08-18 2001-03-16 ▲黄▼榮堂 目の保護システム
JP2005261869A (ja) * 2004-03-16 2005-09-29 Eye Power Sports Inc 電子表示装置に対する視距離通知装置と方法
US20090324024A1 (en) * 2008-06-25 2009-12-31 Postureminder Ltd System and method for improving posture
JP2010086192A (ja) * 2008-09-30 2010-04-15 Sony Ericsson Mobile Communications Ab 携帯機器、コンピュータプログラムおよび記録媒体
US20110080290A1 (en) * 2009-10-01 2011-04-07 Baxi Amit S Ergonomic detection, processing and alerting for computing devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본 등록실용신안공보 실용신안등록 제 3075971호(2001.03.16.) 1부. *

Also Published As

Publication number Publication date
EP2573696A3 (en) 2013-10-02
JP2013069286A (ja) 2013-04-18
US20130072820A1 (en) 2013-03-21
KR20130031120A (ko) 2013-03-28
CN103021140A (zh) 2013-04-03
EP2573696A2 (en) 2013-03-27
US9141761B2 (en) 2015-09-22
EP2573696B1 (en) 2018-08-15
JP6050069B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
KR101868597B1 (ko) 올바른 기기사용자세 유도 장치 및 방법
CN107272904B (zh) 一种图像显示方法及电子设备
US9526448B2 (en) State estimation device and state estimation program
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
KR101851099B1 (ko) 영상처리 기계학습을 이용한 소프트웨어 기반의 거북목 방지 방법 및 시스템
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
Lawanont et al. Neck posture monitoring system based on image detection and smartphone sensors using the prolonged usage classification concept
CN106843821A (zh) 自动调整屏幕的方法和装置
US20160232399A1 (en) System and method of detecting a gaze of a viewer
WO2018013968A1 (en) Posture analysis systems and methods
CN114391117A (zh) 眼睛跟踪延迟增强
CN111444748B (zh) 一种坐姿检测方法、装置、设备及存储介质
US20170156585A1 (en) Eye condition determination system
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
KR20160062521A (ko) 목디스크 예방시스템 및 방법
TW201917528A (zh) 頭頸姿勢監測之方法
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
CN113744499B (zh) 一种疲劳预警方法、眼镜、系统和计算机可读存储介质
JP4118773B2 (ja) 視線方向検出装置及び視線方向検出方法
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
CN107562352A (zh) 计算机用户姿态纠正方法
US20220192560A1 (en) Systems and methods for evaluating mindfulness
CN104460993A (zh) 基于arm的角度及距离提醒装置
CN113271852B (zh) 注意力判定装置、注意力判定系统、注意力判定方法和计算机能读取的存储介质
KR101601508B1 (ko) 시선 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant