Nothing Special   »   [go: up one dir, main page]

KR101472960B1 - 패턴인식을 이용한 보행자 방향 추정 장치 및 방법 - Google Patents

패턴인식을 이용한 보행자 방향 추정 장치 및 방법 Download PDF

Info

Publication number
KR101472960B1
KR101472960B1 KR1020130092945A KR20130092945A KR101472960B1 KR 101472960 B1 KR101472960 B1 KR 101472960B1 KR 1020130092945 A KR1020130092945 A KR 1020130092945A KR 20130092945 A KR20130092945 A KR 20130092945A KR 101472960 B1 KR101472960 B1 KR 101472960B1
Authority
KR
South Korea
Prior art keywords
information
user
estimating
operation pattern
pattern
Prior art date
Application number
KR1020130092945A
Other languages
English (en)
Inventor
이택진
이석
김재헌
김선호
이정호
신범주
김철기
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130092945A priority Critical patent/KR101472960B1/ko
Application granted granted Critical
Publication of KR101472960B1 publication Critical patent/KR101472960B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Environmental & Geological Engineering (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Geology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따르면 사용자의 동작패턴을 결정하기 위한 동작패턴정보 및 사용자의 이동방향을 추정하기 위한 방향패턴정보를 저장하는 데이터베이스, 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 센서부, 상기 센싱 결과를 기초로 상기 데이터베이스에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작이 해당되는 하나의 동작패턴을 결정하는 동작패턴 결정부, 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 방향 추정부를 포함하는 패턴인식을 이용한 보행자 방향 추정 장치 및 이 장치를 이용한 방향 추정 방법이 개시된다.

Description

패턴인식을 이용한 보행자 방향 추정 장치 및 방법{APPARATUS AND METHOD FOR ESIMATING ORIENTATION USING PATTERN RECOGNIION}
본 발명은 사용자의 이동방향을 추정하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 실내에서 특정한 동작을 한 상태에서 이동하는 사용자의 이동방향을 추정하는 장치 및 방법에 관한 것이다.
사용자의 위치를 추정하기 위해서 일반적으로 GPS 등을 이용한 위성항법이 이용된다. 그러나 GPS를 이용한 위성항법기술은 오차범위가 크며, 사용할 수 있는 공간이 제한되어 있다. 예컨대 GPS신호가 미약한 실내공간 에서는 추측항법을 이용하여 사용자의 위치를 추정하게 된다.
추측항법 기술은 보행자 추측 항법 기술(PDR: Pedestrian Dead-Reckoning)에 기반한다. 추측항법 기술에 있어서 사용자의 이동방향은 지자기센서와 자이로센서의 출력값을 그대로 이용하거나 출력값을 일부 보정하여 이용하여 추정된다. 그러나 이 경우 사용자가 다양한 동작을 취하여 이동하면 센서모듈의 축이 계속적으로 변하기 때문에 이동방향을 정확하게 추정하는 것이 어렵다.
도1은 종래방식에 따른 이동방향 추정 장치(1)를 이용하는 모습을 나타내는 도이다. 종래의 경우 사용자는 도1과 같이 장치(1)를 이동방향에 고정시킨 상태에서 움직여야 이동방향을 정확하게 추정하는 것이 가능했다. 사용자가 장치(1)를 한 손에쥐고 뛴다거나 호주머니에 넣고 걷는 경우 지자기 센서의 축이 변화하여 종래방식에서는 이동방향을 정확하게 추정하기 어려운 문제점이 있다.
특허출원공개 10-2011-0072357
위와 같은 문제점을 해결하기 위해, 실내에서 사용자의 동작이 다양한 경우에 있어서도 지자기 센서와 회전감지 센서를 이용하여 사용자의 이동방향을 정확하게 추정하는 방법이 요구된다.
본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 장치는 사용자의 동작패턴을 결정하기 위한 동작패턴정보 및 사용자의 이동방향을 추정하기 위한 방향패턴정보를 저장하는 데이터베이스, 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 센서부, 상기 센싱 결과를 기초로 상기 데이터베이스에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작에 대응하는 하나의 동작패턴을 결정하는 동작패턴 결정부, 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 방향 추정부를 포함한다.
본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 방법은 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 단계, 상기 센싱 결과를 기초로 데이터베이스에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작이 해당되는 하나의 동작패턴을 결정하는 단계, 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 단계를 포함하되, 상기 데이터베이스는 사용자의 동작패턴을 결정하기 위한 상기 동작패턴정보 및 상기 사용자의 이동방향을 추정하기 위한 상기 방향패턴정보를 저장한다.
본 발명에 따르면, 위성항법을 사용하는 것이 불가한 실내공간에서, 기기를 한 손에쥐고 걷거나 뛰거나, 또는 호주머니에 넣는 등 자연스러운 동작을 취하면서 이동하는 경우에도, 사용자의 이동방향을 정확하게 추정할 수 있다.
도1은 종래 기술에 있어서 실내 방향추정을 위한 사용자의 사용을 보여주는 예시도이다.
도2는 본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 장치의 구성도이다.
도3은 본 발명의 일 실시예에 따른 데이터베이스(400)의 세부 구성도이다.
도4는 방향패턴정보를 설정하기 위한 실험 예시도이다.
도5a는 사용자가 본 발명의 방향추정장치를 손에쥐고 뛸경우 지자기 센서의 출력값의 변화를 나타내는 그래프이고, 도5b는 도5a의 출력값의 평균값으로 나타낸 그래프이다.
도6a 및 6b는 소정의 동작패턴에서 이동방향에 따른 지자기 센서의 출력값 변화를 나타내는 그래프이다.
도7은 장치를 한 손에 쥐고 뛰는 자세로 어느 일 방향으로 이동하는 사용자로부터 획득된 지자기 센서의 출력값을 나타낸다.
도8은 본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 방법의 순서도이다.
도9는 본 발명의 일 실시예에 따른 방향 추정 방법을 설명하기 위한 개념도이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도2는 본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 장치의 구성도이다. 도2를 참조하면, 보행자 방향 추정 장치(1000)는 센서부(100), 동작패턴 결정부(200), 방향 추정부(300) 및 데이터베이스(400)를 포함한다.
본 명세서에서 설명되는 방향 추정 장치는 핸드핼드 기기 또는 MEMS형 센서모듈을 포함하는 임의의 전자장치일 수 있다. 상기 핸드핼드 기기는 태블릿 PC, 스마트폰, 스마트 안경, 스마트 시계 등을 포함할 수 있다.
일 실시예에서, 데이터베이스(400)는 사용자의 동작패턴을 결정하기 위한 동작패턴정보 및 사용자의 이동방향을 추정하기 위한 방향패턴정보를 저장한다. 구체적으로 상기 방향패턴정보는 특정한 패턴으로 동작하는 사용자가 소정의 방향으로 이동시 변화되는 데이터에 대한 정보를 포함하고 있다.
도3은 본 발명의 일 실시예에 따른 데이터베이스(400)의 세부 구성도이다. 도2를 참조하면, 소정의 동작패턴들(411-416)이 동작패턴정보(410)에 포함되어 있고 소정의 동작패턴에 대한 소정의 방향정보세트(421-422)가 방향패턴정보(420)에 포함되어 있다. 그리고 상기 소정의 방향정보세트들은 서로 다른 방향을 갖는 방향정보(10-40)을 포함한다.
동작패턴정보(410)는 이동하는 사용자의 동작을 식별하기 위한 센서의 출력값으로서, 가속도 센서, 3축 지자기 센서 및 회전감지 센서의 출력값을 포함할 수 있다. 예컨대, 동작패턴정보는 소정의 동작패턴으로서 사용자가 방향 추정 장치를 손에 쥐고 걷거나, 손에 쥐고 뛰거나 또는 호주머니에 넣고 걷는 동작을 포함할 수 있고, 상기 동작들에 있어서 변화하는 상기 센서의 출력값들을 포함할 수 있다.
따라서 동작패턴1(411)이 방향 추정 장치를 한 손에 쥐고 걷는 동작패턴인 경우, 상기 동작패턴1(411)은 사용자가 방향 추정 장치를 한손에 쥐고 걸을 때 변화하는 가속도 센서, 지자기 센서 및 회전감지 센서의 출력값들의 패턴정보를 포함할 수 있다.
위에서는 가속도 센서, 지자기 센서 및 회전감지 센서를 이용하여 사용자의 동작을 식별하는 것으로 설명되었으나, 다른 실시예에서는 이 외에도 사용자의 동작을 식별할 수 있는 임의의 방법이 수단이 사용되어 사용자의 동작을 식별할 수도 있다.
방향패턴정보(420)는 소정의 동작패턴으로 이동하는 사용자의 이동방향 중에서 소정의 이동방향에 대한 방향정보(3축 지자기 정보 및 회전 정보)를 포함한다. 구체적으로, 방향패턴정보(420)는 특정한 사용자의 동작패턴을 상위개념으로 하여 각 동작패턴에서 특정한 방향으로 이동할 때의 지자기 센서 및 회전감지 센서의 출력값들을 포함한다. 그리고 방향패턴 정보는 이 센서의 출력값들의 평균값으로 데이터베이스에 저장될 수 있다.
도5a는 사용자가 본 발명의 방향추정장치를 손에쥐고 뛸경우 지자기 센서의 출력값의 변화를 나타내는 그래프이고, 도5b는 도5a의 출력값의 평균값으로 나타낸 그래프이다. 즉, 지자기센서(120)는 지자기 센서를 기준으로 xyz축에 해당하는 자기장의 세기를 측정하여 도5a와 같은 결과를 생성할 수 있고, 데이터의 값은 데이터 베이스에 평균화되어 저장될 수 있다.
예컨대 동작패턴1이 방향 추정 장치를 한손에 쥐고 걷기이고 방향패턴정보(420)는 동작패턴1로 동서남북 이동에 대한 방향정보를 각각 가지고 있는 경우, 방향정보 중 동쪽방향으로 이동에 대한 방향정보(10)는 사용자가 동작패턴1로 동쪽으로 이동시 지자기 센서 및 회전감지 센서의 출력값들의 집합을 포함한다. 이와 마찬가지 방식으로 서, 남, 북 방향에 대한 제2 내지 제4 방향정보(20-40)가 구성될 수 있다.
상술한 방향패턴정보(420)는 사용자에 의해 설정되고 상기 데이터베이스(400)에 저장될 수 있다. 도4는 방향패턴정보를 설정하기 위한 실험 예시도이고, 도6a 및 6b는 소정의 동작패턴에서 이동방향에 따른 지자기 센서의 출력값 변화를 나타내는 그래프이다.
이하에서는 설명의 단순화를 위해 "방향 추정 장치를 한 손에 쥐고 뛰기"를 동작패턴1로 하고, "방향 추정 장치를 보면서 걷기"를 동작패턴2로 하여 설명하도록 한다.
도4를 참조하면, 실험자는 동작패턴1의 자세로 시작점에서 화살표1, 2, 3, 4을 따라 이동하여 다시 원래의 시작점에 도달한다. 즉, 실험자는 동작패턴1로 북, 서, 남, 동 방향으로 이동한다. 이동시 3축 지자기 센서 및 회전센서의 출력값들이 기록된다. 또한 실험자는 동작패턴2의 자세로 동작패턴1의 경우와 같은 경로를 이동한다.
도6a 및 도6b는 소정의 동작패턴에서 이동방향에 따른 지자기 센서의 출력값 변화를 나타내는 그래프이다. 상기 두 번의 실험에 따라서 동작패턴1 및 2로 동서남북 이동시 지자기센서 및 회전센서의 출력값들이 각각 구해진다. 도6a 및 6b는 상기 실험 결과를 나타내는 그래프로서, x축은 획득된 센서데이터(시간)를 나타내며, y축은 지자기 센서의 출력값을 나타낸다, 즉 지자기 센서의 출력값은 실세계에서 xyz 축에 해당하는 자기장의 세기의 측정값이다.
도6a는 장치를 한손에 쥐고 뛰는 경우이고 도6b는 도1의 자세와 같이 장치를 보면서 걷는 경우의 출력값의 변화를 나타낸다. 도6a 및 6b를 참조하면 각 구간(방향)에서 지자기센서의 xyz축 출력값은 서로 상이하다. 따라서 방향 추정부(300)는 현재 이동하는 사용자로부터 획득되는 지자기 센서의 출력값과 정해진 동작 패턴에서 각 방향에 대한 지자기 센서의 출력값(데이터 베이스에는 그 평균값이 저장되므로, 평균값을) 비교하여 이동방향을 추정할 수 있다.
구체적으로 도6a의 그래프에서 구간1(x축)에서 지자기 센서의 출력값들은 도2에 나타난 제1 방향정보(10)로서 저장되고, 구간2에서 지자기 센서의 출력값들은 제2 방향정보(20)로서 저장될 수 있다. 여기서 지자기 센서의 패턴이 급격히 변하는 경우 방향이 변하는 것을 기초로 구간이 구분될 수 있다.
이와 같은 방식으로 각 동작패턴에 대한 각 방향정보가 획득되어 데이터베이스에 저장될 수 있으며 저장시에는 출력값들의 평균값으로 저장될 수도 있다.
또한 상술한 동서남북의 방향은 예시적인 것이고, 상대적이다. 따라서 데이터베이스에 저장되는 방향정보는 4방위에 한정되지 아니하며, 절대적인 방위에 한정되지도 않는다.
센서부(100)는 움직임을 감지하는 동작인식센서(motion recognition sensor)로서, 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱한다. 일 실시예에서 센서부(100)는 가속도 센서(110), 지자기 센서(120) 및 회전감지 센서(130)를 포함할 수 있다. 가속도 정보는 가속도 센서(acceleration sensor; 100)를 이용하여 획득될 수 있고, 3축 지자기 정보는 요(yaw), 피치(pitch), 롤(roll)에 대한 정보로서 지자기 센서(geomagnetism sensor)를 이용하여 획득될 수 있고, 회전 정보는 회전감지센서를 이용하여 획득되며 상기 회전감지센서는 자이로 센서(gyro sensor) 또는 디지털컴퍼스를 포함할 수 있다.
센서부(100)는 획득된 데이터를 동작패턴 결정부(200)로 전송할 수 있다. 유선 또는 무선방식을 통하여 데이터 통신을 할 수 있으며, 무선 방식의 경우 WLAN, Wibro, Wi-Fi, WIMAX, HSDPA 등이 이용될 수 있으며, 추가로 블루투스, 지그비, UWBm, RFID, 적외선 통신 등이 이용될 수 있다.
동작패턴 결정부(200)는 센싱결과를 기초로 상기 데이터베이스(400)에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작에 대응하는 하나의 동작패턴을 결정할 수 있다. 즉 동작패턴 결정부(200)는 모션인식 알고리즘을 이용하여 사용자의 현재 동작을 식별할 수 있다.
구체적으로, 동작패턴 결정부(200)는 소정의 동작패턴에 대한 정보(411-416)가 데이터베이스(400)에 저장되어 있으므로, 동작패턴 결정부(200)는 센싱결과를 데이터베이스(400)에 저장된 각 동작패턴들과 비교하여 현재 사용자가 취하는 동작의 종류를 결정할 수 있다. 상기 소정의 동작패턴은, 상기 보행자 방향 추정장치를 한 손에 쥐고, 걷기, 뛰기, 호주머니에 넣고 걷기, 정지, 전화 받기 중 적어도 하나를 포함할 수 있다.
방향 추정부(300)는 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스(400)에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정할 수 있다.
도7은 장치를 한손에 쥐고 뛰는 자세에서 어느 일 방향으로 이동하는 사용자로부터 획득된 지자기 센서의 출력값을 나타낸다. 이상적으로는 일정한 방향으로 이동하는 경우 계속 동일한 출력값이 나타나야 하지만 노이즈와 바이어스로인하여 도7에 나타난 바와 같이 출력값이 완전히 일정하지는 않는다.방향 추정부(400)는 결정된 동작패턴에 대하여 데이터베이스에 저장된 방향정보를 상기 출력값과 비교할 수 있다.
구체적으로 방향 추정부(300)는 방향추정 알고리즘을 이용하여 획득된 지자기 센서의 출력값 패턴과 가장 유사한 패턴을 가지는 방향정보를 동작패턴1의 방향정보(10-40) 중에서 검색하여 방향을 추정할 수 있다. 도7의 파형 및 크기는 도6a의 구간1의 출력값과 매우 유사하기 때문에, 방향 추정부(300)는 사용자가 동작패턴1의 자세로 북쪽(더 정확하게는 도4에 나타난 화살표1의 방향)으로 이동하고 있는 것으로 추정할 수 있다.
만일 도7의 그래프가 동작패턴2의 자세로 어느 일 방향으로 이동한 경우 지자기센서의 출력값인 경우, 방향 추정부(300)는 도6b의 그래프를 참조하여 사용자가 서쪽(더 정확하게는 도4에 나타난 화살표2의 방향)으로 이동하고 있는 것으로 그 이동방향을 추정할 수도 있다. 해당 동작패턴에 있어서는 지자기센서의 출력값이 유사한 정도가 구간2에서 가장 유사하기 때문이다.
다른 일 실시예에서 방향 추정부(300)는 1차적으로 지자기 센서(120)의 출력값을 데이터베이스(400)에 저장된 지자기 값과 비교하여 사용자의 이동방향을 추정하고, 2차적으로 회전감지 센서의 출력값을 이용하여 이동방향의 변화를 감지함으로써 1차적으로 추정된 방향을 보정할 수 있다. 예컨대. 도4에서 코너를 돌아가는 것과 같이 사용자의 이동방향이 급격하게 변하는 경우 회전감지 센서는 사용자의 회전을 감지하여 이동방향의 전환을 인식할 수 있기 때문에 방향 추정부는 방향전환 이벤트가 발생한 것을 확인하고 지자기 센서의 출력값을 다시 이용하여 이동방향의 추정을 수행할 수 있다. 회전감지 센서의 출력값을 이용하지 않는 경우, 계속적으로 이동방향을 추정해야 하므로 전력소모의 문제가 발생할 수도 있다.
또 다른 일 실시예에서 방향 추정부(300)는 지자기 센서의 출력값과 데이터베이스에 저장된 3축 지자기값의 매칭률 중 가장 높은 매칭률을 갖는 방향을 사용자의 이동방향으로 추정할 수 있다. 측정된 지자기 센서의 출력값이 데이터베이스에 저장된 방향정보들과 완전히 일치하는 경우는 드물기 때문에, 두 데이터의 유사한 정도를 판단하여 방향 추정을 수행할 수 있다. 물론 하나의 동작패턴에 수많은 방향정보를 보유하고 있는 경우 정확한 방향인식이 가능할 것이나 데이터 용량을 과도하게 차지하는 문제가 발생할 수 있다.
이 경우, 방향 추정부(300)는 측정된 지자기 센서의 출력값과 가장 유사한 지자기 센서의 출력값을 포함하는 방향정보를 사용자의 이동방향으로 추정할 수 있다. 그러나 측정된 지자기값과 저장된 지자기값이 매우 상이한 경우 가장 유사한 방향을 추정하는 것이 문제가 될 수 있으므로, 방향 추정부(300)는 임계치 이상의 매칭률을 가지는 방향정보 중에서 가장 높은 매칭률을 갖는 방향정보를 채택하여 이동방향을 추정할 수 있다.
또한 방향 추정부(300)는 두 데이터간의 유사한 정도가 임계치 이하인 경우 데이터베이스(400)에 저장되지 않은 방향을 사용자의 이동방향으로 추정할 수도 있다. 예컨대 동쪽과 북쪽 이동에 대하여 저장된 방향정보가 있으나 사용자가 실제로는 북동쪽으로 이동하고 있는 경우 방향 추정부(300)는 북동쪽으로 이동방향을 추정할 수 있다.
구체적으로 방향 추정부(300)는 수학식1을 이용하여 저장되지 않은 방향으로 사용자의 이동방향을 추정할 수 있다. 수학식1은 지자기 센서의 출력값을 벡터로 표현하였다.
Figure 112013071074737-pat00001
상기 식에서 D는 추정된 방향, A는 가장 큰 매칭률을 가진 방향벡터, α는 A방향에 대한 매칭률, B는 두 번째로 큰 매칭률을 가진 방향벡터, β는 B 방향에 대한 매칭률이다. 상기 매칭률은 측정된 지자기값과 해당 방향의 지자기값을 상기 측정된 지자기값으로 나눈 값일 수 있으며 다른 실시예에서 매칭률은 임의의 상수로 대체될 수도 있다.
도8은 본 발명의 일 실시예에 따른 패턴인식을 이용한 보행자 방향 추정 방법의 순서도이다. 도8을 참조하면 방향 추정 방법은 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 단계(S10), 상기 센싱 결과를 기초로 데이터베이스에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작이 해당되는 하나의 동작패턴을 결정하는 단계(S20) 및 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 단계(S30)를 포함하되, 상기 데이터베이스는 사용자의 동작패턴을 결정하기 위한 상기 동작패턴정보 및 상기 사용자의 이동방향을 추정하기 위한 상기 방향패턴정보를 저장한다.
상기 동작패턴정보는, 사용자의 동작패턴 중에서 소정의 동작패턴에 대한 가속도 정보, 3축 지자기 정보 및 회전 정보를 포함하며, 상기 방향패턴정보는, 소정의 동작패턴으로 이동하는 사용자의 이동방향 중에서 소정의 이동방향에 대한 3축 지자기 정보 및 회전 정보를 포함할 수 있다.
또한 일 실시예에서 상기 센싱하는 단계(S10)는, 가속도계를 이용하여 상기 사용자의 이동에 따른 가속도 정보를 센싱하는 단계, 지자기 센서를 이용하여 상기 사용자의 이동에 따른 3축 지자기 정보를 센싱하는 단계 및 회전감지 센서를 이용하여 상기 사용자의 이동에 따른 회전 정보를 센싱하는 단계를 포함할 수 있다. 여기서 소정의 동작패턴은, 상기 보행자 방향 추정장치를 한 손에 쥐고, 걷기, 뛰기, 호주머니에 넣고 걷기, 정지, 전화 받기 중 적어도 하나를 포함할 수 있다.
또한 상기 이동방향을 추정하는 단계(S30)는 상기 지자기 센서의 출력값을 상기 데이터베이스에 저장된 3축 지자기 값과 비교하여 사용자의 이동방향을 추정하고, 상기 회전감지 센서의 출력값을 이용하여 이동 방향의 변화를 감지함으로써 상기 추정된 이동방향을 보정할 수 있다. 다른 실시예에서 이동방향을 추정하는 단계(S30)는 상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향에 대한 3축 지자기 값의 매칭률 중 가장 높은 매칭률을 갖는 방향을 상기 사용자의 이동방향으로 추정할 수 있으며, 상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향 모두에 대한 3축 지자기 값의 매칭률이 임계치 이하인 경우, 위 수학식1에 따라서 이동방향을 추정할 수도 있다.
도9는 본 발명의 일 실시예에 따른 방향 추정 방법을 설명하기 위한 개념도이다. 도8을 참조하면 센싱단계(S10)에서 사용자의 동작으로부터 가속도 정보, 지자기 정보, 회전 정보등을 획득하고, 동작패턴 결정단계(S20)에서 획득한 센서정보들을 이용하여 사용자의 현재 동작패턴을 결정한다. 도8에서와 같이 사용자의 현재 동작이 동작패턴1에 해당되는 경우, 방향 추정단계(S30)에서는 동작패턴1이 해당되는 방향 1내지 방향5 중에서 어느 하나의 방향이 채택되어 이동방향이 추정된다. 구체적으로 상기 하나의 방향을 채택하기 위해서 데이터 베이스에 저장된 방향정보와 측정된 지자기 센서의 출력값을 비교하고 측정된 지자기 센서의 출력값과 가장 유사한 지자기 값을 가지는 방향정보를 이동방향으로 추정한다.
이에 따라서 본 발명에 따른 방향 추정 장치 및 추정 방법은 GPS 신호의 수신이 불안정하거나 불가능한 공간(예컨대 실내공간)에서 장치에 포함된 각종 센서를 이용하여 이동방향을 추정할 수 있으며, 나아가 특정한 동작을 취하는 상태에서 이동하는 경우에도 사용자의 이동방향을 정확하게 추정할 수 있게 된다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
센서부: 100
가속도 센서: 110
지자기 센서: 120
회전감지 센서: 130
동작패턴 결정부: 200
방향 추정부: 300
데이터 베이스: 400
방향추정 장치: 1000

Claims (16)

  1. 사용자의 동작패턴을 결정하기 위한 동작패턴정보 및 상기 사용자의 이동방향을 추정하기 위한 방향패턴정보를 저장하는 데이터베이스;
    이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 센서부;
    상기 센싱 결과를 기초로 상기 데이터베이스에 저장된 상기 동작패턴정보에서 상기 이동하는 사용자의 동작에 대응하는 하나의 동작패턴을 결정하는 동작패턴 결정부;
    상기 동작패턴이 결정된 경우, 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 방향 추정부를 포함하되,
    상기 동작패턴정보는, 상기 사용자의 복수의 동작패턴의 각각에 대한 가속도 정보, 3축 지자기 정보 및 회전 정보를 포함하고,
    상기 방향패턴정보는, 각 동작패턴으로 이동하는 사용자의 복수의 이동방향의 각각에 대한 3축 지자기 정보 및 회전 정보를 포함하되,
    상기 동작패턴정보는 상기 방향패턴정보의 상위개념의 정보인 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 센서부는,
    상기 사용자의 이동에 따른 가속도 정보를 센싱하는 가속도계;
    상기 사용자의 이동에 따른 3축 지자기 정보를 센싱하는 지자기 센서; 및
    상기 사용자의 이동에 따른 회전 정보를 센싱하는 회전감지 센서를 포함하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  5. 제4항에 있어서,
    상기 소정의 동작패턴은,
    상기 보행자 방향 추정장치를 한 손에 쥐고, 걷기, 뛰기, 호주머니에 넣고 걷기, 정지, 전화 받기 중 적어도 하나를 포함하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  6. 제5항에 있어서,
    상기 방향 추정부는,
    상기 지자기 센서의 출력값을 상기 데이터베이스에 저장된 3축 지자기 값과 비교하여 사용자의 이동방향을 추정하고,
    상기 회전감지 센서의 출력값을 이용하여 이동 방향의 변화를 감지함으로써 상기 추정된 이동방향을 보정하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  7. 제6항에 있어서,
    상기 방향 추정부는,
    상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향에 대한 3축 지자기 값의 매칭률 중 가장 높은 매칭률을 갖는 방향을 상기 사용자의 이동방향으로 추정하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  8. 제7항에 있어서,
    상기 방향 추정부는,
    상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향 모두에 대한 3축 지자기 값의 매칭률이 임계치 이하인 경우, 아래의 식에 따라 이동방향을 추정하되,
    D=αA+βB
    D는 추정된 방향, A는 가장 큰 매칭률을 가진 방향벡터, α는 A방향에 대한 매칭률, B는 두 번째로 큰 매칭률을 가진 방향벡터, β는 B 방향에 대한 매칭률인 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  9. 이동하는 사용자의 동작으로부터 가속도 정보, 3축 지자기 정보 및 회전 정보를 센싱하는 단계;
    상기 센싱 결과를 기초로 데이터베이스에 저장된 동작패턴정보에서 상기 이동하는 사용자의 동작에 대응하는 하나의 동작패턴을 결정하는 단계;
    상기 동작패턴이 결정된 경우, 결정된 동작패턴에 대한 3축 지자기 정보 및 회전 정보를 상기 데이터베이스에 저장된 방향패턴정보와 비교하여 사용자의 이동방향을 추정하는 단계를 포함하되,
    상기 데이터베이스는 상기 사용자의 동작패턴을 결정하기 위한 상기 동작패턴정보 및 상기 사용자의 이동방향을 추정하기 위한 상기 방향패턴정보를 저장하고,
    상기 동작패턴정보는, 상기 사용자의 복수의 동작패턴의 각각에 대한 가속도 정보, 3축 지자기 정보 및 회전 정보를 포함하고,
    상기 방향패턴정보는, 각 동작패턴으로 이동하는 사용자의 복수의 이동방향의 각각에 대한 3축 지자기 정보 및 회전 정보를 포함하되,
    상기 동작패턴정보는 상기 방향패턴정보의 상위개념의 정보인 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 방법.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 센싱하는 단계는,
    가속도계를 이용하여 상기 사용자의 이동에 따른 가속도 정보를 센싱하는 단계;
    지자기 센서를 이용하여 상기 사용자의 이동에 따른 3축 지자기 정보를 센싱하는 단계; 및
    회전감지 센서를 이용하여 상기 사용자의 이동에 따른 회전 정보를 센싱하는 단계를 포함하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 방법.
  13. 제12항에 있어서,
    상기 소정의 동작패턴은,
    상기 보행자 방향 추정장치를 한 손에 쥐고, 걷기, 뛰기, 호주머니에 넣고 걷기, 정지, 전화 받기 중 적어도 하나를 포함하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 장치.
  14. 제13항에 있어서,
    상기 이동방향을 추정하는 단계는,
    상기 지자기 센서의 출력값을 상기 데이터베이스에 저장된 3축 지자기 값과 비교하여 사용자의 이동방향을 추정하고,
    상기 회전감지 센서의 출력값을 이용하여 이동 방향의 변화를 감지함으로써 상기 추정된 이동방향을 보정하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 방법.
  15. 제14항에 있어서,
    상기 이동방향을 추정하는 단계는,
    상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향에 대한 3축 지자기 값의 매칭률 중 가장 높은 매칭률을 갖는 방향을 상기 사용자의 이동방향으로 추정하는 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 방법.
  16. 제15항에 있어서,
    상기 이동방향을 추정하는 단계는,
    상기 지자기 센서의 출력값과 상기 하나 이상의 기 설정된 방향 모두에 대한 3축 지자기 값의 매칭률이 임계치 이하인 경우, 아래의 식에 따라 이동방향을 추정하되,
    D=αA+βB
    D는 추정된 방향, A는 가장 큰 매칭률을 가진 방향벡터, α는 A방향에 대한 매칭률, B는 두 번째로 큰 매칭률을 가진 방향벡터, β는 B 방향에 대한 매칭률인 것을 특징으로 하는 패턴인식을 이용한 보행자 방향 추정 방법.
KR1020130092945A 2013-08-06 2013-08-06 패턴인식을 이용한 보행자 방향 추정 장치 및 방법 KR101472960B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130092945A KR101472960B1 (ko) 2013-08-06 2013-08-06 패턴인식을 이용한 보행자 방향 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130092945A KR101472960B1 (ko) 2013-08-06 2013-08-06 패턴인식을 이용한 보행자 방향 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101472960B1 true KR101472960B1 (ko) 2014-12-26

Family

ID=52678950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130092945A KR101472960B1 (ko) 2013-08-06 2013-08-06 패턴인식을 이용한 보행자 방향 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101472960B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101642286B1 (ko) * 2015-02-12 2016-07-25 한국항공우주연구원 보행특성을 이용한 실내에서의 보행자 이동방향 추정 방법
KR20160099981A (ko) 2015-02-13 2016-08-23 자동차부품연구원 패턴을 가지는 입체표식기를 이용한 복수 사용자를 포함하는 쌍방향 인식이 가능한 가상현실 장치
KR20170019744A (ko) 2015-08-12 2017-02-22 한국과학기술연구원 활동 추적 및 emg 신호에 기반한 자궁 수축도 검사 장치 및 그 방법
KR101808095B1 (ko) * 2015-07-20 2017-12-14 아이데카 주식회사 사용자 단말의 위치 측정 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328134A (ja) * 2001-04-27 2002-11-15 Nec Tokin Corp 姿勢状態及び方位の検出装置
KR20050097181A (ko) * 2004-03-31 2005-10-07 학교법인 대양학원 관성센서를 이용한 보행패턴 분석장치 및 그 방법
KR20070110107A (ko) * 2005-03-28 2007-11-15 아사히 가세이 일렉트로닉스 가부시끼가이샤 진행 방향 계측 장치 및 진행 방향 계측 방법
JP2012021870A (ja) * 2010-07-14 2012-02-02 Kddi Corp 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328134A (ja) * 2001-04-27 2002-11-15 Nec Tokin Corp 姿勢状態及び方位の検出装置
KR20050097181A (ko) * 2004-03-31 2005-10-07 학교법인 대양학원 관성센서를 이용한 보행패턴 분석장치 및 그 방법
KR20070110107A (ko) * 2005-03-28 2007-11-15 아사히 가세이 일렉트로닉스 가부시끼가이샤 진행 방향 계측 장치 및 진행 방향 계측 방법
JP2012021870A (ja) * 2010-07-14 2012-02-02 Kddi Corp 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101642286B1 (ko) * 2015-02-12 2016-07-25 한국항공우주연구원 보행특성을 이용한 실내에서의 보행자 이동방향 추정 방법
KR20160099981A (ko) 2015-02-13 2016-08-23 자동차부품연구원 패턴을 가지는 입체표식기를 이용한 복수 사용자를 포함하는 쌍방향 인식이 가능한 가상현실 장치
KR101808095B1 (ko) * 2015-07-20 2017-12-14 아이데카 주식회사 사용자 단말의 위치 측정 방법 및 장치
KR20170019744A (ko) 2015-08-12 2017-02-22 한국과학기술연구원 활동 추적 및 emg 신호에 기반한 자궁 수축도 검사 장치 및 그 방법

Similar Documents

Publication Publication Date Title
Ban et al. Indoor positioning method integrating pedestrian Dead Reckoning with magnetic field and WiFi fingerprints
US20130046505A1 (en) Methods and apparatuses for use in classifying a motion state of a mobile device
US20150354967A1 (en) Inertial device, method, and program
EP2715487B1 (en) Method and apparatus for classifying multiple device states
US9863784B2 (en) Orientation estimation utilizing a plurality of adaptive filters
US10533874B2 (en) Inertial positioning and navigation device featuring a novel walk detection method
KR101472960B1 (ko) 패턴인식을 이용한 보행자 방향 추정 장치 및 방법
Panyov et al. Indoor positioning using Wi-Fi fingerprinting pedestrian dead reckoning and aided INS
JP5870817B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220364882A1 (en) Gyroscope Bias Estimation
Javed et al. Cascaded Kalman filtering-based attitude and gyro bias estimation with efficient compensation of external accelerations
US20150241244A1 (en) Low-power orientation estimation
Montorsi et al. Design and implementation of an inertial navigation system for pedestrians based on a low-cost MEMS IMU
JP5565736B2 (ja) 計算装置、計算装置の制御方法、制御プログラム、及び記録媒体
US9423252B2 (en) Using clustering techniques to improve magnetometer bias estimation
Filardo et al. C-IPS: A smartphone based indoor positioning system
KR102547926B1 (ko) 자기장 측정치로부터 결정된 진행 방향을 특정화하는 방법 및 장치
KR102683702B1 (ko) 자기 센서에 의해 측정된 자기장으로부터 진행 방향의 결정
US9400181B2 (en) Systems and methods for detection of magnetic and motion-based landmarks
US9086281B1 (en) Using accelerometer data to determine movement direction
Wang et al. Posture recognition and heading estimation based on machine learning using MEMS sensors
KR20160004084A (ko) 실내 보행자 위치 추적 장치 및 방법
JP5176537B2 (ja) モーションセンシング装置,モーションセンシング方法およびモーションセンシング回路
KR101140045B1 (ko) 사용자 위치 추적 방법 및 장치
Saadatzadeh et al. Pedestrian dead reckoning using smartphones sensors: an efficient indoor positioning system in complex buildings of smart cities

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 6