Nothing Special   »   [go: up one dir, main page]

KR20170046519A - 손 모양 및 동작 인식장치 및 방법 - Google Patents

손 모양 및 동작 인식장치 및 방법 Download PDF

Info

Publication number
KR20170046519A
KR20170046519A KR1020150146963A KR20150146963A KR20170046519A KR 20170046519 A KR20170046519 A KR 20170046519A KR 1020150146963 A KR1020150146963 A KR 1020150146963A KR 20150146963 A KR20150146963 A KR 20150146963A KR 20170046519 A KR20170046519 A KR 20170046519A
Authority
KR
South Korea
Prior art keywords
hand
unit
point
feature
finger
Prior art date
Application number
KR1020150146963A
Other languages
English (en)
Other versions
KR101899590B1 (ko
Inventor
허준희
박성준
황영규
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150146963A priority Critical patent/KR101899590B1/ko
Publication of KR20170046519A publication Critical patent/KR20170046519A/ko
Application granted granted Critical
Publication of KR101899590B1 publication Critical patent/KR101899590B1/ko

Links

Images

Classifications

    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00389—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

손 모양 및 동작 인식장치 및 방법을 개시한다.
본 발명의 실시예에 의하면, 손 모양 및 동작을 인식함에 있어서 다양한 손 모양을 안정적으로(Robust) 정확하게 인식할 수 있는 손 모양 및 동작 인식장치 및 방법을 제공하는 데 주된 목적이 있다.

Description

손 모양 및 동작 인식장치 및 방법{Method and Apparatus for Recognizing Hand Shapes and Gestures}
본 실시예는 깊이영상을 이용하여 손 모양 및 동작을 인식하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
사람과 상호작용할 수 있는 기기, 예컨대 컴퓨터, 스마트폰 등이 널리 보급됨에 따라 사람과 기기 간의 자연스러운 상호작용 인터페이스(Natural User Interface: NUI) 기술에 대한 연구가 활발하다.
NUI 기술 중 하나로서 손을 이용한 인터페이스는 자연스럽고 직관적이 상호작용이 가능하며 부가적인 장비를 요구하지 않는 장점이 있다. 이러한 장점으로 인하여 손 모양 및 손 동작 인식 기술은 HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등에서 활발히 이용되고 있다.
손 모양 인식 기술은 규칙기반 인식 기술과 학습기반 인식 기술 두 가지로 크게 구분할 수 있다. 규칙기반 인식 기술은 손 바닥의 중심으로부터 일정한 임계값(Threshold)을 설정하고 임계값을 넘는 손 끝(Finger Tip)의 개수에 따라 손 모양을 인식하는 방법이다. 학습기반 인식 기술은 인식 대상이 되는 손 모양에 대한 DB를 취득하고 이를 학습하여 생성한 모델을 통해 손 모양을 인식하는 방법이다.
규칙기반 인식 기술은 사람마다 손 크기가 다르기 때문에 최적의 임계값(r)을 결정하는 데 어려움이 있다. 환경 변화가 생기는 경우에는, 최적의 임계값(r)을 설정하기 위하여 임계값을 재설정해야 하는 경우가 발생할 수 있다. 또한, 결정된 임계값(r)이 최적의 임계값이 아닌 경우에는 인식률이 낮아져 성능이 저하되는 문제가 발생할 수도 있다. 그리고 규칙기반 인식 기술은 학습기반 인식 기술에 비하여 다양한 손 모양을 인식하는 데 한계가 있다.
본 발명의 실시예들은, 손 모양 및 동작을 인식함에 있어서 다양한 손 모양을 안정적으로(Robust) 정확하게 인식할 수 있는 손 모양 인식장치 및 방법을 제공하는 데 주된 목적이 있다.
본 발명의 실시예에 의하면, 카메라로부터 획득한 입력영상에서 손 영역을 검출하는 손 영역 검출부, 손 영역 검출부에서 검출한 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점(Feature Point)을 추출하는 특징점 추출부, 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터(Feature Vector)를 생성하는 특징벡터 생성부, 및 기 학습된 손 모양 분류기에 상기 특징벡터를 적용하여 손 모양을 인식하는 손 모양 인식부를 포함하는 손 모양 인식장치를 제공한다.
본 발명의 실시예에 의하면, 카메라로부터 획득한 입력영상에서 손 영역을 검출하는 손 영역 검출과정, 검출된 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점(Feature Point)을 추출하는 특징점 추출과정, 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터(Feature Vector)를 생성하는 특징벡터 생성과정, 및 기 학습된 손 모양 분류기에 특징벡터를 적용하여 손 모양을 인식하는 손 모양 인식과정을 포함하는 손 모양 인식방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 손 모양 및 동작을 인식함에 있어서 다양한 손 모양을 안정되고 정확하게 인식할 수 있는 손 모양 인식장치 및 방법을 제공하는 효과가 있다.
본 발명의 실시예에 의하면, 손가락의 길이 정보를 이용함으로써 비교적 간단하게 특징벡터를 추출할 수 있다. 따라서 손 모양을 빠르게 인식할 수 있으며 손 모양 인식에 따른 피드백을 사용자에게 즉각적으로 제공할 수도 있다. 이러한 점에서 본 발명의 실시예는 사람과 기기 간에 자연스럽고 직관적인 상호작용이 가능하게 하는 효과가 있다.
본 발명의 실시예에 의하면, 손가락의 마디별 길이 정보를 이용하여 특징벡터를 추출함으로써 손의 중심으로부터 손가락 끝점까지의 길이 정보를 이용하는 경우보다 다양한 손 모양을 인식할 수 있는 효과가 있다.
본 발명의 실시예에 의하면, 길이 정보에 기반하여 특징벡터를 추출하므로 손의 회전(Rotation)에 강인한 인식결과를 제공할 수 있는 효과가 있다. 또한, 손가락의 마디별 길이 정보를 정규화함으로써 스케일링(Scaling)에 강인한 인식결과를 제공할 수 있는 효과가 있다.
본 발명의 실시예에 의하면, 신뢰도를 이용하여 손 모양 인식결과를 정제하는 과정을 포함함으로써 인식 오류율을 감소시키고 인식 정확도를 향상시킬 수 있는 효과가 있다.
본 발명의 실시예에 의하면, 기 설정된 환경 내에서 학습 데이터를 취득하여 학습 데이터에 기반한 손 모양 분류기를 생성함으로써 해당 환경에 있어 강인한 인식 결과를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 손 모양 및 손 동작 인식장치 개략적인 구성도이다.
도 2는 본 발명의 실시예에 따른 손 모양 인식장치의 개략적인 구성도이다.
도 3은 본 발명의 실시예에 따른 손 영역 검출부를 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 특징벡터 생성부를 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 손 모양 인식방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 손 모양 인식방법의 손 영역 검출과정을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 손 모양 인식방법의 특징벡터 생성과정을 도시한 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 손 모양 및 손 동작 인식장치의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 손 모양(Hand Shape) 및 손 동작(Hand Gesture) 인식 시스템(100)은 영상 입력장치(110), 손 모양 인식장치(120), 손 추적장치(130), 및 손 동작 인식장치(140)를 포함한다. 그러나 반드시 도 1에 도시된 구성요소에 한정되는 것은 아니다.
영상 입력장치(110)는 손 모양 및 손 동작을 인식하기 위하여 입력영상을 획득한다. 영상 입력장치(110)는 깊이인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다(예를 들어, 키넥트(Kinect) 카메라 등). 영상 입력장치(110)로부터 획득한 입력 영상은 동영상 및 정지영상을 모두 포함한다. 입력영상이 동영상인 경우, 복수의 연속적인 프레임들로 구성될 수 있다. 또한, 입력영상은 컬러영상, 깊이영상, 및 컬러-깊이(RGB-D) 영상을 포함할 수 있다.
손 모양 인식장치(120)는 입력영상으로부터 손 영역을 검출한 후 손의 정적인 측면 즉, 손 모양(Hand Shape)을 인식한다. 손 영역은 입력영상 내에서 인식 대상이 되는 손이 포함된 영역을 의미한다. 손 모양 인식장치(120)의 동작에 대한 자세한 설명은 다른 도면을 참조하여 후술한다.
손 모양 인식장치(120)는 영상 표시 장치, 영상 촬영 장치, 손 모양 인식서버, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal), 및 지능로봇(Intelligence Robot) 등 중 어느 하나일 수 있다.
손 추적장치(130)는 시간에 따라 연속적인 복수의 프레임으로 구성된 입력영상을 이용하여 인식된 손 영역을 추적(Tracking)한다. 손 추적장치(130)는 이전 프레임과 당해 프레임과의 연관성을 분석하여 정합 또는 판단하는 방법으로 추적을 수행한다.
손 동작 인식장치(140)는 손 추적장치(130)로부터 획득한 손 영역의 궤적을 이용하여 손의 동적인 측면 즉, 손 동작(Hand Gesture)을 인식한다.
이하, 도 2를 참조하여 손 모양 인식장치(120)에 대하여 설명한다.
도 2는 본 발명의 실시예에 따른 손 모양 인식장치의 개략적인 구성도이다.
도 2를 참조하면, 손 모양 인식장치(120)는 손 영역 검출부(210), 특징점 추출부(220), 특징벡터 생성부(230), 및 손 모양 인식부(240)를 포함한다.
손 영역 검출부(210)는 카메라로부터 획득한 입력영상에서 손 영역을 검출한다. 여기서 카메라는 전술한 영상 입력장치(110)로서 깊이인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다. 또한, 여기서 입력영상은 동영상 및 정지영상을 모두 포함한다. 입력영상이 동영상인 경우, 복수의 연속적인 프레임들로 구성될 수 있다. 또한, 입력영상은 컬러영상, 깊이영상, 및 컬러-깊이(RGB-D) 영상을 포함할 수 있다.
본 발명의 실시예에 따른 손 영역 검출부(210)는 관심영역 분할부(212), 손 영역 분리부(214)를 포함할 수 있다.
관심영역 분할부(210)는 입력영상의 깊이정보를 이용하여 관심영역을 분할(Segmentation)할 수 있다. 실시예에 따라 색상정보 및 깊이정보를 결합한 정보를 이용하여 관심영역을 분할할 수도 있다. 깊이정보를 이용하는 경우는 색상정보를 이용하는 경우에 비하여 환경변화(예컨대, 조도의 변화 등)에 덜 민감하므로 관심영역 분할성능을 향상시키는 효과가 있다.
손 영역 분리부(214)는 분할된 관심영역으로부터 볼록점(Convex Point) 및 오목점(Defect Point)을 추출하여 기 설정된 볼록점 및 오목점 특성과 비교하고, 비교 결과를 이용하여 관심영역에서 손 영역을 분리할 수 있다. 기 설정된 볼록점 및 오목점 특성은 손 영역 분리부(214)가 손 영역이라고 판단할 수 있는 판단 기준이 되는 특성을 의미한다.
예를 들어, 관심영역으로부터 도 3과 같이 볼록점(310a, 310b, 310c, 310d, 310e, 310f, 310g) 및 오목점(320a, 320b, 320c, 320d, 320e, 320f)이 추출된 경우에 손 영역 분리부(214)는 해당 영역을 손 영역이라고 인식하고 이를 분리할 수 있다.
손 영역 검출부(210)는 실시예에 따라 추적부(216)를 더 포함할 수 있다. 추적부(216)는 칼만-필터(Kalman-Filter)를 기반으로 볼록점 및 오목점을 추적할 수 있다. 손 영역 검출부(210)는 추적부(216)를 더 포함함으로써 손 영역을 더욱 안정적으로 검출할 수 있다.
특징점 추출부(220)는 손 영역 검출부(210)에서 검출한 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점(Feature Point)을 추출한다. 특징점은 손의 중심점, 각각의 손가락의 끝점, 및 각각의 손가락 길이를 소정의 개수의 구간으로 분할하는 하나 이상의 손가락 분할점이 될 수 있다.
예컨대, 특징점 추출부(220)는 도 4와 같이 특징점을 추출할 수 있다. 즉, 손의 중심점(Pp), 각각의 손가락의 끝점(Pt,3, Pi,3, Pm,3, Pr,3, Pl,3), 및 각각의 손가락의 분할점(Pt,0 ~ Pt,2, Pi,0 ~ Pi,2, Pm,0 ~ Pm,2, Pr,0 ~ Pr,2, Pl,0 ~ Pl,2)을 특징점으로 추출할 수 있다. 도 4의 예시도를 참조하면, 하나의 손가락은 4개(예를 들어, Ptt,0 ~ Pt,3)의 특징점으로 표현된다. 하나의 손가락을 표현하는 특징점의 개수는 4개에 한정되지 않으며 실시예에 따라 다르게 설정될 수 있다.
손가락 분할점을 추출하는 방법의 예시로 다음과 같은 방법을 이용할 수 있다. 먼저 손의 외곽선을 추출한 후 볼록점과 오목점을 찾는다. 그리고 볼록점과 오목점을 이용하여 손가락의 끝 점과 손목을 검출한 후, 미리 저장된 분할점 정보를 참고하여 분할점을 유추한다.
특징벡터 생성부(230)는 특징점 추출부(220)에서 추출한 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터(Feature Vector)를 생성한다. 특징벡터는 손을 대표할 수 있는 정보(예를 들어, 손가락 마디별 길이)를 의미한다. 도 2를 참조하면, 특징벡터 생성부(230)는 길이 계산부(232), 정규화부(234), 및 벡터화부(236)를 포함할 수 있다.
길이 계산부(232)는 손의 중심점으로부터 각각의 손가락의 끝점 및 하나 이상의 손가락 분할점까지의 길이를 계산할 수 있다. 예를 들어, 길이 계산부(232)는 [수학식 1]에 따라 길이를 계산할 수 있다.
Figure pat00001
여기서
Figure pat00002
는 손가락의 인덱스(Index),
Figure pat00003
은 손가락을 나타내는 특징점의 인덱스,
Figure pat00004
은 손의 중심점으로부터 손의 중심점을 제외한 나머지 특징점까지의 길이,
Figure pat00005
은 손가락을 나타내는 특징점의 좌표,
Figure pat00006
는 손의 중심점을 나타내는 특징점의 좌표를 의미한다.
정규화부(234)는 길이 계산부(232)에 의해 계산된 길이(
Figure pat00007
)를 정규화할 수 있다. 실시예에 따라 정규화부(234)는 손목을 나타내는 특징점 및 손의 중심점을 이용하여 정규화를 수행할 수 있다. 예를 들어, [수학식 2]와 같이
Figure pat00008
을 정규화할 수 있다.
Figure pat00009
여기서
Figure pat00010
는 손가락의 인덱스(Index),
Figure pat00011
은 손가락을 나타내는 특징점의 인덱스,
Figure pat00012
은 손의 중심점으로부터 손의 중심점을 제외한 나머지 특징점까지의 길이,
Figure pat00013
은
Figure pat00014
을 정규화한 값을 의미한다. 그리고
Figure pat00015
는 [수학식 3]과 같이 나타낼 수 있다.
Figure pat00016
여기서
Figure pat00017
는 손목을 나타내는 특징점의 좌표,
Figure pat00018
는 손의 중심점을 나타내는 특징점의 좌표이다.
벡터화부(236)는 정규화부(234)에 의해 정규화된 각각의 길이, 및 특징점을 이용하여 손의 길이 특징을 벡터화할 수 있다. 도 4를 참조하여 예를 들어 설명한다. 도 4는 본 발명의 실시예에 따른 특징벡터 생성부를 설명하기 위한 예시도이다.
도 4의 예시도에 따르면 각각의 손가락마다 4개의 특징점이 존재한다. 따라서 손은 총 20개의 길이
Figure pat00019
으로 표현될 수 있다. 이 경우, 손의 길이 특징을 [수학식 4]와 같이 20차원의 특징벡터로 나타낼 수 있다.
Figure pat00020
여기서 t는 엄지를 나타내는 인덱스, i는 검지를 나타내는 인덱스, m은 중지를 나타내는 인덱스, r은 약지를 나타내는 인덱스, l은 소지(새끼손가락)을 나타내는 인덱스, 0 ~ 3은 손가락을 나타내는 특징점의 인덱스이다.
Figure pat00021
는 트랜스포즈(Transpose)를 의미한다.
본 발명의 실시예에 따른 손 모양 인식장치(120)는 손가락의 길이 정보를 이용함으로써 비교적 간단하게 특징벡터를 추출할 수 있다. 따라서 손 모양을 빠르게 인식할 수 있으며 손 모양 인식에 따른 피드백을 사용자에게 즉각적으로 제공할 수도 있다. 이러한 점에서 본 발명의 실시예는 지능형 로봇(Ubiquitous Robotic Companion: URC) 기술분야에도 활발히 활용될 수 있다. 본 발명의 바람직한 실시예는 사회관습적으로 익숙하며 간단한 손 모양(예를 들어, 주먹을 쥔 손 모양과 펼친 손 모양 등)을 빠르게 인식하여 사람과 기기 간에 자연스럽고 직관적인 상호작용이 가능하도록 하는 것이다.
손 모양 인식부(240)는 기 학습된 손 모양 분류기에 특징벡터를 적용하여 손 모양을 인식한다.
기 학습된 손 모양 분류기는 추출한 특징벡터를 학습하여 모델링된 분류기(Classifier)이다. 구체적으로, 본 발명의 실시예에 따른 손 모양 인식장치(120)는 인식 대상이 되는 손 모양의 특징벡터를 사전에 미리 학습하여 학습 데이터를 생성하고 학습 데이터를 학습 데이터베이스(미도시)에 저장할 수 있다. 또한, 학습 데이터를 이용함으로써 주어진 환경 내에서 최적의 손 모양 분류기를 생성할 수 있다. 이로 인해 본 발명의 실시예에 따른 손 모양 인식장치(120)는 안정된 인식결과를 얻을 수 있다.
기 학습된 손 모양 분류기는 서포트 벡터 머신(Support Vector Machine: SVM), 랜덤 포레스트(Random Forest), 및 딥 러닝(Deep Learning) 중 어느 하나의 학습기를 이용하여 생성될 수 있다.
서포트 벡터 머신은 머신 러닝(Machine Learning)에 기초한 분류(Classification) 기법의 일종으로, 주어진 자료에 대하여 그 자료들을 분리하는 초평면(Hyperplane) 중에서 자료들과 가장 거리가 먼 초평면을 찾는 기법이다. 랜덤 포레스트도 머신 러닝에 기초한 분류 기법의 일종으로, 랜덤하게 생성되는 결정 트리(Decision Tree)들을 이용하여 주어진 자료를 분류하는 기준을 찾는 기법이다. 딥 러닝 역시 머신 러닝 기법 중 하나이며 인간의 사고와 판단 과정을 모방한 인공지능(Artificial Intelligence: AI)을 이용하여 학습하고 분류 기준을 찾는 기법이다.
손 모양 인식장치(120)는 실시예에 따라 정제부(250)를 더 포함할 수 있다.
손에 대한 특징점 추출을 실패하는 경우에는 손 모양 인식까지 실패할 수 있다. 손에 대한 특징점 추출을 실패하는 경우는 예를 들어, i) 손이 빠르게 움직이는 경우, ii) 손의 특징점이 가려지는 경우(Occlusion) iii) 카메라 뷰(View) 상에서 손의 위치가 뷰의 중심으로부터 멀어지는 경우 iv) 카메라로부터 손이 멀리 떨어진 경우 등이 있을 수 있다. 따라서 이와 같은 경우를 대비하여 손 모양 인식결과를 정제(Refinement)함으로써 인식률을 향상시킬 필요가 있다.
정제부(250)는 기 정의한 신뢰도를 산출하고 산출한 신뢰도를 기반으로 이동평균(Moving Average) 방법을 적용하여 손 모양 인식결과를 정제할 수 있다.
여기서 기 정의한 신뢰도는 특징점 추출에 대한 신뢰도로서 사용자에 의해 다르게 정의될 수 있다. 본 발명의 실시예에 따르면 기 정의한 신뢰도는 카메라 뷰의 중심으로부터 카메라 뷰 상의 손의 위치까지의 거리 정보, 손의 움직임 속도 정보, 동일한 손의 특정 부분에 의해 특징점이 가려지는 자기 가림(Self-Occlusion)에 대한 정보, 및 카메라로부터 손까지의 거리 정보 중 적어도 하나 이상의 정보에 기반하여 산출될 수 있다.
이하, 기 정의한 신뢰도를 산출하는 예시적인 과정에 대하여 설명한다.
사용자는 특징점 추출 오류가 발생할 수 있는 각각의 환경에 대하여 신뢰도(Confidence)를 정의할 수 있다.
카메라 뷰 상의 손의 위치에서 뷰의 중심까지의 거리에 따른 특징점 추출 신뢰도(
Figure pat00022
)는 [수학식 5]와 같이 나타낼 수 있다.
Figure pat00023
Figure pat00024
여기서
Figure pat00025
는 카메라 뷰 상의 손의 위치 좌표,
Figure pat00026
는 카메라 뷰의 중심 좌표,
Figure pat00027
는 제1 스케일(Scale) 파라미터,
Figure pat00028
는 제2 스케일 파라미터를 나타낸다.
손이 카메라 뷰의 중심으로부터 멀어지게 되면 인체역학적(Biomechanic) 특성상 왜곡과 가려짐(Occlusion) 현상이 발생할 수 있다.
손의 움직임 속도에 따른 특징점 추출 신뢰도(
Figure pat00029
)는 [수학식 6]과 같이 나타낼 수 있다.
Figure pat00030
여기서
Figure pat00031
는 손가락의 집합 {Th(엄지), In(검지), Mi(중지), Ri(약지), Li(소지)},
Figure pat00032
는 손가락의 인덱스,
Figure pat00033
은 손가락을 나타내는 특징점의 인덱스,
Figure pat00034
는 t번째 프레임에서 k에 해당하는 손가락의 n번째 특징점의 좌표,
Figure pat00035
은 스케일 파라미터를 의미한다.
특정 손가락의 특징점이 다른 손가락에 의해 가려지는 자기 가림 현상이 발생하는 경우, 특징점 추출 신뢰도(
Figure pat00036
)는 [수학식 7]과 같이 나타낼 수 있다.
Figure pat00037
Figure pat00038
여기서
Figure pat00039
는 손가락의 집합 {Th(엄지), In(검지), Mi(중지), Ri(약지), Li(소지)},
Figure pat00040
는 손가락의 인덱스,
Figure pat00041
은 손가락을 나타내는 특징점의 인덱스,
Figure pat00042
은 k에 해당하는 손가락의 n번째 특징점의 좌표,
Figure pat00043
는 스케일 파라미터를 의미한다.
카메라로부터 손까지의 거리에 따른 특징점 추출 신뢰도(
Figure pat00044
)는 [수학식 8]과 같이 나타낼 수 있다.
Figure pat00045
여기서
Figure pat00046
는 스케일 파라미터를 의미하고,
Figure pat00047
는 [수학식 3]과 같이 나타낼 수 있다.
Figure pat00048
는 손의 중심점과 손목 사이의 길이가 길면 높은 값을 가지고 작으면 낮은 값을 갖는다. 예컨대, 손이 카메라로부터 멀리 떨어져 있거나 손 바닥이 정면을 바라보지 않는 등의 경우에
Figure pat00049
는 작은 값을 갖게 된다.
기 정의한 신뢰도(
Figure pat00050
)는 전술한 4가지 신뢰도를 조합하여 산출될 수 있다. 예를 들어 [수학식 9]와 같이 나타낼 수 있다.
Figure pat00051
정제부(250)는 기 정의한 신뢰도를 기반으로 [수학식 10]과 같이 이동평균 방법을 적용할 수 있다.
Figure pat00052
여기서
Figure pat00053
는 t번째 프레임에 대한 손 모양 인식 결과,
Figure pat00054
는
Figure pat00055
에 이동평균을 적용하여 정제한 결과,
Figure pat00056
는 t번째 프레임에 대한 기 정의한 신뢰도,
Figure pat00057
는 기 정의한 신뢰도를 가중치로 변환하는 파라미터,
Figure pat00058
는 이동평균에 사용할 프레임의 개수를 의미한다.
Figure pat00059
는 신뢰도에 따라 가변하며 [수학식 11]과 같이 나타낼 수 있다.
Figure pat00060
여기서
Figure pat00061
는 임계값,
Figure pat00062
는 기 정의한 신뢰도를 가중치로 변환하는 파라미터를 의미한다.
는 사용자에 의해 설정될 수 있는 값이며
Figure pat00064
는 [수학식 12]와 같이 나타낼 수 있다.
Figure pat00065
여기서
Figure pat00066
는 t번째 프레임에 대한 기 정의한 신뢰도,
Figure pat00067
는 이동평균에 사용할 프레임의 개수를 의미한다.
이하, 도 5 내지 도 7을 참조하여 본 발명의 실시예에 따른 손 모양 인식방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 손 모양 인식방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 손 모양 인식방법의 손 영역 검출과정을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 손 모양 인식방법의 특징벡터 생성과정을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 손 모양 인식방법은 손 영역 검출과정(S510), 특징점 추출과정(S520), 특징벡터 생성과정(S530), 및 손 모양 인식과정(S540)을 포함한다.
손 영역 검출과정(S510)에서는 카메라로부터 획득한 입력영상에서 손 영역을 검출한다(S510). 여기서 카메라는 전술한 영상 입력장치(110)로서 깊이인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다. 또한, 입력영상은 동영상 및 정지영상을 모두 포함한다. 입력영상이 동영상인 경우, 복수의 연속적인 프레임들로 구성될 수 있다. 또한, 입력영상은 컬러영상, 깊이영상, 및 컬러-깊이(RGB-D) 영상을 포함할 수 있다.
도 6을 참조하면 본 발명의 실시예에 따른 손 영역 검출과정(S510)에서는 입력영상의 깊이 정보를 이용하여 관심영역을 분할할 수 있다(S610). 실시예에 따라 색상정보 및 깊이정보를 결합한 정보를 이용하여 관심영역을 분할할 수도 있다. 깊이정보를 이용하는 경우는 색상정보를 이용하는 경우에 비하여 환경변화(예컨대, 조도의 변화 등)에 덜 민감하므로 관심영역 분할성능을 향상시키는 효과가 있다.
손 영역 검출과정(S510)에서는 분할된 관심영역으로부터 볼록점 및 오목점을 추출하여(S620) 기 설정된 볼록점 및 오목점 특성과 비교하고(S630), 비교 결과를 이용하여 관심영역에서 손 영역을 분리할 수 있다(S640). 기 설정된 볼록점 및 오목점 특성은 손 영역이라고 판단할 수 있는 판단 기준이 되는 특성을 의미한다.
예를 들어, 관심영역으로부터 도 3과 같이 볼록점(310a, 310b, 310c, 310d, 310e, 310f, 310g) 및 오목점(320a, 320b, 320c, 320d, 320e, 320f)이 추출된 경우에 손 영역 검출과정(S510)에서는 해당 영역을 손 영역이라고 인식하고 이를 분리할 수 있다.
특징점 추출과정(S520)에서는 손 영역 검출과정(S510)에서 검출한 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점을 추출한다. 특징점은 손의 중심점, 각각의 손가락의 끝점, 및 각각의 손가락 길이를 소정의 개수의 구간으로 분할하는 하나 이상의 손가락 분할점이 될 수 있다.
예컨대, 도 4와 같이 특징점을 추출할 수 있다. 즉, 손의 중심점(Pp), 각각의 손가락의 끝점(Pt,3, Pi,3, Pm,3, Pr,3, Pl,3), 및 각각의 손가락의 분할점(Pt,0 ~ Pt,2, Pi,0 ~ Pi,2, Pm,0 ~ Pm,2, Pr,0 ~ Pr,2, Pl,0 ~ Pl,2)을 특징점으로 추출할 수 있다. 도 4의 예시도를 참조하면, 하나의 손가락은 4개(예를 들어, Ptt,0 ~ Pt,3)의 특징점으로 표현된다. 하나의 손가락을 표현하는 특징점의 개수는 4개에 한정되지 않으며 실시예에 따라 다르게 설정될 수 있다.
손가락 분할점을 추출하는 방법의 예시로 다음과 같은 방법을 이용할 수 있다. 먼저 손의 외곽선을 추출한 후 볼록점과 오목점을 찾는다. 그리고 볼록점과 오목점을 이용하여 손가락의 끝 점과 손목을 검출한 후, 미리 저장된 분할점 정보를 참고하여 분할점을 유추한다.
특징벡터 생성과정(S530)에서는 추출한 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터를 생성한다. 특징벡터는 손을 대표할 수 있는 정보(예를 들어, 손가락 마디별 길이)를 의미한다.
이하, 도 7을 참조하여, 특징벡터 생성과정(S530)에 대하여 구체적으로 설명한다.
특징벡터 생성과정(S530)에서는 손의 중심점으로부터 각각의 손가락의 끝점 및 하나 이상의 손가락 분할점까지의 길이를 계산할 수 있다(S710). 예를 들어, 전술한 [수학식 1]에 따라 길이를 계산할 수 있다.
특징벡터 생성과정(S530)에서는 길이 계산과정(S710)에서 계산된 길이를 정규화할 수 있다(S720). 실시예에 따라 정규화과정(S720)에서는 손목을 나타내는 특징점 및 손의 중심점을 이용하여 정규화를 수행할 수 있다. 예를 들어, 전술한 [수학식 2]와 같이 손의 중심점으로부터 손의 중심점을 제외한 나머지 특징점까지의 길이를 정규화할 수 있다.
특징벡터 생성과정(S530)에서는 정규화과정(S720)에서 정규화된 각각의 길이, 및 특징점을 이용하여 손의 길이 특징을 벡터화할 수 있다(S730). 도 4를 참조하여 예를 들어 설명한다.
도 4의 예시도에 따르면 각각의 손가락마다 4개의 특징점이 존재한다. 따라서 손은 총 20개의 길이로 표현될 수 있다. 이 경우, 손의 길이 특징을 전술한 [수학식 4]와 같이 20차원의 특징벡터로 나타낼 수 있다.
손 모양 인식과정(S540)에서는 기 학습된 손 모양 분류기에 특징벡터를 적용하여 손 모양을 인식한다.
기 학습된 손 모양 분류기는 추출한 특징벡터를 학습하여 모델링된 분류기(Classifier)이다. 구체적으로, 본 발명의 실시예에 따른 손 모양 인식방법은 인식 대상이 되는 손 모양의 특징벡터를 사전에 미리 학습하여 학습 데이터를 생성하고 학습 데이터를 학습 데이터베이스(미도시)에 저장할 수 있다. 또한, 학습 데이터를 이용함으로써 주어진 환경 내에서 최적의 손 모양 분류기를 생성할 수 있다. 이로 인해 본 발명의 실시예에 따른 손 모양 인식방법은 안정된 인식결과를 얻을 수 있다.
기 학습된 손 모양 분류기는 서포트 벡터 머신(Support Vector Machine: SVM), 랜덤 포레스트(Random Forest), 및 딥 러닝(Deep Learning) 중 어느 하나의 학습기를 이용하여 생성될 수 있다.
서포트 벡터 머신은 머신 러닝(Machine Learning)에 기초한 분류(Classification) 기법의 일종으로, 주어진 자료에 대하여 그 자료들을 분리하는 초평면(Hyperplane) 중에서 자료들과 가장 거리가 먼 초평면을 찾는 기법이다. 랜덤 포레스트도 머신 러닝에 기초한 분류 기법의 일종으로, 랜덤하게 생성되는 결정 트리(Decision Tree)들을 이용하여 주어진 자료를 분류하는 기준을 찾는 기법이다. 딥 러닝 역시 머신 러닝 기법 중 하나이며 인간의 사고와 판단 과정을 모방한 인공지능(Artificial Intelligence: AI)을 이용하여 학습하고 분류 기준을 찾는 기법이다.
도 5 내지 도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5 내지 도 7에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5 내지 도 7은 시계열적인 순서로 한정되는 것은 아니다.
도 5 내지 도 7에 기재된 본 실시예에 따른 손 모양 인식방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 손 모양 인식방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 손 모양 및 동작 인식기술 분야에 적용되어, 다양한 손 모양을 안정적으로(Robust) 정확하게 인식할 수 있는 효과가 있는 유용한 발명이다.
120: 손 모양 인식장치 210: 손 영역 검출부
212: 관심영역 분할부 214: 손 영역 분리부
216: 추적부 220: 특징점 추출부
230: 특징벡터 생성부 232: 길이 계산부
234: 정규화부 236: 벡터화부
240: 손 모양 인식부 250: 정제부

Claims (11)

  1. 카메라로부터 획득한 입력영상에서 인식 대상이 되는 손이 포함된 손 영역을 검출하는 손 영역 검출부;
    상기 손 영역 검출부에서 검출한 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점(Feature Point)을 추출하는 특징점 추출부;
    상기 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터(Feature Vector)를 생성하는 특징벡터 생성부; 및
    기 학습된 손 모양 분류기에 상기 특징벡터를 적용하여 손 모양을 인식하는 손 모양 인식부
    를 포함하는 손 모양 및 동작 인식장치.
  2. 제1항에 있어서,
    상기 특징점 추출부는,
    손의 중심점, 각각의 손가락의 끝점, 및 각각의 손가락 길이를 소정의 개수의 구간으로 분할하는 하나 이상의 손가락 분할점을 상기 특징점으로 추출하는 손 모양 및 동작 인식장치.
  3. 제1항에 있어서,
    상기 특징벡터 생성부는,
    상기 손의 중심점으로부터 상기 각각의 손가락의 끝점 및 상기 하나 이상의 손가락 분할점까지의 길이를 계산하는 길이 계산부;
    상기 길이 계산부에 의해 계산된 각각의 길이를 정규화하는 정규화부; 및
    상기 정규화부에 의해 정규화된 각각의 길이, 및 상기 특징점을 이용하여 상기 손의 길이 특징을 벡터화하는 벡터화부
    를 포함하는 손 모양 및 동작 인식장치.
  4. 제3항에 있어서,
    상기 정규화부는,
    손목을 나타내는 특징점 및 상기 손의 중심점을 이용하여 상기 길이 계산부에 의해 계산된 각각의 길이를 정규화하는 손 모양 및 동작 인식장치.
  5. 제1항에 있어서,
    상기 손 영역 검출부는,
    상기 입력영상의 깊이 정보를 이용하여 관심영역을 분할(Segmentation)하는 관심영역 분할부; 및
    분할된 관심영역으로부터 볼록점(Convex Point) 및 오목점(Defect Point)을 추출하여 기 설정된 볼록점 및 오목점 특성과 비교하고 비교 결과를 이용하여 상기 관심영역에서 손 영역을 분리하는 손 영역 분리부
    를 포함하는 손 모양 및 동작 인식장치.
  6. 제5항에 있어서,
    상기 손 영역 검출부는,
    칼만-필터(Kalman-Filter)를 기반으로 상기 볼록점 및 오목점을 추적하는 추적부를 더 포함하는 손 모양 및 동작 인식장치.
  7. 제1항에 있어서,
    기 정의한 신뢰도를 산출하고 산출한 신뢰도를 기반으로 이동평균(Moving Average) 방법을 적용하여 손 모양 인식결과를 정제(Refinement)하는 정제부를 더 포함하는 손 모양 및 동작 인식장치.
  8. 제7항에 있어서,
    상기 기 정의한 신뢰도는,
    상기 카메라 뷰(View)의 중심으로부터 상기 카메라 뷰 상의 손의 위치까지의 거리 정보, 손의 움직임 속도 정보, 동일한 손의 특정 부분에 의해 상기 특징점이 가려지는 자기 가림(Self-Occlusion)에 대한 정보, 및 상기 카메라로부터 손까지의 거리 정보 중 적어도 하나 이상의 정보에 기반하여 산출되는 손 모양 및 동작 인식장치.
  9. 카메라로부터 획득한 입력영상에서 인식 대상이 되는 손이 포함된 손 영역을 검출하는 손 영역 검출과정;
    검출된 손 영역으로부터 각각의 손가락이 여러 부분으로 분할되도록 특징점(Feature Point)을 추출하는 특징점 추출과정;
    상기 특징점을 기반으로 손의 길이 특징을 나타내는 특징벡터(Feature Vector)를 생성하는 특징벡터 생성과정; 및
    기 학습된 손 모양 분류기에 상기 특징벡터를 적용하여 손 모양을 인식하는 손 모양 인식과정
    을 포함하는 손 모양 및 동작 인식방법.
  10. 제9항에 있어서,
    상기 특징점 추출과정은,
    손의 중심점, 각각의 손가락의 끝점, 및 각각의 손가락 길이를 소정의 개수의 구간으로 분할하는 하나 이상의 손가락 분할점을 상기 특징점으로 추출하고,
    상기 특징벡터 생성과정은,
    상기 손의 중심점으로부터 상기 각각의 손가락의 끝점 및 상기 하나 이상의 손가락 분할점까지의 길이를 계산하는 길이 계산과정;
    상기 길이 계산과정에서 계산된 각각의 길이를 정규화하는 정규화과정; 및
    상기 정규화과정에서 정규화된 각각의 길이, 및 상기 특징점을 이용하여 상기 손의 길이 특징을 벡터화하는 벡터화과정
    을 포함하는 손 모양 및 동작 인식방법.
  11. 제9항에 있어서,
    상기 손 영역 검출과정은,
    상기 입력영상의 깊이 정보를 이용하여 관심영역을 분할(Segmentation)하는 과정; 및
    분할된 관심영역으로부터 볼록점(Convex Point) 및 오목점(Defect Point)을 추출하는 과정;
    추출된 볼록점 및 오목점을 기 설정된 볼록점 및 오목점 특성과 비교하는 과정; 및
    비교 결과를 이용하여 상기 관심영역에서 손 영역을 분리하는 과정
    을 포함하는 손 모양 및 동작 인식방법.
KR1020150146963A 2015-10-21 2015-10-21 손 모양 및 동작 인식장치 및 방법 KR101899590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150146963A KR101899590B1 (ko) 2015-10-21 2015-10-21 손 모양 및 동작 인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150146963A KR101899590B1 (ko) 2015-10-21 2015-10-21 손 모양 및 동작 인식장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106534A Division KR101978265B1 (ko) 2018-09-06 2018-09-06 손 모양 및 동작 인식장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170046519A true KR20170046519A (ko) 2017-05-02
KR101899590B1 KR101899590B1 (ko) 2018-09-17

Family

ID=58742672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150146963A KR101899590B1 (ko) 2015-10-21 2015-10-21 손 모양 및 동작 인식장치 및 방법

Country Status (1)

Country Link
KR (1) KR101899590B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190026810A (ko) * 2017-06-06 2019-03-13 미디어 그룹 코 엘티디 딥 뉴럴 네트워크를 사용하여 대략적에서 정밀적으로의 손 검출 방법
KR20190096210A (ko) * 2018-02-08 2019-08-19 경상대학교산학협력단 스마트 이러닝 시스템의 사용자 핸드 제스처 감응 방법
KR20220042335A (ko) * 2018-03-15 2022-04-05 한국전자기술연구원 자동 수어 인식 방법 및 시스템
US11373451B2 (en) 2018-06-08 2022-06-28 Korea Electronics Technology Institute Device and method for recognizing gesture
KR20230142258A (ko) * 2022-04-01 2023-10-11 한국생산기술연구원 비전 인공지능 기반 수신호 인식 장치 및 이를 이용한 수신호 인식 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190026810A (ko) * 2017-06-06 2019-03-13 미디어 그룹 코 엘티디 딥 뉴럴 네트워크를 사용하여 대략적에서 정밀적으로의 손 검출 방법
US10817716B2 (en) 2017-06-06 2020-10-27 Midea Group Co., Ltd. Coarse-to-fine hand detection method using deep neural network
KR20190096210A (ko) * 2018-02-08 2019-08-19 경상대학교산학협력단 스마트 이러닝 시스템의 사용자 핸드 제스처 감응 방법
KR20220042335A (ko) * 2018-03-15 2022-04-05 한국전자기술연구원 자동 수어 인식 방법 및 시스템
US11373451B2 (en) 2018-06-08 2022-06-28 Korea Electronics Technology Institute Device and method for recognizing gesture
KR20230142258A (ko) * 2022-04-01 2023-10-11 한국생산기술연구원 비전 인공지능 기반 수신호 인식 장치 및 이를 이용한 수신호 인식 방법

Also Published As

Publication number Publication date
KR101899590B1 (ko) 2018-09-17

Similar Documents

Publication Publication Date Title
Elakkiya RETRACTED ARTICLE: Machine learning based sign language recognition: a review and its research frontier
KR101978265B1 (ko) 손 모양 및 동작 인식장치 및 방법
Athira et al. A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario
Halder et al. Real-time vernacular sign language recognition using mediapipe and machine learning
Shan et al. 3D human action segmentation and recognition using pose kinetic energy
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
Al-Shamayleh et al. A systematic literature review on vision based gesture recognition techniques
Jiang et al. Multi-layered gesture recognition with Kinect.
Abreu et al. Evaluating sign language recognition using the myo armband
EP3191989B1 (en) Video processing for motor task analysis
Sharma et al. Human computer interaction using hand gesture
Dong et al. American sign language alphabet recognition using microsoft kinect
KR102036963B1 (ko) Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템
Rustam et al. Home automation-based health assessment along gesture recognition via inertial sensors
WO2020078017A1 (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
KR101899590B1 (ko) 손 모양 및 동작 인식장치 및 방법
He et al. Counting and exploring sizes of Markov equivalence classes of directed acyclic graphs
Misra et al. Development of a hierarchical dynamic keyboard character recognition system using trajectory features and scale-invariant holistic modeling of characters
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
Asteriadis et al. Landmark-based multimodal human action recognition
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
Hashi et al. A Systematic Review of Hand Gesture Recognition: An Update From 2018 to 2024
Yauri Vidalón et al. Brazilian sign language recognition using kinect
Li et al. Feature selection for classification of variable length multiattribute motions
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151021

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170712

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151021

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180226

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180823

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20180906

Patent event code: PA01071R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180911

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180911

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210615

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240622