Nothing Special   »   [go: up one dir, main page]

KR101068281B1 - 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법 - Google Patents

후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법 Download PDF

Info

Publication number
KR101068281B1
KR101068281B1 KR1020100001293A KR20100001293A KR101068281B1 KR 101068281 B1 KR101068281 B1 KR 101068281B1 KR 1020100001293 A KR1020100001293 A KR 1020100001293A KR 20100001293 A KR20100001293 A KR 20100001293A KR 101068281 B1 KR101068281 B1 KR 101068281B1
Authority
KR
South Korea
Prior art keywords
finger
information terminal
portable information
movement
image
Prior art date
Application number
KR1020100001293A
Other languages
English (en)
Other versions
KR20110080871A (ko
Inventor
홍광석
김정현
김동주
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100001293A priority Critical patent/KR101068281B1/ko
Publication of KR20110080871A publication Critical patent/KR20110080871A/ko
Application granted granted Critical
Publication of KR101068281B1 publication Critical patent/KR101068281B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영상 인식 장치 및 메모리를 포함하는 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 상기 휴대형 정보 단말기를 파지한 손의 손가락 움직임 및 손가락 제스처를 인식해서 휴대형 정보 단말기 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법에 관한 것으로서, 본 발명은 상기 영상 획득 장치를 이용해서 상기 휴대형 정보 단말기를 파지한 손의 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 상기 획득된 영상으로부터 손가락 영역을 검출하고, 손가락 움직임 및 손가락 제스처 인식을 위한 특징을 추출하는 제2 단계; 제3 단계에서 추출된 특징을 이용하여 손가락 제스처에 대한 인식을 수행해서, 상기 휴대형 정보 단말기를 파지한 손의 손가락 운동 모양이 손가락 제스처인지, 아니면 손가락 움직임인지를 판단하는 제3 단계; 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락의 위치를 검출하는 제4 단계; 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락 객체 영역의 면적 변화를 검출하는 제5 단계; 제3 단계에서 추출된 특징, 제4 단계에서 검출된 손가락의 위치, 및 제5 단계에서 검출된 손가락 객체 영역의 면적 변화를 이용하여 손가락 움직임에 대한 인식을 수행하는 제6 단계; 및 제3 단계에서 수행된 인식의 결과 또는 제6 단계에서 수행된 인식의 결과를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 제7 단계를 포함한다.

Description

후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법{METHOD FOR CONTROLLING A PORTABLE INFORMATION TERMINAL AND CONTENTS THEREOF USING RECOGNIZING FINGER MOTIONS AND GESTURES ON THE BACK OF THE PORTABLE INFORMATION TERMINAL}
본 발명은 휴대형 정보 단말기 자체 및 휴대형 정보 단말기로 이용가능한 콘텐츠의 제어 방법에 관한 것으로서, 더욱 상세하게는 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 손가락 움직임 및 손가락 제스처 등을 인식해서 휴대형 정보 단말기 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법에 관한 것이다.
종래에는 휴대형 정보 단말기 자체 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하기 위해서 일반적으로 휴대형 정보 단말기의 전면부(앞면)에 구비된 터치스크린 또는 키패드 등의 사용자 인터페이스를 이용하는 것이 일반적이었다. 오늘날 휴대형 정보 단말기가 널리 보급됨에 따라 다양한 사용여건 하에서 휴대형 정보 단말기를 제어하는 방법에 대한 기술개발의 요구가 증대되고 있다. 하지만, 휴대형 정보 단말기를 파지한 손의 손가락 움직임 또는 손가락 제스처를 인식해서 휴대형 정보 단말기나 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법에 관한 선행기술은 현재 존재하지 않는다.
본 발명은 이러한 문제점을 해결하고자, 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 손의 손가락 움직임 및 손가락 제스처를 인식해서 휴대형 정보 단말기 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 영상 인식 장치 및 메모리를 포함하는 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 상기 휴대형 정보 단말기를 파지한 손의 손가락 움직임 및 손가락 제스처를 인식해서 휴대형 정보 단말기 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법으로서, 상술한 목적을 달성하기 위해, 본 발명은 상기 영상 획득 장치를 이용해서 상기 휴대형 정보 단말기를 파지한 손의 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 상기 획득된 영상으로부터 손가락 영역을 검출하고, 손가락 움직임 및 손가락 제스처 인식을 위한 특징을 추출하는 제2 단계; 제3 단계에서 추출된 특징을 이용하여 손가락 제스처에 대한 인식을 수행해서, 상기 휴대형 정보 단말기를 파지한 손의 손가락 운동 모양이 손가락 제스처인지, 아니면 손가락 움직임인지를 판단하는 제3 단계; 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락의 위치를 검출하는 제4 단계; 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락 객체 영역의 면적 변화를 검출하는 제5 단계; 제3 단계에서 추출된 특징, 제4 단계에서 검출된 손가락의 위치, 및 제5 단계에서 검출된 손가락 객체 영역의 면적 변화를 이용하여 손가락 움직임에 대한 인식을 수행하는 제6 단계; 및 제3 단계에서 수행된 인식의 결과 또는 제6 단계에서 수행된 인식의 결과를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 제7 단계를 포함한다. 여기서, 상기 손가락 제스처는 손가락의 운동 모양 중에서 미리 정의하여 상기 휴대형 정보 단말기의 메모리에 저장해 둔 손가락의 특정한 운동 모양을 가리키는 것이고, 상기 손가락 움직임은 손가락의 운동 모양 중에서 상기 손가락 제스처가 아닌 손가락의 운동 모양을 가리키는 것이다.
또한, 본 발명의 실시예에 따라서, 제3 단계에서 추출된 특징은 휴대형 정보 단말기를 파지한 손의 손가락 굽힘 정도를 포함하고, 제4 단계에서 검출된 손가락의 위치는 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치이고, 제5 단계에서 검출된 손가락 객체 영역의 면적 변화는 상기 영상 획득 장치와 손가락의 거리 변화에 따른 상기 획득된 영상 내 손가락 객체 영역의 면적 변화일 수 있다.
또한, 본 발명의 실시예에 따라서, 상기 휴대형 정보 단말기는 터치스크린 또는 키패드를 더 구비할 수 있고, 상기 제어 방법에 의해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 때에는 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 없는 상태가 되도록 하고, 상기 제어 방법에 의해서 휴대형 정보 단말기 및 콘텐츠를 제어하지 않는 때에는 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 있는 상태가 되도록 할 수 있다.
본 발명에 따르면, 간단한 손가락 동작으로 휴대형 정보 단말기 자체 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 비접촉 방식으로 제어함으로써 사용자의 편의를 증가시킬 수 있으며, 터치스크린 또는 키패드 등과 같은 기존의 휴대형 정보단말기 제어 방법 및 기능은 그대로 제공하되 이에 부가적으로 사용자가 휴대형 정보단말기를 파지한 한쪽 손만으로도 휴대용 정보 단말기를 운용 및 제어할 수 있게 하여 보다 편리하고 효율적인 사용자 환경을 제공해 줄 수 있다.
도 1은 본 발명의 일실시예에 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 시스템의 블록도이다.
도 2는 본 발명의 일실시예 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 시스템의 블록도이다.
도 4는 본 발명의 다른 실시예 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 방법의 흐름도이다.
도 5는 오른손으로 휴대형 정보단말기를 파지한 경우에 손가락 제스처 영상의 획득하기 위한 실시예를 도시한 도면이다.
도 6은 왼손으로 휴대형 정보단말기를 파지한 경우에 손가락 제스처 영상을 획득하기 위한 실시예를 도시한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따라서, 오른손으로 휴대형 정보단말기를 파지한 경우에 손가락 위치의 중심 좌표의 이동에 따른 명령어의 실행 방법을 도시한 도면이다.
도 8은 본 발명의 바람직한 실시예에 따라서, 오른손으로 휴대형 정보단말기를 파지한 경우에 손가락 객체 영역 면적 변화에 따른 명령어의 실행 방법을 도시한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따라서, 왼손으로 휴대형 정보단말기를 파지한 경우에 손가락 위치의 중심 좌표의 이동에 따른 명령어의 실행 방법을 도시한 도면이다.
도 10은 본 발명의 바람직한 실시예에 따라서, 왼손으로 휴대형 정보단말기를 파지한 경우에 손가락 객체 영역 면적 변화에 따른 명령어의 실행 방법을 도시한 도면이다.
본 명세서에서, 손가락 제스처라고 함은 손가락의 운동 모양 중에서 미리 정의하여 휴대형 정보 단말기의 메모리에 저장해 둔 손가락의 특정한 운동 모양을 가리키는 것이고, 손가락 움직임이라고 함은 손가락의 운동 모양 중에서 상기 손가락 제스처가 아닌 손가락의 운동 모양을 가리키는 것이다.
또한, 본 발명에 있어서 2차원 평면 또는 다차원 손가락의 움직임 또는 제스처 인식을 위해 사용하는 특징에는 휴대형 정보 단말기에 구비된 영상촬영장치 등으로 촬영가능한 범위 내에서 손가락의 굽힘 정도, 심벌화된 손가락의 모양, 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치, 연속된 손가락 움직임의 거리 즉, 영상 획득 장치와 손가락의 거리에 따른 영상 내 손가락 객체 영역의 면적 변화 등이 포함된다. 이와 같은 특징을 이용하여 인식된 손가락 움직임 또는 손가락 제스처는 미리 매핑되어 있는 휴대형 정보 단말기 제어 명령 또는 내장된 관련 콘텐츠의 제어 명령 등을 운용 및 실행하는 일련의 프로세스를 수행하게 된다.
손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법은 이하에서 첨부된 도면을 참고하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 시스템의 블록도이고, 도 2는 본 발명의 일실시예에 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법에 대한 흐름도이다.
본 발명에 따른 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 시스템(100)은, 도 1에서 도시된 바와 같이, 손가락 영역 영상 획득부(101), 손가락 영역 검출 및 특징 추출부(103), 손가락 제스처 및 손가락 움직임 판단부(105), 손가락 위치 검출부(107), 손가락 객체 영역 면적 변화 검출부(109), 손가락 움직임 인식부(111), 및 휴대형 정보 단말기 및 콘텐츠 제어부(113)를 포함한다.
또한, 본 발명에 따른 휴대형 정보 단말기 및 콘텐츠 제어 방법(200)은, 도 2에서 도시된 바와 같이, 영상 획득 장치를 이용해서 휴대형 정보 단말기를 파지한 손의 손가락 영역을 포함하는 영상을 획득하는 제1 단계(S201), 상기 획득된 영상으로부터 손가락 영역을 검출하고, 손가락 움직임 및 손가락 제스처 인식을 위한 특징을 추출하는 제2 단계(S203), 제3 단계에서 추출된 특징을 이용하여 손가락 제스처에 대한 인식을 수행해서, 상기 휴대형 정보 단말기를 파지한 손의 손가락 운동 모양이 손가락 제스처인지, 아니면 손가락 움직임인지를 판단하는 제3 단계(S205), 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락의 위치를 검출하는 제4 단계(S207), 제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락 객체 영역의 면적 변화를 검출하는 제5 단계(S209), 제3 단계에서 추출된 특징, 제4 단계에서 검출된 손가락의 위치, 및 제5 단계에서 검출된 손가락 객체 영역의 면적 변화를 이용하여 손가락 움직임에 대한 인식을 수행하는 제6 단계(S211), 및 제3 단계에서 수행된 인식의 결과 또는 제6 단계에서 수행된 인식의 결과를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 제7 단계(S213)를 포함할 수 있다.
손가락 영역 영상 획득부(101)에서는 휴대형 정보 단말기에 구비된 영상 획득 장치를 이용해서 휴대형 정보 단말기를 파지한 손의 손가락 영역을 포함하는 영상을 획득하는 제1 단계(S201)를 수행한다. 휴대형 정보 단말기에 구비된 영상 획득 장치는 휴대형 정보 단말기의 후면부(뒷면), 전면부(앞면), 또는 측면부(옆면)에 구비된 내장형이 일반적이지만, 휴대형 정보 단말기에 탈부착 가능한 외장형 영상 획득 장치에도 본 발명이 적용될 수 있다. 또한, 영상 획득 장치가 단일 카메라인지, 아니면 다중 카메라 또는 스테레오 카메라인지에 관계없이 본 발명이 적용될 수 있다. 본 발명의 실시예에서는, 영상 획득 장치가 휴대형 정보 단말기의 후면부(뒷면)에 구비되어 있는 것을 전제로 한다. 영상 획득과 관련하여, 도 5는 오른손으로 휴대형 정보단말기를 파지한 경우에 손가락 제스처 영상의 획득하기 위한 실시예를 도시한 도면이고, 도 6은 왼손으로 휴대형 정보단말기를 파지한 경우에 손가락 제스처 영상을 획득하기 위한 실시예를 도시한 도면이다.
손가락 영역 검출 및 특징 추출부(103)에서는 손가락 영역 영상 획득부(101)에서 획득된 영상으로부터 손가락 영역을 검출하고, 손가락 움직임 및 손가락 제스처 인식을 위한 특징을 추출하는 제2 단계(S203)를 수행한다. 여기에서, 영상이라 함은 2차원 평면 이미지뿐만 아니라, 2차원 평면상에서 그 깊이(거리) 정보를 알 수 있는 3차원 이미지를 포함한다. 본 발명에서는 객체의 다양한 특성을 반영하여 객체의 영상을 인식하기 위해서, 획득된 객체 영상 정보로부터 Haar-like 특징 기반의 AdaBoost 학습 알고리즘 및 템플릿 매칭(Template Matching) 등을 이용하여 목적 기반의 특징 영역을 검출하고 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), 그리고 2D-DCT(2-D Discrete Cosine Transform) 등을 포함하는 특징 추출 알고리즘을 이용하여 검출 영역에 대한 특징을 추출한다. 특히, 해당 손가락 영역을 검출함에 있어 색상 정보 및 윤곽선 특징 등을 활용할 수 있으며, 손가락의 모양과 관련된 특징으로서 휴대형 정보 단말기를 파지한 손의 손가락 굽힘 정도를 들 수 있다.
손가락 제스처 및 손가락 움직임 판단부(105)에서는 손가락 영역 검출 및 특징 추출부(103)에서 추출된 특징을 이용하여 손가락 제스처에 대한 인식을 수행해서, 상기 휴대형 정보 단말기를 파지한 손의 손가락 운동 모양이 손가락 제스처인지, 아니면 손가락 움직임인지를 판단하는 제3 단계(S205)를 수행한다. 상술한 바와 같이, 본 명세서에서 손가락 제스처라고 함은 상기 손가락 제스처는 손가락의 운동 모양 중에서 미리 정의하여 휴대형 정보 단말기의 메모리에 저장해 둔 손가락의 특정한 운동 모양을 가리키는 것인데, 손가락 제스처를 미리 정의하고 모델화해서(손가락 제스처의 심벌화라고 함) 특정 제어 명령어에 매핑시켜서 휴대형 단말기의 메모리에 미리 저장해 둘 수 있다. 이렇게 손가락 제스처를 심벌화하는 목적은, 사용자가 휴대형 정보 단말기를 단순히 파지하고 있는 경우 비교적 운동의 자유도가 높은 검지를 이용하여 다양한 손가락 제스처를 취해서 직접 특정 제어 명령어를 실행할 수 있도록 하기 위함이다. 제3 단계에서는 손가락 영역 영상에서의 손가락 운동 모양이 어떠한 손가락 제스처에 해당하는지에 대하여 패턴 인식 프로세스를 수행하고, 해당하는 손가락 제스처가 존재하는 경우에는 사용자의 손가락 운동 모양을 특정 제어 명령이 매핑되어 있는 심벌화된 손가락 제스처로 판단하여 휴대형 정보 단말기 및 콘텐츠를 제어하는 단계(S213)로 넘어가고, 해당하는 손가락 제스처가 존재하지 않는 경우에는 사용자의 손가락 운동 모양을 연속된 손가락 움직임이라고 판단하여 추가적인 특징을 추출하는 단계(S207, S209)로 넘어간다.
제3 단계(S205)에서 연속된 손가락 움직임이라고 판단된 경우에, 손가락 위치 검출부(107)에서는 상기 획득된 영상으로부터 손가락의 위치를 검출하는 제4 단계(S207)를 수행한다. 제4 단계(S207)에서는 손가락 움직임 인식 단계(S211)에서 손가락의 움직임을 인식하기 위한 하나의 특징으로서, 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치를 제공한다.
제3 단계(S205)에서 연속된 손가락 움직임이라고 판단된 경우에, 손가락 객체 영역 면적 변화 검출부(109)에서는 상기 획득된 영상으로부터 손가락 객체 영역의 면적 변화를 검출하는 제5 단계(S209)를 수행한다. 제5 단계(S209)에서는 손가락 움직임 인식 단계(S211)에서 손가락의 움직임을 인식하기 위한 하나의 특징으로서, 영상 획득 장치와 손가락의 거리 변화에 따른 획득된 영상 내에서의 손가락 객체 영역의 면적 변화를 제공한다.
제4 단계(S207)와 제5 단계(S209)의 수행 순서에 있어서, 제4 단계(S207)가 수행된 후 제5 단계(S209)가 수행될 수도 있고, 제5 단계(S209)가 수행된 후 제4 단계(S207)가 수행될 수도 있다.
손가락 움직임 인식부(111)에서는, 손가락 영역 검출 및 특징 추출부(103)에서 추출된 특징, 손가락 위치 검출부(107)에서 검출된 손가락의 위치, 및 손가락 객체 영역 면적 변화 검출부(109)에서 검출된 손가락 객체 영역의 면적 변화를 이용하여 손가락 움직임에 대한 인식을 수행하는 제6 단계(S211)를 수행한다. 이는 연속된 손가락의 움직임에 있어서 손가락의 움직임 정도를 인지하는 단계로서, 영상 획득 장치로부터 촬영된 손가락 움직임 영상을 이용하여 해당 손가락 영역을 검출한 후, 검출된 손가락 객체 영역의 면적은 윤곽선의 최대-최소 정보 및 영상의 회전 각도 등을 이용하여 특정 크기의 손가락 객체 영상으로 정규화하고, 정규화된 객체 영상을 이용하여 해당 객체 영상의 중심점 좌표를 획득하게 된다. 이후 검출된 손가락 영역을 기준으로 해당 중심점을 획득하여 중심점의 변화에 따른 위치 좌표 변화 정도를 추적하게 된다. 여기서, 해당 중심점의 변화는 곧 해당 손가락 객체의 위치 변화를 의미하고, 이러한 손가락 객체의 위치 변화에 대한 인식결과를 상/하/좌/우/선택(클릭) 등과 같은 제어 명령어와 매핑시켜서, 터치스크린 패널 등에서 커서의 움직임 또는 마우스포인팅 등의 시각적 효과 등으로 사용자에게 제시할 수 있다.
손가락 제스처 인식 단계(S205) 또는 손가락 움직임 인식 단계(S211)에서는 추출된 특징을 기반으로 K-NN 및 SVM(Support Vector Machine), EHMM(Embedded Hidden Markov Model) 등과 같은 패턴 인식 알고리즘을 응용하여 다양한 객체 영상 인식 결과를 도출하게 되는데, 본 발명에서는 다양한 패턴 인식 알고리즘들을 이용하여 해당 영역을 검출하고 이를 다차원적으로 해석 및 인지하는 전반적인 기술 등을 포함한다. 또한, 본 발명에서는 다차원 손가락의 움직임 또는 제스처 추정을 이용하여 각도 및 자기 겹침(Self Occlusion)에 강인한 손 모양을 인식하고, 손가락의 운동 모양을 분석함으로써 손가락 제스처 및 손가락 움직임에 대한 인식을 수행한다. 일반적으로, 인식 결과를 안정시키기 위해서 시간적인 연속성을 반드시 고려하여야 하며, 손가락 움직임의 시간적 위치 변화를 나타내는 2진 영상인 MEI(Motion EnergyImage) 및 동작의 시간적 경과 정보를 표현하는 MHI(MotionHistory Image) 패턴 등을 이용하여 연속 자세를 상태변화로 표현한 HMM 인식 방법 등이 인식의 최종 과정에서 함께 사용된다. 입력 영상의 잡음을 제거하기 위하여 한 번의 침식(erosion) 및 모폴로지(Morpology) 연산을 수행하고, 이때, 손가락 영역도 같이 줄어드는 현상을 막기 위해 팽창(dilation) 모폴로지(Morpology) 연산을 사용하는 방법 등도 이용될 수 있다. 또한, 시각 기반 입력 영상으로부터 특징 값을 추출하여 신체의 포즈와 모션을 효과적으로 표현하고 인식하기 위해서, 손가락 운동 모양의 특징 추출 방법에는 상기 MEI(Motion EnergyImage) 및 MHI(MotionHistory Image) 패턴, 그리고 로스 커틀러(Ross Cutler)의 방법, 카드보드 모델(cardboard model) 등을 포함될 수 있다. 또한, 본 발명에 따르면, 손가락 움직임 및 손가락 제스처 인식을 위해서 이용되는 특징에는, 상술한 바와 같이, 휴대형 정보 단말기를 파지한 손의 손가락 굽힘 정도, 미리 정의하여 둔 손가락의 모양, 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치, 또는 상기 영상 획득 장치와 손가락의 거리 변화에 따른 상기 획득된 영상 내 손가락 객체 영역의 면적 변화 등이 포함될 수 있다.
도 3은 본 발명의 다른 실시예에 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 시스템의 블록도(300)이고, 도 4는 본 발명의 다른 실시예 따라서 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법을 수행하기 위한 방법(400)의 흐름도이다.
도 3 및 도 4를 참조하면, 본 발명의 실시예에 따라서는, 손가락 제스처 인식이 손가락 제스처 및 손가락 움직임 인식 단계(S411)로 통합되어 손가락 제스처 및 손가락 움직임 인식부(311)에서 수행될 수도 있으며, 이 경우에는 손가락 제스처에 대한 최종적인 인식이 손가락의 운동 모양이 손가락 제스처인지 손가락 움직임인지를 판단(S405)하는 손가락 제스처 및 손가락 움직임 판단부(305)에서 수행되지 않을 수 있다.
휴대형 정보 단말기 및 콘텐츠 제어부(113)는 손가락 제스처 인식 단계(S205)에서 수행된 인식의 결과 또는 손가락 움직임 인식 단계(S211)에서 수행된 인식의 결과를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 제7 단계(S213)를 수행한다.
본 발명에 따라서, 손가락 운동 모양이 손가락 제스처로 인식된 경우에는 인식된 손가락 제스처에 매핑되어 있는 특정 제어 명령어를 직접 실행한다. 한편, 손가락 움직임으로 인식된 경우에는 휴대형 정보 단말기 및 내장된 관련 콘텐츠 제어를 위해서 예컨대, 상/하/좌/우/선택(클릭) 등과 같은 5가지 범주의 제어 명령어를 실행할 수 있다. 이때, 휴대형 정보 단말기에 구비된 영상 획득 장치의 특성 및 손가락 움직임 또는 손가락 제스처 표현의 범위를 고려한다.
도 7은 본 발명의 바람직한 실시예에 따라서 오른손으로 휴대형 정보단말기를 파지한 경우에 손가락 위치의 중심 좌표의 이동에 따른 명령어의 실행 방법을 도시한 도면이고, 도 8은 손가락 객체 영역 면적 변화에 따른 명령어의 실행 방법을 도시한 도면이다. 도 9는 본 발명의 바람직한 실시예에 따라서 왼손으로 휴대형 정보단말기를 파지한 경우에 손가락 위치의 중심 좌표의 이동에 따른 명령어의 실행 방법을 도시한 도면이고, 도 10은 손가락 객체 영역 면적 변화에 따른 명령어의 실행 방법을 도시한 도면이다.
이하, 도 7 내지 도 10에서 도시되고 설명되는 본 발명의 구성과 작용은 적어도 하나 이상의 실시 예로서 설명되는 것으로, 손가락 움직임 및 제스처에 의한 제어 명령어는 명령어의 추가 확장 및 명령어 매핑 순서의 변경이 가능하며, 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
도 7 내지 도 10에서는 휴대형 정보 단말기의 키패드 조작에 관한 바람직한 실시예를 도시하고 있으며, 3×4 키로 구성된 일반적인 다이얼 키패드를 조작함에 있어 상/하/좌/우/선택(클릭) 등과 같은 제어 명령어의 구성 방법이 개시되어 있다.
도 7 또는 도 9에서 보는 바와 같이 좌/우 이동 명령어를 생성함에 있어 사용자는 휴대형 정보 단말기에 구비된 영상 획득 장치를 이용하여 좌/우 방향으로 이동된 손가락 영역을 촬영하고 촬영된 영상으로부터 손가락의 특징 영역을 검출한 후 정규화된 객체 영상을 이용하여 해당 객체 영상의 중심점 좌표를 획득하게 된다. 이후 해당 중심좌표의 변화량을 관측하고 이를 인지하여 해당 손가락의 움직임이 곧 좌/우 이동 명령어로 수행되어 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어하거나 실행하는 단계를 포함한다. 또한, 이와 함께 중심점 좌표의 변화 추이를 관측한 후, 타임스탬프 또는 제스처 스팟팅 등을 이용하여 일정 시간 또는 일정 프레임 이상의 지속성을 보일 경우 해당 손가락의 움직임 또는 제스처를 좌/우 명령어로 인지하는 단계를 포함한다.
유사한 방식으로 손가락의 움직임 특징을 이용한 상/하 이동 명령어를 생성하는 것과 관련하여 도 8 또는 도 10을 참조한다. 영상 획득 장치와 해당 손가락의 거리가 가까우면 손가락 객체 영역의 면적이 매우 넓은 상태로, 거리가 멀어지면 해당 객체 영역의 면적이 보다 좁아진 상태로 손가락 영역이 검출되어 이러한 손가락 객체 영역의 면적에 대한 변화 정도를 상기 중심점 좌표 특징에 추가하여 새로운 특징으로 분류할 수 있다. 따라서 상/하 제어 명령어를 생성하는 단계에서는 해당 손가락 객체 영상의 면적에 따라 그 면적이 넓으면 즉, 영상 획득 장치와 해당 손가락의 거리가 가까우면 "하" 이동으로, 이와는 반대로 손가락의 움직임이 영상 획득 장치와 멀어진 상태를 "상" 이동으로 규정하되 해당 객체 영상의 면적을 이용하여 객체 특징을 모델링함에 있어 "상"과 "하"의 중간 단계에 해당하는 객체 영상의 면적을 추가함으로써 "상", "중", "하"에 해당하는 제어 명령어를 독립적으로 생성할 수 있다. 이와 더불어 손가락 객체 영상의 면적 변화 추이를 관측 후 타임스탬프 또는 제스처 스팟팅 등을 이용하여 일정 시간 또는 일정 프레임 이상의 지속성을 보일 경우 해당 손가락의 움직임 또는 제스처가 좌/우 명령어로 인지하는 단계를 포함할 수 있다.
또한, 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어, 즉 윈도우 기반의 클릭 또는 더블 클릭 기능 등과 유사한 선택 기능을 제어함에 있어 상기 중심점 좌표 특징과 객체 영상의 면적 등을 이용하되 해당 손가락의 움직임 또는 제스처의 급격한 변화 양상 등을 이용하여 해당 제어 명령어를 생성할 수 있다. 일실시예로서 도 7 또는 도 9에서 도시한 바와 같이 휴대형 정보 단말기를 파지한 해당 손의 손가락은 영상 획득 장치와 해당 손가락의 거리가 먼 상태에서 가까운 상태로 해당 손가락의 중심좌표를 이동함으로써 해당 손가락 객체 영상의 면적이 급격히 변화된 정도를 확인할 수 있다. 또한, 해당 손가락을 좌/우로 이동함으로써 해당 중심 좌표의 변화 추이를 관측할 수 있으므로 이러한 급격한 중심좌표 또는 객체 영역 면적의 변화가 있을 시, 해당 시스템은 이를 인지하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어로 활용하게 된다.
손가락 제스처 또는 손가락 움직임에 대한 영상 인식 기술은 상술한 바와 같이 2차원 또는 3차원 제스처 영상을 포함하는 영상 기반의 객체 인식 기술의 전반적인 응용이 가능하기 때문에, 본 발명에 있어서 손가락 제스처 또는 손가락 움직임에 대한 영상 인식 기술은 휴대형 정보 단말기에 구비된 단일/다중 카메라 또는 스테레오 카메라 등을 이용하는 종래의 영상 인식 기술을 모두 활용할 수 있다. 또한, 본 발명에서는 전체 영상 중에서 손가락 영역을 추출해서 연속된 손가락의 다차원 상 움직임 거리를 추적 및 분석하기 위해서 2차원 평면 및 다차원 손가락 모델을 재구성하는 것을 포함할 수 있다.
나아가, 시스템 제어 및 운용 명령어 등을 입력하기 위한 터치스크린, 키패드 등으로 대표되는 사용자 인터페이스와 겸하여 영상 획득 장치 기반으로 사용자가 제어 명령어를 실행할 수 있도록, 본 발명에 따른 시스템은 본 발명에 따라서 영상 획득 장치를 통하여 제어 명령이 입력되는지 여부를 판단하는 입력 모드 판단부를 더 구비할 수 있다. 입력 모드 판단부에서는 손가락 제스처 인식을 이용한 제어 명령어가 입력될 때 사용자는 터치스크린 또는 키패드 등을 통해서 제어 명령어를 입력할 수 없고, 본 발명에 따른 제어 명령어를 통해서 터치스크린 패널 등에서 시각적인 표현(마우스 포인팅 등) 등을 실행하도록 할 수 있다. 다시 말해, 본 발명에 따른 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법은 본 발명에 따른 제어 방법에 의해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 때에는 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 없는 상태가 되도록 하고, 본 발명에 따른 제어 방법을 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하지 않는 때에는 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 있는 상태가 되도록 하는 기능을 더 포함할 수 있다.
본 발명에 관하여, 상술한 내용 및 그 등가물들은 다양한 형태로 구현될 수 있다는 것이 상기 설명으로부터 이해될 것이다. 따라서, 본 발명의 진정한 범위는 이하의 청구항들 및 당업자들에게 그 자체로 연상될 수 있는 임의의 등가물들을 포함하며, 본 명세서에서 서술된 특정 실시예에 의하여 한정되는 것은 아니다.
본 명세서에 사용된 용어는 단지 구체적인 실시예를 서술하기 위한 목적이며, 본 발명을 제한하고자 하는 것은 아니다. 또한, 본 명세서에서 단수형태는, 문맥이 분명하게 복수가 아님을 가리키지 않는다면, 복수형태 또한 포함하는 것으로 의도된다.
101: 손가락 영역 영상 획득부
103: 손가락 영역 검출 및 특징 추출부
105: 손가락 제스처 및 손가락 움직임 판단부
107: 손가락 위치 검출부
109: 손가락 객체 영역 면적 변화 검출부
111: 손가락 움직임 인식부
113: 휴대형 정보 단말기 및 콘텐츠 제어부
S201: 손가락 영역 영상 획득 단계
S203: 손가락 영역 검출 및 특징 추출 단계
S205: 손가락 제스처 및 손가락 움직임 판단 단계
S207: 손가락 위치 검출 단계
S209: 손가락 객체 영역 면적 변화 검출 단계
S211: 손가락 움직임 인식 단계
S213: 휴대형 정보 단말기 및 콘텐츠 제어 단계

Claims (6)

  1. 영상 인식 장치 및 메모리를 포함하는 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 상기 휴대형 정보 단말기를 파지한 손의 손가락 움직임 및 손가락 제스처를 인식해서 휴대형 정보 단말기 및 휴대형 정보 단말기로 이용가능한 콘텐츠를 제어하는 방법으로서,
    상기 영상 획득 장치를 이용해서 상기 휴대형 정보 단말기를 파지한 손의 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
    상기 획득된 영상으로부터 손가락 영역을 검출하고, 손가락 움직임 및 손가락 제스처 인식을 위한 특징을 추출하는 제2 단계;
    제2 단계에서 추출된 특징을 이용하여 손가락 제스처에 대한 인식을 수행해서, 상기 휴대형 정보 단말기를 파지한 손의 손가락 운동 모양이 손가락 제스처인지, 아니면 손가락 움직임인지를 판단하는 제3 단계;
    제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락의 위치를 검출하는 제4 단계;
    제3 단계에서 손가락 움직임이라고 판단된 경우에, 상기 획득된 영상으로부터 손가락 객체 영역의 면적 변화를 검출하는 제5 단계;
    제3 단계에서 추출된 특징, 제4 단계에서 검출된 손가락의 위치, 및 제5 단계에서 검출된 손가락 객체 영역의 면적 변화를 이용하여 손가락 움직임에 대한 인식을 수행하는 제6 단계; 및
    제3 단계에서 수행된 인식의 결과 또는 제6 단계에서 수행된 인식의 결과를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 제7 단계를 포함하고,
    상기 손가락 제스처는 손가락의 운동 모양 중에서 미리 정의하여 상기 휴대형 정보 단말기의 메모리에 저장해 둔 손가락의 특정한 운동 모양을 가리키는 것이고, 상기 손가락 움직임은 손가락의 운동 모양 중에서 상기 손가락 제스처가 아닌 손가락의 운동 모양을 가리키는 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
  2. 제1항에 있어서,
    제3 단계에서 추출된 특징은 휴대형 정보 단말기를 파지한 손의 손가락 굽힘 정도를 포함하는 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
  3. 제1항에 있어서,
    제4 단계에서 검출된 손가락의 위치는 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치인 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
  4. 제1항에 있어서,
    제5 단계에서 검출된 손가락 객체 영역의 면적 변화는 상기 영상 획득 장치와 손가락의 거리 변화에 따른 상기 획득된 영상 내 손가락 객체 영역의 면적 변화인 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
  5. 제1항에 있어서,
    제3 단계에서 추출된 특징은 휴대형 정보 단말기를 파지한 손의 손가락 굽힘 정도를 포함하고,
    제4 단계에서 검출된 손가락의 위치는 2차원 평면 또는 다차원 공간 영역 내의 손가락 중심 좌표의 위치이고,
    제5 단계에서 검출된 손가락 객체 영역의 면적 변화는 상기 영상 획득 장치와 손가락의 거리 변화에 따른 상기 획득된 영상 내 손가락 객체 영역의 면적 변화인 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 휴대형 정보 단말기는 터치스크린 또는 키패드를 더 구비하고,
    청구항 제1항 내지 제5항 중 어느 한 항에 기재된 제어 방법에 의해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 때에는 상기 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 없는 상태가 되고, 청구항 제1항 내지 제5항 중 어느 한 항에 기재된 제어 방법에 의해서 휴대형 정보 단말기 및 콘텐츠를 제어하지 않는 때에는 상기 터치스크린 또는 키패드가 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어를 사용자로부터 입력받을 수 있는 상태가 되는 것을 특징으로 하는 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법.
KR1020100001293A 2010-01-07 2010-01-07 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법 KR101068281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100001293A KR101068281B1 (ko) 2010-01-07 2010-01-07 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100001293A KR101068281B1 (ko) 2010-01-07 2010-01-07 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법

Publications (2)

Publication Number Publication Date
KR20110080871A KR20110080871A (ko) 2011-07-13
KR101068281B1 true KR101068281B1 (ko) 2011-09-28

Family

ID=44919708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100001293A KR101068281B1 (ko) 2010-01-07 2010-01-07 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법

Country Status (1)

Country Link
KR (1) KR101068281B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281461B1 (ko) * 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
US9928413B2 (en) 2013-06-13 2018-03-27 Intel Corporation Techniques for user authentication on a computing device via pattern recognition
KR102158062B1 (ko) * 2014-01-14 2020-09-21 엘지이노텍 주식회사 제스처 인식 장치 및 이의 제스처 인식 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196400A1 (en) 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
KR100563737B1 (ko) 2003-12-30 2006-03-28 주식회사 팬택앤큐리텔 카메라 기능을 이용한 이동통신 단말기의 사용자 조작인터페이스 방법 및 장치
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100952603B1 (ko) 2009-11-05 2010-04-15 팬터로그인터액티브 주식회사 카메라를 이용한 화면 스크롤 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196400A1 (en) 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
KR100563737B1 (ko) 2003-12-30 2006-03-28 주식회사 팬택앤큐리텔 카메라 기능을 이용한 이동통신 단말기의 사용자 조작인터페이스 방법 및 장치
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100952603B1 (ko) 2009-11-05 2010-04-15 팬터로그인터액티브 주식회사 카메라를 이용한 화면 스크롤 장치 및 방법

Also Published As

Publication number Publication date
KR20110080871A (ko) 2011-07-13

Similar Documents

Publication Publication Date Title
CN106502570B (zh) 一种手势识别的方法、装置及车载系统
Kılıboz et al. A hand gesture recognition technique for human–computer interaction
JP6360050B2 (ja) 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
JP6711817B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US8897490B2 (en) Vision-based user interface and related method
US20130249786A1 (en) Gesture-based control system
US10366281B2 (en) Gesture identification with natural images
WO2015104257A1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
WO2005114556A2 (en) Sign based human-machine interaction
CN104331158A (zh) 一种手势控制的人机交互方法及装置
WO2012163124A1 (zh) 基于空间运动的输入方法及终端
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP6141108B2 (ja) 情報処理装置およびその方法
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
CN107450717B (zh) 一种信息处理方法及穿戴式设备
Yousefi et al. 3D gesture-based interaction for immersive experience in mobile VR
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
KR101068281B1 (ko) 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법
JP2007241833A (ja) 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
KR101167784B1 (ko) 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
US11340706B2 (en) Gesture recognition based on depth information and computer vision
Singh et al. Digitized Interaction: A Gesture-Controlled Whiteboard System with OpenCV, MediaPipe and NumPy
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
Annabel et al. Design and Development of Multimodal Virtual Mouse

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee