Nothing Special   »   [go: up one dir, main page]

KR101844366B1 - 터치 제스처 인식 장치 및 방법 - Google Patents

터치 제스처 인식 장치 및 방법 Download PDF

Info

Publication number
KR101844366B1
KR101844366B1 KR1020090026615A KR20090026615A KR101844366B1 KR 101844366 B1 KR101844366 B1 KR 101844366B1 KR 1020090026615 A KR1020090026615 A KR 1020090026615A KR 20090026615 A KR20090026615 A KR 20090026615A KR 101844366 B1 KR101844366 B1 KR 101844366B1
Authority
KR
South Korea
Prior art keywords
touch
gesture
diagonal
bounding box
recognizing
Prior art date
Application number
KR1020090026615A
Other languages
English (en)
Other versions
KR20100108116A (ko
Inventor
욱 장
박준아
한승주
이현정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020090026615A priority Critical patent/KR101844366B1/ko
Priority to US12/659,942 priority patent/US9218121B2/en
Publication of KR20100108116A publication Critical patent/KR20100108116A/ko
Application granted granted Critical
Publication of KR101844366B1 publication Critical patent/KR101844366B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

싱글 터치 시스템 및 멀티 터치 시스템에 공통적으로 적용될 수 있는 터치 제스처 인식 장치 및 방법이 개시된다. 일 양상에 따른 터치 제스처 인식 방법은 터치 위치 정보를 이용하여 설정된 바운딩 박스의 대각선 길이 및 대각선 길이의 변화량을 이용한다. 제스처가 인식되면 인식된 제스처를 사용자 입력 장치의 입력 이벤트에 매핑시켜, 입력 이벤트에 따른 피드백이 제공된다.
터치 스크린, 싱글 터치, 멀티 터치, 제스처 인식, 마우스

Description

터치 제스처 인식 장치 및 방법{Apparatus and method for recognizing touch gesture}
하나 이상의 양상은 터치 제스처 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 적은 계산량으로 터치 제스처를 인식하기 위한 터치 제스처 인식 장치 및 방법에 관한 것이다.
기존의 터치 스크린 또는 터치 패드는 싱글 터치(single touch) 정보만을 이용하므로 멀티 터치 인터랙션을 포함한 다양한 인터랙션 방법을 사용자에게 제공하기 어렵다. 이러한 점을 고려하여, Apple iPhone, MS Surface 등에서는 멀치 터치에 기반해 더욱 직관적인 사용자 인터페이스를 제시하였다.
그러나, 멀티 터치 제스처를 인식하기 위해서 해당 인터페이스를 구현하기 위해 터치 센서 시스템이 여러 개의 터치점을 명확히 알아낼 수 있어야 한다. 이러한 멀티 터치 제스처 시스템은 고가이거나 부피가 큰 경향이 있으며, 멀티 터치 제스처를 인식하기 위해서 통상적으로 복잡한 영상 처리 기법이 동원되므로 제스처 인식에 요구되는 컴퓨팅 파워가 과다하다. 또한, 멀티 터치를 활용하기 위해서는 멀티 터치에 적합하게 시스템의 OS(Operating System) 또는 응용 프로그램을 변경 해야 하므로, 싱글 터치에 기반한 OS 또는 응용 프로그램에는 멀티 터치 인터랙션 방법을 적용할 수 없다.
터치 인식을 위한 계산량을 줄이고, 싱글 터치 시스템 및 멀티 터치 시스템양자에 적용가능한 터치 제스처 인식 장치 및 방법이 제공된다.
일 양상에 따른 터치 제스처 인식 장치는 제스처 인식을 위하여 적어도 하나의 사용자의 터치 위치를 둘러싸는 바운딩 박스를 설정하고, 설정된 바운딩 박스의 대각선 길이를 이용한다. 인식된 제스처는 장치의 사용자 입력 장치의 사용자 입력 이벤트에 매핑되어 매핑된 사용자 입력 이벤트에 따른 동작이 수행될 수 있다. 사용자 입력 이벤트 실행 결과는 터치 제스터 인식 장치의 화면에 표시될 수 있다.
대각선 길이는 적어도 하나의 터치 위치 중 2차원 좌표상의 X축 및 Y축의 좌표값의 크기가 가장 작은 포인트와 X축 및 Y축의 좌표값의 크기가 가장 큰 포인트 사이의 거리일 수 있다. 터치 제스처 인식 장치는 대각선 길이 및 대각선 길이의 변화량을 이용하여 제스처를 인식할 수 있다.
터치 제스처 인식 장치는 대각선 길이가 싱글 터치의 대각선 임계값보다 작으면 제스처를 싱글 터치 동작으로 인식할 수 있다. 또한, 터치 제스처 인식 장치는 대각선 길이가 싱글 터치 대각선 임계값 이상이고 멀티 터치 대각선 임계값 이하이면, 제스처를 멀티 터치 동작으로 인식할 수 있다. 터치 제스처 인식 장치는 제스처를 싱글 터치 동작 또는 멀티 터치 동작으로 인식한 경우, 바운딩 박스의 중심 포인트의 위치가 임계값 이상 변화하면 싱글 터치 스크롤 또는 멀티 터치 스크롤로 인식할 수 있다.
터치 제스처 인식 장치는 바운딩 박스의 대각선 길이의 변화량이 제1 임계 변화량 이상이면, 제스처를 2 핑거 핀칭(2 finger pinching) 동작으로 인식할 수 있다. 또한, 터치 제스처 인식 장치는 대각선 길이가 멀티 터치 대각선 임계값 이상이고, 바운딩 박스의 대각선 길이의 변화량이 제2 임계 변화량 이상이면, 제스처를 스프레딩 인 앤드 아웃 동작으로 인식할 수 있다.
또한, 터치 제스처 인식 장치는 바운딩 박스를 설정할 때 제스처 인식을 위한 초기 판단 시간동안 수집된 터치 위치 정보에 기초할 수 있다. 또한, 터치 제스처 인식 장치는 초기 판단 시간 동안 수집된 터치 위치 정보에 기초하여 인식된 제스처를 터치가 터치 해제 임계값 이상 해제되어 완전히 터치 해제가 이루어졌다고 결정될 때까지 유지할 수 있다. 터치 제스처 인식 장치는 바운딩 박스의 대각선 길이가 멀티 터치 대각선 임계값보다 큰 경우에는 초기 판단 시간과 무관하게 스프레딩 인 앤 아웃 동작으로 제스처를 인식할 수 있다.
사용자 입력 이벤트는 인식된 제스처를 왼쪽 버튼 누름, 오른쪽 버튼 누름, 마우스 커서 이동, 스크롤 휠 회전, 왼쪽 버튼 해제 및 오른쪽 버튼 해제 중 적어도 하나일 수 있다.
다른 양상에 따른 터치 제스처 인식 방법은 적어도 하나의 터치 위치로부터 터치 위치를 둘러싸는 바운딩 박스를 설정하고, 설정된 바운딩 박스의 대각선 길이 를 이용하여 제스처를 인식한다.
일 실시예에 따르면, 계산량이 적으며 싱글 터치 스크린 및 멀티 터치 스크린에 공통적으로 적용될 수 있으며 터치 제스처 인식 장치 및 방법을 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 터치 제스처 인식 장치의 구성을 나타내는 블록도이다.
일 실시예에 따른 출력 제어 장치(100)는 터치 감지부(110), 제어부(120), 저장부(130) 및 디스플레이(140)를 포함한다. 터치 제스처 인식 장치(100)는 휴대 전화, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어와 같은 사용자 단말 장치 또는 대형 디스플레이 장치 등 터치 제스처가 이용될 수 있는 각종 장치로 구현될 수 있다.
터치 감지부(110)는 적어도 하나 이상의 서로 다른 종류의 센서를 포함하여, 적어도 하나의 감지 정보를 생성한다. 터치 감지부(110)는 가로축과 세로축으로 소정 개수의 전극이 배열된 격자 구조의 센서를 포함할 수 있다. 사용자가 손 또는 손가락으로 터치 감지부(110)에 접촉하면, 터치 감지부(110)는 접촉된 전극에서 변화되는 신호의 세기 값을 이용하여 터치 위치를 감지할 수 있다. 예를 들어, 터치 감지부(110)는 투영 정전용량(projected capacitive) 터치 감지 방식 또는 적외선 터치 감지 방식으로 구현될 수 있다.
제어부(120)는 제스처 인식 장치(100) 동작의 전반을 제어하며, 사용자 입력 정보에 따른 인터랙션을 나타내는 사용자 인터페이스 화면을 생성한다. 제어부(120)는 제스처 인식부(122) 및 입력 이벤트 처리부(124)를 포함할 수 있다.
일 실시예에 따르면, 제스처 인식부(122)는 감지된 적어도 하나의 터치 위치로부터 터치 위치를 둘러싸는 바운딩 박스를 설정하고, 설정된 바운딩 박스의 대각선 길이를 이용하여 제스처를 인식한다. 제스처 인식부(122)는 대각선 길이에 부가하여 일정 시간 동안 수집된 대각선 길이를 이용하여 계산될 수 있는 대각선 길이의 변화량을 이용하여 제스처를 인식할 수 있다.
입력 이벤트 처리부(124)는 인식된 제스처를 사용자 입력 이벤트에 매핑한다. 예를 들어, 기존 OS가 입력 장치가 마우스 이벤트 처리를 할 수 있는 경우, 입력 이벤트는 마우스 입력 이벤트일 수 있다. 이 경우, 입력 이벤트 처리부(124)는 마우스의 왼쪽 버튼 누름, 오른쪽 버튼 누름, 마우스 커서 이동, 스크롤 휠 회전, 왼쪽 버튼 해제 및 오른쪽 버튼 해제 중 적어도 하나의 입력 이벤트에 인식된 제스처를 매핑할 수 있다.
표 1는 일 실시예에 따른 터치 제스처와 마우스 이벤트의 연결 관계를 나타내는 테이블이다.
Figure 112009018741914-pat00001
표 1에 나타난 바와 같은 터치 제스처와 마우스 이벤트의 연결 관계를 이용하여, 인식된 터치 제스처가 마우스 이벤트로 변환될 수 있다. 키보드 장치의 입력 이벤트를 처리할 수 있는 경우, 입력 이벤트는 키보드 입력 이벤트일 수 있으며, 입력 이벤트 처리부(124)는 표 1과 같은 미리 설정된 터치 제스처와 사용자 입력 이벤트 매핑 정보를 이용하여, 기존 OS가 처리할 수 있는 사용자 입력 장치의 입력 이벤트에 인식된 제스처를 매핑할 수 있다. 따라서, 일 실시예에 따라 제스처가 인식이 되면, 기존의 OS와 응용 프로그램을 별도로 수정하지 않고도 인식된 제스처에 따른 사용자와 터치 제스처 인식 장치(100) 간의 인터랙션이 가능해질 수 있다.
저장부(130)는 터치 제스처 인식 장치(100)의 구동에 필요한 데이터, OS(Operatin System) 프로그램, 및 응용 프로그램을 저장한다. 저장부(130)는 제어부(120)에서 실행되는 일 실시예에 따른 터치 제스처 인식 알고리즘 및 인식된 제스처와 입력 장치의 입력 이벤트와의 연결 관계를 나타내는 입력 이벤트 매핑 정보를 포함할 수 있다.
디스플레이부(140)는 제어부(120)의 동작 결과를 출력한다. 디스플레이부(140)는 입력 이벤트 처리부(124)에 의한 매핑된 입력 이벤트 실행 결과를 사용자 인터페이스 화면으로 출력할 수 있다. 터치 감지부(110) 및 디스플레이부(140)가 결합되어 터치 스크린으로 구성될 수 있다.
이하에서는, 일 실시예에 따른 터치 제스처 인식 방법에 대하여 상세하게 설명한다.
도 2는 터치스크린 상에서 2개의 손가락으로 터치를 하는 경우의 신호를 나타내는 도면이다.
도 2는 터치 스크린(또는 터치 패드)(200), 및 터치 스크린상의 X축의 터치에 따른 터치 신호 변화량(220) 및 터치 스크린상의 Y축의 터치에 따른 터치 신호 변화량(230)을 나타낸다. 도 2에서 터치 스크린 상에 2 개의 손가락이 대각선 상의 P2(1, 2) 및 P3(2, 1) 위치에 터치되는 경우를 가정한다.
통상의 싱글 터치 터치 스크린은 해당 터치 신호가 각각 X축 및 Y축 좌표상에서 투영된 신호를 감지한다. 다시 말해 X=(1, 2), Y=(1,2)와 같이 X축 및 Y축별 위치를 별도로 구한 후 최종적으로 2차원 터치 위치를 결정한다. 따라서, 이 경우 싱글 터치 스크린은 터치 위치 P(X, Y)으로서 P1(1,1), P2(2, 1), P3(1, 2), P4(2, 2)와 같이 실제 터치 위치 P2, P3 이외에 가상 터치 위치 P1 및 P4를 구하게 된다. 이에 비해 멀티 터치 스크린의 경우는 2차원 터치점 자체가 감지되어, 정확한 터치 위치 P2, P3를 결정할 수 있다.
즉, 싱글 터치 스크린/패드는 X축 및 Y축 투영 위치를 최종 출력으로 제공한다. 멀티 터치 스크린/패드는 2차원 터치점 위치 자체를 최종 출력으로 제공한다. 이로 인하여 싱글 터치 방식 터치 스크린 및 멀티 터치 방식 터치 스크린상에 동일한 제스처를 취한다고 해도 서로 다른 터치 제스처 인식 알고리즘을 개발해야 하며 이는 터치 인식 기술의 개발 비용 및 개발 시간의 증가로 이어진다.
일 실시예에 따른 터치 제스처 인식 장치(100)는 터치점(touch point)에 의해 생성되는 바운딩 박스(bounding box)(210)를 이용하여 제스처 인식을 수행한다.
도 3은 일 실시예에 따른 바운딩 박스를 특정하는 매개변수를 나타내는 도면이다.
바운딩 박스를 특정하기 위해서는 여러 가지 방식이 활용될 수 있으나, 일 실시예에 따르면 4개의 모서리 중 X, Y값이 가장 작은 Pmin과 X, Y값이 가장 큰 Pmax를 이용한다. Pmin 및 Pmax는 싱글 터치 스크린 및 멀티 터치 스크린에서 공통적으로 얻을 수 있는 값이다. X축 및 Y축의 좌표값은 터치 화면의 한 모서리로부터 결정될 수 있다.
제스처 인식부(122)는 적어도 하나의 터치 위치 중 2차원 좌표상의 X축 및 Y축의 좌표값의 크기가 가장 작은 최소 포인트와 X축 및 Y축의 좌표값의 크기가 가장 큰 최대 포인트 사이의 거리를 대각선 길이로 검출하고, 바운딩 박스의 대각선 길이 D를 이용한다. 이는 수학식 1을 통해서 계산할 수 있다.
D = sqrt((xmax - xmin)2 + (ymax - ymin)2)
여기에서 xmax는 Pmax의 X 좌표값이고, ymax는 Pmax의 Y 좌표값이다. xmin는 Pmin의 X 좌표값이고, ymin는 Pmin의 Y 좌표값이다.
이러한 D 값과 터치 제스처 사이에는 도 4a 내지 도 4b에 도시된 바와 같은 상관관계가 있다.
도 4a 내지 도 4d는 일 실시예에 따른 터치 제스터와 바운딩 박스 사이의 상관관계를 나타내는 도면이다.
도 4a는 싱글 터치 제스처에서 바운딩 박스(410, 412)를 나타내고, 도 4b는 멀티 터치 제스처 및 이에 따른 바운딩 박스(420, 422)를 나타낸다. 도 4c는 2 핑거 핀칭(2 finger pinching) 제스처에서의 바운딩 박스(430, 432)를 나타내고, 도 4d는 스프레딩 인 앤 아웃 제스처(spreading in and out with multi-fingers or two hands)에서의 바운딩 박스(440, 442)를 나타낸다.
이하에서는 표 2를 참조하여, 일 실시예에 따른 바운딩 박스를 이용하여 제스처를 인식하는 방법에 대하여 상세하게 설명한다.
Figure 112009018741914-pat00002
제스처 인식부(122)는 바운딩 박스의 대각선 길이(D)가 싱글 터치의 대각선 임계값(Dth1)보다 작으면 제스처를 싱글 터치 동작으로 인식한다.
제스처 인식부(122)는 대각선 길이(D)가 싱글 터치 대각선 임계값(Dth1) 이상이고, 멀티 터치 대각선 임계값(Dth2) 이하이면, 제스처를 멀티 터치 동작으로 인식한다. 도 4a에서 점선 박스(412)는 싱글 터치 대각선 임계값(Dth1)의 기준이 되는 한계 바운딩 박스를 나타내며, 도 4b에서 점선 박스(422)는 멀티 터치 대각선 임계값(Dth2)의 기준이 되는 한계 바운딩 박스를 나타낸다.
제스처 인식부(122)는 제스처를 싱글 터치 동작으로 인식한 경우, 바운딩 박스의 중심 포인트의 위치(PB)가 제1 임계값(
Figure 112009018741914-pat00003
) 이상 변화하면 싱글 터치 스크롤 동작으로 인식할 수 있다. 제스처 인식부(122)는 제스처를 멀티 터치 동작으로 인식학 영우, 바운딩 박스의 중심 포인트의 위치(PB)가 제2 임계값(
Figure 112009018741914-pat00004
)이상 변화하면, 제스처를 멀티 터치 스크롤 동작으로 인식할 수 있다.
표 1에서, ΔD 는 D(t)-D(t-1) 즉, D 값의 시간에 따른 변화량을 의미한다. 또한, 바운딩 박스의 대각선 길이의 변화량(ΔD)이 제1 임계 변화량(ΔDth1) 이상이면, 제스처를 2 핑거 핀칭 동작으로 인식할 수 있다. 추가적으로, 바운딩 박스의 중심 포인트의 위치가 임계값 이하로 변화되는지를 더 판단하여 임계값 이하로 변화되면 2핑거 핀칭 동작으로 인식할 수 있다. 도 4c에서 바운딩 박스(430)가 시간 t의 터치 제스처에 따른 바운딩 박스인 경우, 바운딩 박스(432)는 시간 t+k의 터치 제스처에 따른 바운딩 박스를 나타낸다.
또한, 제스처 인식부(122)는 대각선 길이(D)가 멀티 터치 대각선 임계값(Dth2)보다 크고, 대각선 길이의 변화량(ΔD)이 제2 임계 변화량(ΔDth2) 이상이면 양 손의 복수 개의 손가락이 접촉된 스프레딩 인 앤 아웃을 위한 동작으로 인식할 수 있다. 도 4d에서 바운딩 박스(440)가 시간 t의 터치 제스처에 따른 바운딩 박스인 경우, 바운딩 박스(442)는 시간 t+k의 터치 제스처에 따른 바운딩 박스를 나타낸다. 여기에서, 제스처 인식을 위한 각 대각선 길이의 임계값, 대각선 변화량의 임계값, 중심 포인트 위치 변화량의 임계값은 실험적으로 결정될 수 있다.
일 실시예에 따른 인식 알고리즘은 싱글 터치 및 멀티 터치가 혼재하는 경우에 터치 제스처 간의 혼동을 피하면서도 다른 터치 제스처 인식 방법에 비해서 매우 단순하므로, 낮은 사양의 저가 마이크로컨트롤러에서도 구동이 가능한 이점이 있다. 그러나, 이와 같은 인식 알고리즘을 적용하기 위해서는 터치 제스처간에 혼동이 발생할 수 있는 가능성을 줄여야 한다.
예를 들어, 사용자가 도 4d에서와 같이 멀티 터치 스크롤 제스처를 4개의 손가락으로 수행하려 한다고 가정한다. 그러나, 실제 사용자가 4개 손가락을 동시에 대는 경우보다는 어느 정도의 시간간격으로 터치스크린/패드에 손가락이 터치를 하게 된다. 즉, 사용자가 멀티 터치 제스처 동작을 하려고 한 경우, 먼저 손가락을 터치 스크린에 순차적으로 접촉하게 되는 경우, 첫 번째 손가락이 접촉하는 순간의 감지 정보를 이용하여 터치 제스처를 결정하게 되면, 싱글 터치 제스처 동작으로 잘못 판단하게 될 수 있다.
즉, 터치가 이루어지는 순간에 터치 제스처를 판단하는 것은 오동작을 발생할 수 있다. 일 실시예에 따르면, 이러한 오동작을 방지하기 위해서 특정 시간이 아니라 일정 시간 동안 수집된 터치 신호를 바탕으로 터치 제스처 인식을 수행한다. 또한, 터치 제스처 인식시 도 5a 및 5b에서 나타나는 바와 같이 불연속 터치 신호에 관한 문제를 고려해야 한다.
도 5a 및 도 5b는 터치 센서 시스템의 오동작의 일예를 나타내는 도면이다.
사용자가 스크롤 동작을 도 5a에서와 같은 의도로 수행하는 경우에, 센서 시스템의 감도, 사용자의 부주의 등의 원인에 의해 도 5b와 같이 중간에 터치가 감지되지 않는 경우가 생긴다. 이런 경우 터치 제스터 인식 알고리즘을 매 순간 적용하면 끊어지는 구간에서 터치 인식에 따라 구동되는 시스템은 사용자의 의도와 다른 동작을 하게 될 수 있다.
따라서, 일 실시예에 다르면, 제스처 인식부(122)는 제스처 인식을 위한 초기 판단 시간동안 수집된 터치 위치 정보에 기초하여 제스처를 인식한다. 또한, 제스처 인식부(122)는 초기 판단 시간 동안 수집된 터치 위치 정보에 기초하여 인식된 제스처를 터치가 터치 해제 임계값 이상 해제되어 완전히 터치 해제가 이루어졌다고 결정될 때까지 유지한다.
도 6은 일 실시예에 따른 터치 센서 오동작에 강인한 터치 제스처 인식 과정을 나타내는 도면이다.
최초 터치 후 일정 시간 동안의 데이터를 종합해서 터치 제스처를 결정하고, 이 인식결과를 이후 사용자가 터치 센서 시스템에서 완전이 손을 떼는 터치 해제의 순간까지 유지하도록 하면, 도 5b에 도시된 바와 같이 터치 인식이 안되는 터치 구간에 대해서도 도 6에 도시된 바와 같은 터치 인식 결과를 얻을 수 있다. 따라서, 터치 센서의 오동작에도 강인한 터치 제스처 인식 방법이 제공될 수 있다.
한편, 제스처 인식부(122)는 초기 판단 시간이 지나지 않은 경우에도, 바운딩 박스의 대각선 길이가 멀티 터치 대각선 임계값보다 큰 경우 즉, 바운딩 박스가 싱글 터치와 멀티 터치 스크롤 결정을 위한 바운딩 박스보다 큰 경우에는 다른 제스처의 인식 기준에 맞지 않으므로 바로 스프레딩 인 앤 아웃 동작으로 제스처를 인식할 수 있다.
도 7은 일 실시예에 따른 터치 제스처 인식 방법을 나타내는 순서도이다.
적어도 하나의 터치 위치로부터 터치 위치를 둘러싸는 바운딩 박스를 설정한다(S 710). 설정된 바운딩 박스의 대각선 길이를 이용하여 제스처를 인식한다(S 720).
적어도 하나의 터치 위치 중 2차원 좌표상의 X축 및 Y축의 좌표값의 크기가 가장 작은 최소 포인트와 X축 및 Y축의 좌표값의 크기가 가장 큰 최대 포인트를 지나는 박스를 바운딩 박스로 설정하고, 최소 포인트와 최대 포인트 사이의 거리를 바운딩 박스의 대각선 길이로 결정할 수 있다. 대각선 길이, 대각선 길이의 변화량 또는 바운딩 박스의 중심 포인트의 위치 변화량에 따라 표 2를 참조한 바와 같은 터치 제스처 인식 방법을 이용하여 제스처를 인식할 수 있다.
인식된 제스처를 터치 제스터 인식 장치가 지원가능한 입력 장치의 사용자 입력 이벤트에 매핑한다(S 730). 그러면, 매핑된 입력 이벤트에 대한 실행 결과가 디스플레이에 표시될 것이다. 일 실시예에 따른 터치 제스처 인식 방법은 계산량이 적으며 싱글 터치 스크린 및 멀티 터치 스크린에 공통적으로 적용될 수 있다.
도 8은 일 실시예에 따른 초기 판단 시간 동안의 터치 제스처 인식 방법을 나타내는 순서도이다.
터치 제스처 인식 장치(100)가 터치 신호를 획득하면(S 810), 터치 신호의 위치 정보를 이용하여 바운딩 박스를 결정한다(S 820). 그런 다음, 터치 제스처 인식 장치(100)는 바운딩 박스의 대각선 길이를 계산한다(S 830). 또한, 터치 제스처 인식 장치(100)는 제스처 판단을 위한 정보로서 바운딩 박스의 대각선 길이 및 대각선 길이의 변화량을 계산한다(S 840). 추가적으로, 바운딩 박스의 중심 포인트의 위치 변화량이 계산될 수 있다.
스프레딩 인 앤 아웃 제스처와 같이 초기 판단 시간이 지나지 않은 경우에도 스프레딩 인 앤드 아웃 제스처와 같이 제스처 구분 알고리즘에 의해 제스처 판단이 가능하면(S 850), 제스처를 인식한다(S 870).
제스처 판단이 가능하지 않으면(S 850), 초기 판단 시간이 경과했는지 결정한다(S 860). 초기 판단 시간이 경과하지 않은 경우에는 단계 S 810로 되돌아가 터치 위치 정보 수집을 계속 수행한다. 초기 판단 시간이 경과했으면 수집된 터치 위치 정보를 이용하여 제스처를 인식한다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 일 실시예에 따른 터치 제스처 인식 장치의 구성을 나타내는 블록도이다.
도 2는 터치스크린 상에서 2개의 손가락으로 터치를 하는 경우의 신호를 나타내는 도면이다.
도 3은 일 실시예에 따른 바운딩 박스를 특정하는 매개변수를 나타내는 도면이다.
도 4a 내지 도 4d는 일 실시예에 따른 터치 제스터와 바운딩 박스 사이의 상관관계를 나타내는 도면이다.
도 5a 및 도 5b는 터치 센서 시스템의 오동작의 일예를 나타내는 도면이다.
도 6은 일 실시예에 따른 터치 센서 오동작에 강인한 터치 제스처 인식 과정을 나타내는 도면이다.
도 7은 일 실시예에 따른 터치 제스처 인식 방법을 나타내는 순서도이다.
도 8은 일 실시예에 따른 초기 판단 시간 동안의 터치 제스처 인식 방법을 나타내는 순서도이다.

Claims (20)

  1. 제스처 인식을 위한 초기 판단 시간동안 수집된 터치 위치 정보에 기초하여 터치 위치를 둘러싸는 바운딩 박스를 설정하고, 상기 설정된 바운딩 박스의 대각선 길이를 대각선 임계 범위와 비교하여 싱글 터치 동작 또는 멀티 터치 동작으로 제스처를 인식하는 제스처 인식부; 및
    상기 인식된 제스처를 사용자 입력 이벤트에 매핑하는 입력 이벤트 처리부를 포함하는 터치 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 제스처 인식부는 상기 터치 위치 중 2차원 좌표상의 X축 및 Y축의 좌표값의 크기가 가장 작은 최소 포인트와 X축 및 Y축의 좌표값의 크기가 가장 큰 최대 포인트 사이의 거리를 상기 바운딩 박스의 대각선 길이로 검출하는 터치 제스처 인식 장치.
  3. 제1항에 있어서,
    상기 제스처 인식부는 상기 대각선 길이에 부가하여 상기 대각선 길이의 변화량을 이용하여 제스처를 인식하는 터치 제스처 인식 장치.
  4. 제1항에 있어서,
    상기 제스처 인식부는 상기 대각선 길이가 싱글 터치의 대각선 임계값보다 작으면 상기 제스처를 싱글 터치 동작으로 인식하는 터치 제스처 인식 장치.
  5. 제1항에 있어서,
    상기 제스처 인식부는 상기 대각선 길이가 싱글 터치 대각선 임계값 이상이고 상기 싱글 터치 대각선 임계값보다 큰 멀티 터치 대각선 임계값 이하이면, 상기 제스처를 멀티 터치 동작으로 인식하는 터치 제스처 인식 장치.
  6. 제1항에 있어서,
    상기 제스처 인식부는 상기 제스처를 싱글 터치 동작 또는 멀티 터치 동작으로 인식한 경우, 상기 바운딩 박스의 중심 포인트의 위치가 임계값 이상 변화하면 상기 제스처를 싱글 터치 스크롤 또는 멀티 터치 스크롤로 인식하는 터치 제스처 인식 장치.
  7. 제3항에 있어서,
    상기 제스처 인식부는 상기 바운딩 박스의 대각선 길이의 변화량이 제1 임계 변화량 이상이면, 상기 제스처를 2 핑거 핀칭(2 finger pinching) 동작으로 인식하는 터치 제스처 인식 장치.
  8. 제3항에 있어서,
    상기 제스처 인식부는 상기 대각선 길이가 멀티 터치 대각선 임계값 이상이 고, 상기 바운딩 박스의 대각선 길이의 변화량이 제2 임계 변화량 이상이면, 상기 제스처를 스프레딩 인 앤드 아웃 동작으로 인식하는 터치 제스처 인식 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 제스처 인식부는 상기 초기 판단 시간 동안 수집된 터치 위치 정보에 기초하여 인식된 제스처를 터치가 터치 해제 임계값 이상 해제되어 완전히 터치 해제가 이루어졌다고 결정될 때까지 유지하는 터치 제스처 인식 장치.
  11. 제1항에 있어서,
    상기 제스처 인식부는 상기 초기 판단 시간이 지나지 않은 경우에도, 상기 바운딩 박스의 대각선 길이가 멀티 터치 동작을 판정하기 위한 기준값인 멀티 터치 대각선 임계값보다 큰 경우에는 스프레딩 인 앤 아웃 동작으로 제스처를 인식하는 터치 제스처 인식 장치.
  12. 제1항에 있어서,
    상기 입력 이벤트 처리부는 상기 인식된 제스처를 왼쪽 버튼 누름, 오른쪽 버튼 누름, 마우스 커서 이동, 스크롤 휠 회전, 상기 왼쪽 버튼 해제 및 상기 오른쪽 버튼 해제 중 적어도 하나의 입력 이벤트에 매핑하는 터치 제스처 인식 장치.
  13. 제1항에 있어서,
    사용자 인터페이스 화면을 제공하는 디스플레이를 더 포함하고,
    상기 입력 이벤트 처리부는 상기 매핑된 이벤트를 실행하는 이벤트 실행하고이벤트 실행 결과를 상기 사용자 인터페이스 화면으로 출력하는 터치 제스처 인식 장치.
  14. 제스처 인식을 위한 초기 판단 시간동안 수집된 터치 위치 정보에 기초하여 터치 위치를 둘러싸는 바운딩 박스를 설정하고, 상기 설정된 바운딩 박스의 대각선 길이를 대각선 임계 범위와 비교하여 싱글 터치 동작 또는 멀티 터치 동작으로 제스처를 인식하는 단계; 및
    상기 인식된 제스처를 사용자 입력 이벤트에 매핑하는 단계를 포함하는 터치 제스처 인식 방법.
  15. 제14항에 있어서,
    상기 제스처를 인식하는 단계는,
    상기 터치 위치 중 X축 및 Y축의 좌표값의 크기가 가장 작은 포인트와 X축 및 Y축의 좌표값의 크기가 가장 큰 포인트 사이의 거리를 상기 대각선 길이로 검출하는 터치 제스처 인식 방법.
  16. 제14항에 있어서,
    상기 제스처를 인식하는 단계는 상기 대각선 길이에 부가하여 상기 대각선 길이의 변화량을 이용하여 제스처를 인식하는 터치 제스처 인식 방법.
  17. 제14항에 있어서,
    상기 제스처를 인식하는 단계는, 상기 대각선 길이가 싱글 터치의 대각선 임계값보다 작고, 상기 바운딩 박스의 중심 포인트의 위치가 임계값 이상 변화하면 상기 제스처를 싱글 터치 스크롤 동작으로 인식하는 터치 제스처 인식 방법.
  18. 제14항에 있어서,
    상기 제스처를 인식하는 단계는, 상기 대각선 길이가 싱글 터치 대각선 임계값 이상이며 상기 싱글 터치 대각선 임계값보다 큰 멀티 터치 대각선 임계값 이하이고, 상기 바운딩 박스의 중심 포인트의 위치가 임계값 이상 변화하면, 상기 제스처를 멀티 터치 스크롤 동작으로 인식하는 터치 제스처 인식 방법.
  19. 제16항에 있어서,
    상기 제스처를 인식하는 단계는, 상기 바운딩 박스의 중심 포인트의 위치가 임계값 이하로 변화되고, 상기 바운딩 박스의 대각선 길이의 변화량이 제1 임계 변 화량 이상이면, 상기 제스처를 2 핑거 핀칭(2 finger pinching) 동작으로 인식하는 터치 제스처 인식 방법.
  20. 제16항에 있어서,
    상기 제스처를 인식하는 단계는, 상기 대각선 길이가 멀티 터치 대각선 임계값 이상이고, 상기 바운딩 박스의 대각선 길이의 변화량이 제2 임계 변화량 이상이면, 상기 제스처를 스프레딩 인 앤드 아웃 동작으로 인식하는 터치 제스처 인식 방법.
KR1020090026615A 2009-03-27 2009-03-27 터치 제스처 인식 장치 및 방법 KR101844366B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090026615A KR101844366B1 (ko) 2009-03-27 2009-03-27 터치 제스처 인식 장치 및 방법
US12/659,942 US9218121B2 (en) 2009-03-27 2010-03-25 Apparatus and method recognizing touch gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090026615A KR101844366B1 (ko) 2009-03-27 2009-03-27 터치 제스처 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100108116A KR20100108116A (ko) 2010-10-06
KR101844366B1 true KR101844366B1 (ko) 2018-04-02

Family

ID=42933986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090026615A KR101844366B1 (ko) 2009-03-27 2009-03-27 터치 제스처 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US9218121B2 (ko)
KR (1) KR101844366B1 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554517B2 (ja) * 2009-04-22 2014-07-23 富士通コンポーネント株式会社 タッチパネルの位置検出方法及びタッチパネル装置
US8816991B2 (en) * 2009-10-02 2014-08-26 Dedo Interactive, Inc. Touch input apparatus including image projection
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
TWI545468B (zh) * 2010-03-04 2016-08-11 Sentelic Corp Input device
US20110279368A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
JPWO2011152224A1 (ja) * 2010-06-01 2013-07-25 日本電気株式会社 端末、処理選択方法、制御プログラムおよび記録媒体
KR101667586B1 (ko) * 2010-07-12 2016-10-19 엘지전자 주식회사 이동단말기 및 그 제어방법
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8648823B2 (en) 2010-11-05 2014-02-11 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8773473B2 (en) * 2010-11-29 2014-07-08 Microsoft Corporation Instantaneous panning using a groove metaphor
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US10042546B2 (en) * 2011-01-07 2018-08-07 Qualcomm Incorporated Systems and methods to present multiple frames on a touch screen
TW201232349A (en) * 2011-01-21 2012-08-01 Novatek Microelectronics Corp Single finger gesture determination method, touch control chip, touch control system and computer system
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US9552015B2 (en) 2011-01-24 2017-01-24 Apple Inc. Device, method, and graphical user interface for navigating through an electronic document
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8988467B2 (en) 2011-10-13 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen selection visual feedback
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
KR101888457B1 (ko) * 2011-11-16 2018-08-16 삼성전자주식회사 복수 개의 어플리케이션을 실행하는 터치스크린을 가지는 장치 및 그 제어 방법
KR101180673B1 (ko) * 2011-11-18 2012-09-07 주식회사 한글과컴퓨터 터치스크린 장치 및 상기 터치스크린 장치의 제어 방법
US20130174033A1 (en) * 2011-12-29 2013-07-04 Chegg, Inc. HTML5 Selector for Web Page Content Selection
JP5990011B2 (ja) * 2012-02-28 2016-09-07 キヤノン株式会社 情報処理装置及びその制御方法
KR20130101864A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 클라이언트 장치, 클라이언트의 제어 방법, 서버 및 서버의 영상 제공 방법
KR101156610B1 (ko) * 2012-03-20 2012-06-14 라오넥스(주) 터치 방식을 이용한 입력 제어 방법 및 이를 위한 입력 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US9098186B1 (en) * 2012-04-05 2015-08-04 Amazon Technologies, Inc. Straight line gesture recognition and rendering
US9373049B1 (en) 2012-04-05 2016-06-21 Amazon Technologies, Inc. Straight line gesture recognition and rendering
US9001059B2 (en) * 2012-06-08 2015-04-07 Adobe Systems Incorporated Method and apparatus for choosing an intended target element from an imprecise touch on a touch screen display
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US8970479B1 (en) * 2012-07-31 2015-03-03 Rawles Llc Hand gesture detection
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
TWI456458B (zh) * 2012-09-03 2014-10-11 Acer Inc 電子裝置以及相關之控制方法
US9268423B2 (en) 2012-09-08 2016-02-23 Stormlit Limited Definition and use of node-based shapes, areas and windows on touch screen devices
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
US20140141889A1 (en) 2012-11-19 2014-05-22 2343127 Ontario Inc. Systems and Methods for Capture and Use of Local Elements in Gameplay
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
JP6060783B2 (ja) * 2013-04-08 2017-01-18 富士通株式会社 補正処理プログラム、情報処理装置及び補正処理方法
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
KR102210045B1 (ko) * 2013-12-12 2021-02-01 삼성전자 주식회사 전자장치의 입력 제어장치 및 방법
WO2015167511A2 (en) * 2014-04-30 2015-11-05 Empire Technology Development Llc Adjusting tap position on touch screen
KR102230200B1 (ko) * 2014-07-04 2021-03-19 삼성전자주식회사 객체에 대한 바운딩 박스의 좌표 값을 표현하는 방법 및 장치
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR102320770B1 (ko) * 2015-01-20 2021-11-02 삼성디스플레이 주식회사 표시장치의 터치 인식방법 및 이를 이용한 표시장치
US10001857B2 (en) * 2015-05-13 2018-06-19 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
CN104898980A (zh) * 2015-06-17 2015-09-09 深圳市华星光电技术有限公司 一种触摸显示装置中识别手势的方法和系统
CN112286339B (zh) * 2019-07-23 2022-12-16 哈尔滨拓博科技有限公司 一种多维手势识别装置、方法、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158145A1 (en) * 2007-01-03 2008-07-03 Apple Computer, Inc. Multi-touch input discrimination

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
JP2006092025A (ja) * 2004-09-21 2006-04-06 Fujitsu Ltd 電子機器並びに表示画面の制御処理方法および表示画面の制御処理プログラム
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
KR101269375B1 (ko) 2006-05-24 2013-05-29 엘지전자 주식회사 터치스크린 장치 및 이의 이미지 표시방법
KR20070113017A (ko) 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치와 이의 파일선택방법
TWI328185B (en) 2006-04-19 2010-08-01 Lg Electronics Inc Touch screen device for potable terminal and method of displaying and selecting menus thereon
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
EP2232355B1 (en) * 2007-11-07 2012-08-29 N-Trig Ltd. Multi-point detection on a single-point detection digitizer
US20110179381A1 (en) * 2010-01-21 2011-07-21 Research In Motion Limited Portable electronic device and method of controlling same
US20110205169A1 (en) * 2010-02-24 2011-08-25 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using hybrid resolution based touch data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158145A1 (en) * 2007-01-03 2008-07-03 Apple Computer, Inc. Multi-touch input discrimination

Also Published As

Publication number Publication date
US20100259493A1 (en) 2010-10-14
KR20100108116A (ko) 2010-10-06
US9218121B2 (en) 2015-12-22

Similar Documents

Publication Publication Date Title
KR101844366B1 (ko) 터치 제스처 인식 장치 및 방법
US20200371688A1 (en) Selective rejection of touch contacts in an edge region of a touch surface
US8614664B2 (en) Multi-touch multi-dimensional mouse
US9323383B2 (en) Method of identifying edge swipe gesture and method of opening window control bar using the identifying method
JP6697100B2 (ja) インタラクティブ電子ホワイトボードに基づくタッチ操作方法及びそのシステム
US9348458B2 (en) Gestures for touch sensitive input devices
TWI608407B (zh) 觸控裝置及其控制方法
US9213482B2 (en) Touch control device and method
TWI451309B (zh) Touch device and its control method
TWI617949B (zh) 用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體
TWI470475B (zh) 電子系統
GB2509599A (en) Identification and use of gestures in proximity to a sensor
CN103218044B (zh) 一种基于物理回馈的触摸装置及其触摸处理方法
WO2018019050A1 (zh) 基于触敏表面—显示器的手势控制交互方法与设备
TWI452494B (zh) 將至少兩個觸控訊號結合於電腦系統中的方法
CN104951213B (zh) 防止误触发边缘滑动手势的方法
US10345932B2 (en) Disambiguation of indirect input
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
TWI439922B (zh) 手持式電子裝置及其控制方法
KR101405344B1 (ko) 가상 터치 포인터를 이용한 화면 제어 방법 및 이를 수행하는 휴대용 단말기
AU2015271962B2 (en) Interpreting touch contacts on a touch surface
KR20100107914A (ko) 제스처 판단 방법 및 접촉 감지 방법
US20130154967A1 (en) Electronic device and touch control method thereof
KR20120103891A (ko) 휴대 단말의 입력 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101002035; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160401

Effective date: 20180123

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant