KR102194272B1

KR102194272B1 - 제스처들을 이용한 터치 입력들의 향상

Info

Publication number: KR102194272B1
Application number: KR1020157028176A
Authority: KR
Inventors: 다렐 엘. 크룰세; 프란시스 비. 맥도갤; 버지니아 월커 키팅; 앤드류 제이. 에버리트
Original assignee: 퀄컴 인코포레이티드
Priority date: 2013-03-15
Filing date: 2014-03-11
Publication date: 2020-12-22
Also published as: JP6464138B2; CN105009035A; US20160011718A1; US20140267084A1; EP2972676A1; US9170676B2; KR20150130431A; US9360965B2; WO2014150588A1; JP2016511487A; CN105009035B

Abstract

하나 또는 그 초과의 실시예들에 따른 방법들 및 시스템들이 인터랙티브 입력들을 향상시키기 위해 제공된다. 일 실시예에서, 방법은, 사용자 디바이스의 스크린 상의 터치 입력 데이터 및 사용자 디바이스의 스크린으로부터 떨어진 넌-터치 제스처 입력 데이터를 동시에 캡쳐하는 단계를 포함한다. 방법은 또한, 동시에 캡쳐된 터치 입력 데이터 및 넌-터치 제스처 입력 데이터의 결합에 적어도 부분적으로 기초하여 입력 커맨드를 결정하는 단계를 포함한다. 그리고, 방법은, 결정된 입력 커맨드에 기초하여 사용자 디바이스의 동작에 작용하는 단계를 더 포함한다.

Description

제스처들을 이용한 터치 입력들의 향상{ENHANCING TOUCH INPUTS WITH GESTURES}

[0001] 본 개시는 일반적으로 사용자 디바이스 인터페이스들 상에서의 인터랙티브(interactive) 입력들에 관한 것이다.

[0002] 현재, 터치(touch) 스크린들과 같은 인터랙티브 입력 능력들을 갖는 사용자 디바이스들(예를 들어, 스마트 폰들, 태블릿들, 랩톱들 등)은 일반적으로 소형(small-sized) 스크린들을 갖는다. 그러한 소형 스크린들은 인터랙티브 입력 능력들을 제한할 수도 있다. 예를 들어, 소형 스크린은 매끄러운 스크롤링(scrolling), 패닝(panning), 주밍(zooming) 등과 같은 상호작용들을 방해할 수도 있다. 터치 상호작용들은, 사용자 디바이스의 터치 스크린 상에서의 다수의 핀치(pinch)들, 선택들, 또는 스크롤 모션(motioin)들과 같은, 태스크를 수행하기 위한 동작들을 반복하여 수행할 것을 사용자에게 요구할 수도 있다. 추가로, 터치 입력들은, 사용자 디바이스의 스크린을 불명료하게 함으로써, 작용받는(affected) 컨텐츠를 보는 것을 어렵게 만든다.

[0003] 따라서, 사용자 디바이스 인터페이스들 상에서의 인터랙티브 입력들을 개선하기 위한 요구가 당업계에 존재한다.

[0004] 본 개시의 하나 또는 그 초과의 실시예들에 따른 시스템들 및 방법들은, 초음파 센서들, 이미지 또는 비디오 캡쳐링 능력들(예를 들어, 카메라), 깊이 센서들 등과 같은 센서들에 의해 검출될 수도 있는 (예를 들어, 손, 손가락 등의 포지션 또는 모션과 같은 제어 오브젝트를 이용하여 수행되는 제스처들로부터 검출된) 넌-터치(non-touch) 입력 데이터와 터치 입력 데이터가 결합(fuse)될 수도 있도록 향상된 인터랙티브 입력들을 제공한다. 유리하게, 사용자 디바이스의 인터페이스(예를 들어, 디스플레이 또는 스크린)의 뷰(view)는 실질적으로 가로막히지 않은 채 유지될 수도 있다.

[0005] 일 실시예에 따르면, 방법은, 사용자 디바이스의 스크린 상의 터치 입력 데이터 및 사용자 디바이스로부터 떨어져 있는 넌-터치 제스처 입력 데이터를 동시에 캡쳐하는 단계; 동시에 캡쳐된 터치 입력 데이터 및 넌-터치 제스처 입력 데이터의 결합에 적어도 부분적으로 기초하여 입력 커맨드를 결정하는 단계; 및 결정된 입력 커맨드에 기초하여 사용자 디바이스의 동작에 작용하는 단계를 포함한다.

[0006] 다른 실시예에 따르면, 방법은, 사용자 디바이스의 스크린 상의 터치, 및 사용자 디바이스를 터치하지 않는 손의 적어도 부분의 포즈 및 실질적으로, 스크린에 실질적으로 평행한 평면에서의 부분의 모션 중 적어도 하나를 사용자 디바이스에서 동시에 검출하는 단계; 검출된 터치 및 검출된 포즈 또는 모션의 결합에 적어도 부분적으로 기초하여 커맨드를 결정하는 단계; 및 결정된 커맨드에 기초하여 사용자 디바이스의 동작을 조정하는 단계를 포함한다. 일 실시예에서, 손의 부분은 스크린을 터치하는데 사용되는 그 손의 다른 부분을 포함한다. 다른 실시예에서, 방법은 추가로, 커맨드를 결정하는 단계 이전에, 손의 부분이, 스크린을 터치하는데 사용되는 그 손의 다른 부분을 포함한다는 것을 결정하는 단계를 포함한다. 다른 실시예에서, 포즈 또는 모션을 검출하는 단계는, 손의 하나 또는 그 초과의 끝부분(extremity)들을 식별하는 단계를 더 포함한다. 다른 실시예에서, 손은 스크린을 터치하는데 사용되는 손과 상이하다. 다른 실시예에서, 모션은 스와이프(swipe)를 포함한다. 다른 실시예에서, 모션은 회전(rotation) 또는 스윕(sweep)을 포함한다. 다른 실시예에서, 손의 부분은, 스크린 및 스크린에 수직인 스크린 수직 연장부를 포함하는 볼륨(volume)의 외부에 있다. 다른 실시예에서, 터치를 검출하는 단계는 스크린 상의 복수의 터치들을 검출하는 단계를 더 포함한다. 다른 실시예에서, 스크린 상에서의 터치의 위치는 동작 조정해야할 오브젝트 또는 동작을 식별한다. 다른 실시예에서, 터치를 검출하는 단계는 스크린에 따른 터치의 움직임(movement)을 검출하는 단계를 더 포함하며, 여기서, 커맨드를 결정하는 단계는, 검출된 터치 움직임 및 검출된 포즈 또는 모션의 결합에 적어도 부분적으로 기초하여 커맨드를 결정하는 단계를 포함한다. 다른 실시예에서, 검출된 포즈 또는 모션은 검출된 포즈를 포함한다. 다른 실시예에서, 검출된 포즈 또는 모션은 검출된 모션을 포함한다. 다른 실시예에서, 검출된 포즈 또는 모션은, 손의 부분이 검출된 포즈에 있으면서 수행된 검출된 모션을 포함한다.

[0007] 도 1a-1c는 본 개시의 일 실시예에 따른, 넌-터치 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시하는 도면들이다.
[0008] 도 2a-2b는 본 개시의 다른 실시예에 따른, 넌-터치 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시하는 도면들이다. 도면들은 변경되어 있다.
[0009] 도 3a-3c는 본 개시의 또 다른 실시예에 따른, 넌-터치 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시하는 도면들이다.
[0010] 도 4는 본 개시의 일 실시예에 따른, 넌-터치 제스처들을 이용하여 터치 입력들을 향상시키는 방법을 예시하는 흐름도이다.
[0011] 도 5는 본 개시의 일 실시예에 따른 디바이스를 구현하기 위한 시스템의 블록도이다.

[0012] 본 개시의 하나 또는 그 초과의 실시예들에 따른 시스템들 및 방법들은, 예를 들어, 동시의 다중모드(multimodal) 센서 방식을 통하여, 오프-스크린(off-screen) 넌-터치 입력들(예를 들어, 제스처들)을 갖는 터치 입력들과 같은 인터랙티브 입력들을 향상시키기 위해 제공된다. 넌-터치 입력들은, 초음파 센서들, 이미지 또는 비디오 캡쳐링 능력들(예를 들어, 카메라), 깊이 센서들 등과 같은 센서들에 의해 검출될 수도 있는 손, 손가락 등과 같은 제어 오브젝트를 이용하여 수행되는 포즈 또는 모션과 같은 제스처들을 포함할 수도 있다. 그와 관련하여, 넌-터치 입력들을 검출하도록 구성되는 센서들 또는 기술들은, 사용자 디바이스 또는 시스템 내에 포함될 수도 있고 그리고/또는 제스처들과 같은 넌-터치 데이터가, 사용자 디바이스의 전방에서 직접 수행될 경우(온-스크린(on-screen)) 뿐만 아니라 사용자 디바이스의 스크린 시야의 직결선(direct line)을 벗어나서 수행되는 경우(오프-스크린)에도 캡쳐될 수도 있도록, 사용자 디바이스의 다양한 표면들, 예를 들어, 사용자 디바이스의 상단, 하단, 좌측, 우측, 및/또는 후방 상에 로케이팅될 수도 있다. 일반적으로, 오프-스크린 넌-터치 입력들은 이후 "오프-스크린 제스처들"로 또한 지칭될 수도 있으며, 여기서, "오프-스크린 제스처"들은, 손, 손가락, 펜 등과 같은 제어 오브젝트가 사용자 디바이스를 터치하지는 않지만 사용자 디바이스에 근접하게 있는 제어 오브젝트의 포지션 또는 모션 데이터를 지칭할 수도 있다. 이들 "오프-스크린" 넌-터치 제스처들은 사용자 디바이스의 스크린으로부터 떨어져(removed) 있을 수도 있을 뿐만 아니라, 디바이스의 스크린 또는 디스플레이에 관하여 디바이스로부터 측방향으로(laterally) 오프셋(offset)되는 제어 오브젝트의 부분을 포함할 수도 있다. 예를 들어, 디스플레이 또는 스크린의 평면에 실질적으로 수직인 방향으로 디바이스의 디스플레이 또는 스크린으로부터 떨어지게 연장되는 볼륨이 생각될 수 있다. "오프-스크린" 제스처들은, 제스처를 수행하는 제어 오브젝트의 적어도 부분이 이러한 볼륨 외부에 있는 제스처들을 포함할 수도 있다. 예를 들어, 도 1a-1c 및 2a-2b에서, 사용자들의 손가락들은 "오프-스크린"에 있다.

[0013] 터치 입력들 및 오프-스크린 넌-터치 입력들(예를 들어, 제스처들)과 같은 동시의 인터랙티브 입력들은 진보된 커맨드들을 생성할 수도 있다. 일 실시예에서, 사용자는, 사용자 디바이스의 스크린 상에 디스플레이된 타겟(target) 아이템을 터치할 수도 있고, 동시에 타켓 아이템의 양상을 조정하기 위해 오프-스크린 제스처들(예를 들어, 동일한 손 또는 다른 손의 손가락들)을 사용할 수도 있다.

[0014] 오프-스크린 넌-터치 제스처들은, 타겟 아이템의 특정한 양상을 조정하는 것에 대응하는 임의의 적절한 사전-정의된 제스처를 포함할 수도 있다. 예를 들어, 특정한 손 모션 또는 포지션이 셋팅을 조정하기 위해 사용될 수도 있는데, 예를 들어, 하향 손 모션은 스크린의 밝기 셋팅을 감소시키는 것에 대응할 수도 있다.

[0015] 터치 입력-감지 데이터 및 넌-터치 오프-스크린 입력 감지 데이터(이후 "제스처 입력-감지 데이터"로 지칭됨)는, 이들 입력-감지 데이터 세트들이 결합되어 하나의 입력 커맨드를 생성할 수도 있도록, 실질적으로 동시에 캡쳐된다. 즉, 신규한 복합 커맨드들이 가능해질 수도 있음으로써, 입력 타겟 및 입력 타겟의 가변(variable) 조정이 결합될 수도 있다. 다양한 실시예들에서, 모션과 같은 제스처가 시작 또는 종료되는 때와 터치 입력이 검출되는 때 사이에 최소의 또는 무시가능한 오프셋이 존재할 수도 있음이 유의되어야 한다. 본 명세서에서의 몇몇 실시예들에서, 터치 입력-감지 데이터 및 제스처 입력-감지 데이터는, 예를 들어, 터치와 제스처의 타이밍 사이에 작은 지체(leeway)를 허용도록, 실질적으로 함께 또는 동시에 캡쳐될 수도 있다.

[0016] 다양한 실시예들에서, 제스처 입력-감지 데이터는, 오브젝트의 위치 및 움직임의 검출에 의해 캡쳐될 수도 있다. 예를 들어, 손 또는 손가락과 같은 오브젝트의 검출된 움직임은, 사용자 디바이스의 디스플레이 또는 스크린과 같은 표면과 실질적으로 평행하거나 또는 동일 평면에 있을 수도 있고, 스크린 위보다는 오프-크스린으로 수행될 수도 있다. 그러므로, 디스플레이 또는 스크린의 차단이 회피되거나 또는 감소되며, 그에 따라, 스크린을 가시적이게 허용한다.

[0017] 입력 타겟 및 가변 조정을 결합시킬 수도 있는 복합 커맨드들의 많은 예들이 존재한다. 그러한 예들은, 다음을 비롯해서, 하나 또는 두 개의 손들을 사용함으로써 하나 또는 다수의 셋팅들을 조정하는 것을 포함할 수도 있다.

[0018] 카메라: 타겟 아이템이, 예를 들어, 포커스(focus), 조리개, 장면(scene) 모드 등을 조정하게 작용하는 터치 및 넌-터치 제스처들을 통한 타겟 아이템의 선택. 예를 들면, 카메라로 사진을 찍는 경우, 사용자는, 포커스를 조정하기 위해, (예를 들어, 손가락, 펜 등과 같은 오브젝트를 사용하는) 터치를 통하여 사진의 아웃 포커스(out-of-focus)를 선택하면서 카메라의 측면 상에서 캡쳐될 수도 있는 넌-터치 제스처들을 수행할 수도 있다. 그와 관련하여, 넌-터치 제스처들은 오프-스크린으로(예를 들어, 카메라의 측면 상에서, 상단 상에서, 하단 상에서, 또는 뒤에서) 수행될 수도 있기 때문에, 디스플레이되는 사진은 사용자의 뷰로부터 가로막히지 않는다. 이러한 예는, 일 실시예에 따른 도 1a-1c에 관하여 아래에 더 상세히 예시될 것이다.

[0019] 셋팅들: 터치 또는 제스처를 통한 원하는 셋팅 영역 또는 아이콘의 선택은, 그 셋팅 또는 그 아이콘과 연관된 셋팅, 예컨대, 볼륨, 밝기 등을 조정함. 위에 설명된 카메라 예와 유사하게, 사용자는, 밝기와 같은 원하는 셋팅 또는 셋팅을 표현하는 아이콘을 터치를 통해 선택하면서, 오프-스크린으로 캡쳐될 수도 있는 넌-터치 제스처를 수행할 수도 있다. 넌-터치 제스처는 밝기를 조정하는 것에 대응할 수도 있다. 다양한 실시예들에서, 가변 제어와 연관된 임의의 커맨드 아이콘은, 터치되고, 그 후, 스윕핑 또는 주위로 손을 회전시키는 것과 같은 제스처에 의해 가변성(variability)이 조정될 수도 있다. 따라서, 몇몇 실시예들에서, 예컨대, 밝기, 볼륨 등을 조정하기 위한 슬라이더(slider) 바를 갖는 제 2 메뉴가 요구되지 않을 수도 있다. 제스처는 오프-스크린으로 수행 및 캡쳐되기 때문에, 디스플레이 또는 스크린은 사용자의 뷰로부터 가로막히지 않는다. 예를 들어, 사용자 디바이스는, 사용자 디바이스의 스크린 상에서 또는 겉테두리(bezel)의 측면 상에서, 밝기 조정을 표현하는 아이콘을 사용자의 엄지손가락이 터치하는 것과 같은 터치 입력을 검출할 수도 있다. 동시에, 사용자 디바이스는, 밝기를 조정하기 위해 (밝기 아이콘을 터치하면서) 사용자의 동일한 손의 손가락들이 회전하는 것과 같은 제스처를 검출할 수도 있는데, 예를 들어, 우측으로 회전하는 것은 밝기를 증가시킬 수도 있고, 좌측으로 회전하는 것은 밝기를 감소시킬 수도 있다.

[0020] 게이밍: 상대(opponent)에게 수행할 동작을 셋팅하기 위한 손 포지션 또는 모션과 같은 제스처 및 터치를 통한 상대의 선택. 위에 설명된 카메라 예와 유사하게, 사용자 디바이스를 통해 게임을 플레이하는 사용자는, 터치를 통해 상대를 선택하면서, 오프-스크린으로 캡쳐될 수도 있는 넌-터치 제스처를 수행할 수도 있다. 넌-터치 제스처는, 상대에게 수행될 동작을 셋팅하는 것에 대응할 수도 있으며, 넌-터치 제스처가 오프-스크린으로 수행 및 캡쳐되기 때문에, 사용자 디바이스의 디스플레이 또는 스크린은 사용자의 뷰로부터 가로막히지 않는다. 예를 들어, 사용자 디바이스는, 사용자 디바이스의 스크린 상에 디스플레이되는 체스 게임에서, 사용자의 엄지손가락이 상대의 말(piece)을 표현하는 아이콘을 터치하는 것과 같은 터치 입력을 검출할 수도 있다. 동시에, 사용자 디바이스는, (상대의 체스 말을 표현하는 아이콘을 터치하면서) 사용자가 동일한 손을 쥐는 것과 같은 제스처를 검출하여, 게임 규칙들에 따라 체스 말을 제거할 수도 있다.

[0021] 타이머(timer): 지속기간을 조정하기 위한 터치 및 제스처를 통한 타이밍 영역 또는 아이콘의 선택. 위에 설명된 카메라 예와 유사하게, 사용자는, 타이머 지속기간과 같은 셋팅을 표현하는 타이머 영역 또는 아이콘을 터치를 통해 선택하면서, 오프-스크린으로 캡쳐될 수도 있는 넌-터치 제스처를 수행할 수도 있다. 넌-터치 제스처는 타이머 지속기간을 조정하는 것에 대응할 수도 있으며, 넌-터치 제스처가 오프-스크린으로 수행 및 캡쳐되기 때문에, 디스플레이 또는 스크린은 사용자의 뷰로부터 가로막히지 않는다. 일 예에서, 클록을 터치하고, 그 후, 손을 어떤 식으로든(one way or another) 회전하는 것이 타임(time)을 셋팅하는데 또한 사용될 수도 있다(예를 들어, 타임(time)을 순방향/역방향으로 이동시키는 것은, 펼쳐진 손가락의 개수에 의해 결정될 수도 있으며, 이는, 시간(hour)을 변경하는 것 또는 분을 변경하는 것 사이를 구분할 수도 있다. 다른 예에서, 타임을 조정하기 위한 단지 하나의 방법만이 존재할 수도 있는데, 예를 들어, 손의 모든 회전들이 분을 조정할 수도 있다.

[0022] 맵(map): 사용자의 터치 또는 손 아래에 관심있는 포인트(point of interest)(POI)가 중심이 놓이게 유지하면서 줌을 조정하기 위한 터치 및 제스처를 통한 POI의 선택. 일 실시예에서, 사용자는, 스크린 상에 POI가 디스플레이되는 곳을 조정하기 위해 자신의 터치를 이동시킬 수도 있다. 위에 설명된 카메라 예와 유사하게, 사용자는, 사용자 디바이스 상에 디스플레이된 맵 상에서 터치를 통하여 POI를 선택하면서, 오프-스크린으로 캡쳐될 수도 있는 넌-터치 제스처를 수행할 수도 있다. 넌-터치 제스처는 주밍을 조정하는 것에 대응할 수도 있으며, 넌-터치 제스처가 오프-스크린으로 수행 및 캡쳐되기 때문에, 디스플레이 또는 스크린은 사용자의 뷰로부터 가로막히지 않는다.

[0023] 상이한 타입들의 "클릭(click)들"을 생성함: 선택된 오브젝트 상에서 클릭하기 위한(예를 들어, 선택된 오브젝트 상에 동작을 개시하기 위한), 터치 및 제스처를 통한 사용자 디바이스의 스크린 상에 디스플레이된 오브젝트의 선택. 예를 들어, 사용자는, 사용자 디바이스의 스크린 상에 디스플레이된 파일과 같은 오브젝트를 터치를 통해 선택하면서, 오프-스크린으로 캡쳐될 수도 있는 넌-터치 제스처를 수행할 수도 있다. 넌-터치 제스처는, 마우스 우측 클릭(right-mouse click)(RMC)과 동등할 수도 있는 쥐어진 손, 또는 마우스 좌측 클릭(left-mouse click)(LMC) 또는 대체(alternate) 클릭과 동등할 수도 있는 펴진 손을 포함할 수도 있다. 몇몇 실시예들에서, 다른 손 포즈들이 RMC 및/또는 LMC를 표현하는데 사용될 수 있고, 또는 상이한 타입의 클릭을 표현하는데 사용될 수도 있다.

[0024] 본 개시의 실시예들은, 다음을 비롯해서, 가변 조정에 대한 복잡한 커맨드들이 터치 입력 및 넌-터치 제스처를 결합할 수도 있는 많은 다른 사용 경우들에 적용될 수도 있다.

[0025] 사용자 디바이스는, 한 손으로 아이템을 터치하고(예를 들어, 그 손이, 디바이스를 홀딩(hold)하기 위해 사용자 디바이스의 후방 주변을 감아쥐면서(curled) 엄지손가락으로), 그 후 다른 손을 이용하여 오프-스크린으로 스와이핑하는 사용자에 의한 터치 입력을 검출할 수도 있다. "라이브 타일(live tile)들"(또는 다이나믹(dynamic) 컨텐츠를 갖는 다른 아이템들)을 갖는 시스템에 대한 실시예들에서, 스와이핑 모션은 컨텐츠에 걸쳐(예를 들어, 이메일 메시지들에 걸쳐 또는 리스트 상에서 위/아래로) 스크롤링할 수도 있다. 역으로, 이러한 상호작용은 다른 방식으로 또한 작동할 수도 있는데, 예를 들어, 사용자 디바이스는, 아이템을 적소에 앵커링(anchor)되게 유지하는 아이템의 터칭(touching)을 검출할 수도 있지만, 다른 손에 의한 스와이핑 제스처의 검출은, "홈 스크린(home screen)들"로 하여금 아이템 뒤에서 스위칭하게 할 수도 있다. 사용자가 아이템을 배치할 적절한 홈 스크린을 로케이팅한 경우, 사용자는, 현재 디스플레이된 홈스크린 상에 아이템을 "드롭(drop)"하기 위해, 자신의 엄지손가락을 스크린으로부터 떨어뜨림으로써 아이템을 릴리즈(release)할 수도 있다.

[0026] 다양한 실시예들에서, 터치 입력은 스태틱(static) 터치(또는 싱글(single) 터치)여야 하는 것은 아닐 수도 있다. 일 장소로부터 다른 장소로 아이템들을 드래깅(drag)하는 것은, 검출된 제스처, 예를 들어, 드래깅하는 경우의 손 포즈(예를 들어, 하나의 손가락이 펴져 있는 것 대 전체 손이 펼쳐져 있는 것)에 기초하여 상이한 효과를 가질 수도 있다. 유사하게, 핀치 줌(pinch zoom)이 검출된 제스처에 의존하여 상이한 효과들을 가질 수도 있는데, 예를 들어, 펼쳐진 손은 간격이 넓은(coarse) 줌을 작용시킬 수도 있고, 쥐어진 손은 정교한(fine) 줌을 작용시킬 수도 있다.

[0027] 상술된 바와 같이, 몇몇 사용 경우들 또는 예들은, 하나 또는 두 개의 손들을 사용하는 제스처를 통해 하나 또는 다수의 셋팅들을 조정하는 것을 포함할 수도 있다. 몇몇 실시예들에서, 제스처가 동일한 손으로 행해졌는지 또는 상이한 손으로 행해졌는지가 문제일 수도 있다. 따라서, 몇몇 실시예들에서, 사용자 디바이스는, 동일한 손이 디바이스를 터치하고 그리고 제스처, 예컨대 모션을 수행하고 있는지를 결정하도록 구성될 수도 있다.

[0028] 유리하게, 입력 타겟 및 가변 조정 둘 모두를 포함하는 신규한 복합 커맨드들(예를 들어, 신규한 복합 입력 제스처들)이 가능해질 수도 있다. 그러므로, 사용자 디바이스의 주요 인터페이스가 확장될 수도 있다.

[0029] 도 1a-1c를 참조하면, 도면들은 본 개시의 일 실시예에 따른, 넌-터치 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시한다. 특히, 도 1a-1c는, 넌-터치 제스처를 이용하여 카메라 상의 터치 타겟의 포커스를 조정하기 위한 예를 예시한다.

[0030] 도 1a에서, 카메라일 수도 있거나 또는 사용자 디바이스의 일부로서 카메라를 갖는 사용자 디바이스(102)는, 타겟 아이템을 관찰(view)하기 위한 스크린 또는 뷰 파인더(view finder)를 포함한다. 이러한 경우에서, 타겟 아이템은 아웃 포커스인 것으로 나타난다. 사용자는, 작용받는 타겟 아이템 상의 참조 부호(101)에 의해 표시되는 포인트에서 엄지손가락과 같은 오브젝트를 이용하여 사용자 디바이스(102)의 스크린을 터치할 수도 있다.

[0031] 도 1b에서, 사용자는, 타겟 아이템에 작용하기 위해 오프-스크린 제스처를 수행한다. 도 1b에서 관측될 수 있는 바와 같이, 사용자의 손가락들은 디바이스의 디스플레이로부터 측방향으로 오프셋되고, 그에 따라, 오프-스크린 제스처를 수행하는 것으로 검출될 수도 있다. 일 예에서, 타겟 아이템을 포커싱하기 위해, 사용자는, 타겟 아이템 상의 포인트(101)에 자신의 엄지손가락을 유지하면서, 사용자 디바이스(102)의 스크린에 대해 실질적으로 평행한 평면 상에서, 참조 부호(104)에 표시되는 바와 같이, 타겟 아이템을 포커싱하도록 자신의 손을 회전시킬 수도 있다. 넌-터치 제스처는, 사용자 디바이스(102)의 하나 또는 그 초과의 센서들(예를 들어, 초음파 기술 센서들 등)이 오프-스크린 제스처들을 캡쳐할 수도 있도록 오프-스크린으로 수행된다. 사용자는, 타겟 아이템이 적절히 포커싱되었다고 사용자가 생각할 때까지 회전 넌-터치 제스처를 수행할 수도 있다. 일 실시예에서, 사용자는, 포커스를 변경하기 위해 사용자 디바이스(102)의 스크린 상의 어디든지 터치할 수도 있거나, 또는, 다른 실시예들에서, 사용자는, 오토포커스(autofocus)를 개선하기 위해 특정한 오브젝트 상을 터치할 수도 있다.

[0032] 일 실시예에서, 사용자는, 사용자가 디스플레이의 측면 또는 코너 주변에서 넌-터치 제스처들을 이용하여 포커싱할 수도 있도록, 카메라의 엣지에 근접하게 로케이팅될 수도 있는, 예컨대 우측 엣지 상의 또는 스크린의 코너에 근접해 있는 버튼, 영역, 또는 아이콘을 터치할 수도 있다. 이러한 방식에서, 디스플레이는 뷰로부터 가로막히지 않는다.

[0033] 도 1c에서, 사용자는, 타겟 아이템을 디스인게이징(disengage)하기 위해 사용자 디바이스(102)부터 터치를 릴리스(예를 들어, 포인트(101)로부터 자신의 손가락을 디스인게이징)할 수도 있다.

[0034] 다양한 실시예들에서, 제스처 입력-감지 데이터 및 터치 입력-감지 데이터 둘 모두는, 사용자 디바이스로부터 터치를 릴리스할 시, 예컨대 사용자 디바이스의 스크린 또는 디스플레이로부터 터치를 릴리스할 시 중단될 수도 있다.

[0035] 그러므로, 본 명세서의 실시예들은, 사용자 디바이스 상에 커맨드들을 인게이징(engage) 및 디스인게이징하기 위한 명료한 방식을 제공할 수도 있다.

[0036] 이제 도 2a-2b를 참조하면, 도면들은 본 개시의 다른 실시예에 따른, 넌-터치 오프-스크린 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시한다. 특히, 도 2a-2b는, 사용자 디바이스의 스크린 상의 리스트 또는 페이지를 리프레시(refresh) 또는 스크롤링하기 위한 쇼트컷(shortcut)의 예를 예시한다.

[0037] 도 2a에서, 사용자는, 사용자 디바이스(202)의 스크린 상의 타겟 아이템에 대응하는 포인트(201)를 손가락으로 길게 누를 수도 있다. 도 2b에서, 사용자는, 예를 들어, 포인트(201)에서 타겟 아이템을 누르고 있는 손가락을 중심으로 하면서 참조 부호(207)에 의해 표시되는 바와 같이 손을 하향으로 이동시키는 넌-터치 오프-스크린 제스처를 수행할 수도 있다. 이러한 방식에서, 사용자 디바이스 상의 리스트 또는 페이지는, 예를 들어, 스크린 상의 다른 아이템들에 작용하지 않으면서, 용이하게 리프레시 또는 스크롤링될 수도 있다. 넌-터치 제스처는, 사용자 디바이스로부터 모션 중인 손으로의 수직 평면(즉, z-방향)에서의 근접도 또는 거리에 관계없이, 실질적으로 사용자 디바이스의 스크린과 동일한 평면(즉, 실질적으로 평행한 평면)을 따라 오프-스크린으로 수행될 수도 있음이 유의되어야 한다.

[0038] 다양한 실시예들에서, 특정한 넌-터치 제스처들은 특정한 커맨드들에 대응할 수도 있다. 도 2a-2b의 예에서, 참조 부호(207)에 의해 표시되는 바와 같은 손의 하향 모션, 페이지를 리프레시하기 위한 것과 같은 "리프레시" 커맨드에 대응할 수도 있다. 다른 실시예들에서, 도 2a-2b에 예시된 터치 및 넌-터치 제스처 입력들의 결합이 매체들을 셔플링(shuffle)하기 위한 쇼트컷으로서 사용될 수도 있다. 그러한 커맨드들은 몇몇 실시예들에서 내장될 수도 있고, 검색 테이블이 어느 제스처들이 어느 커맨드들에 대응하는지를 정의할 수도 있다.

[0039] 이제 도 3a-3c를 참조하면, 도면들은 본 개시의 또 다른 실시예에 따른, 넌-터치 제스처들을 이용하여 터치를 향상시키기 위한 흐름을 예시한다. 특히, 도 3a-3c는, 파일과 같은 타겟 목적지에서 애플리케이션들과 같은 아이템들을 정리(organize)하기 위한 예를 예시한다.

[0040] 도 3a에서, 사용자는, 사용자 디바이스(302)의 스크린 상의 하나 또는 그 초과의 수집된 아이템들에 대한 타겟 목적지에 대응하는 포인트(301)를 손가락으로 길게 누를 수도 있다.

[0041] 도 3b에서, 사용자는, 수집되고 타겟 목적지에 배치될 하나 또는 그 초과의 아이템들을 선택하기 시작할 수도 있다. 이와 관련하여, 포인트(301)에서 손가락으로 길게 누르면서, 사용자는 동일한 손의 다른 손가락들을 사용하여 하나 또는 그 초과의 아이템들, 예컨대 아이템들(302B)을 선택할 수도 있다. 대안적으로, 포인트(301)에서 손가락으로 길게 누르면서, 사용자는 다른 손으로부터의 손가락들을 사용하여 하나 또는 그 초과의 아이템들을 선택할 수도 있다.

[0042] 도 3c에서, 일단 사용자가 수집될 하나 또는 그 초과의 아이템들을 선택하는 것을 완료하면, 사용자는, 포인트(301)에서 길게 누르고 있는 손가락에 의해 표시되는 타겟 목적지를 향하여 선택된 하나 또는 그 초과의 수집된 아이템들을 이동시키기 위해, (예를 들어, 화살표(316)에 의해 표시되는 바와 같은) 스윕핑 제스처와 같은 제스처를 수행할 수도 있다.

[0043] 그러한 하나 또는 그 초과의 아이템들은 타겟 목적지로 정리되는데, 즉, 아이템들이 적절한 파일 또는 폴더 내로 정리된다.

[0044] 본 개시의 하나 또는 그 초과의 실시예들에 따르면, 넌-터치 오프-스크린 제스처들을 이용하여 터치 입력들을 향상시키기 위한 다양한 기술들이 사용될 수도 있다. 그와 관련하여, 임의의 제스처 검출 기술들이 터치 입력 기술들과 결합될 수도 있다. 그러한 기술들은, 예를 들어, 핸드 터치 온스크린(Hand touch onscreen) 더하기 초음파 제스처 검출, 핸드 터치 온스크린 더하기 비전-기반(vision-based) 제스처 검출(예를 들어, 전면 및/또는 후면 카메라, 및/또는 디바이스의 측면 또는 엣지 상에 탑재된 하나 또는 그 초과의 카메라들을 사용함), 초음파 펜 터치 온스크린 더하기 핸드 비전 검출(hand vision detection)(초음파, 비전-기반, 깊이 센서, 카메라-기반, IR 등), 핸드 터치 온스크린 더하기 초음파 펜 제스처 검출, 근전도검사(electromyography)(EMG), 및/또는 임의의 다른 적절한 기술들을 포함할 수도 있다. 이러한 방식에서, 제스처들은, 디바이스의 전방, 디바이스의 뒤, 및/또는 디바이스의 하나 또는 그 초과의 측면들 상에서 검출될 수도 있다. 몇몇 실시예들에서, 포즈 또는 모션을 결정하기 위해 끝부분들이 식별 및/또는 추적될 수도 있다. 예를 들어, 다양한 손가락들의 포즈 또는 모션이 식별될 수도 있고, 또한, 특정한 제스처 모델들이 사용될 수도 있다. 터치 스크린 기술, 예컨대 정전용량식 터치스크린들 및/또는 투영 정전용량식(projective capacitance) 기술이 사용자로부터의 터치 입력들을 검출하기 위해 사용될 수도 있다. 다양한 실시예들에서, 스크린 상을 터치하는 것이 요구되지 않을 수도 있음이 유의되어야 한다. 예를 들어, 터치 입력들은 사용자가 겉테두리를 터치하는 것 또는 심지어 단지 디바이스의 엣지를 터치하는 것으로부터 검출될 수도 있다. 예를 들어, 사용자는, 예컨대 볼륨을 제어하기 위해 손을 회전시킬 수도 있으며, 이는, 예를 들어, 디바이스의 측면, 상단 또는 하단 상에 로케이팅된 터치 센서들을 이용하여 또는 전기장 센서들을 이용하여 검출될 수도 있다.

[0045] 이제 도 4를 참조하면, 흐름도는 본 개시의 일 실시예에 따른, 넌-터치 제스처들을 이용하여 터치 입력들을 향상시키는 방법을 예시한다. 도 4에 예시된 방법이 일 실시예에 따른 도 5에 예시된 시스템에 의해 구현될 수도 있음이 유의되어야 한다.

[0046] 블록(402)에서, 도 5에 예시된 시스템(1500)과 같은 시스템은, 사용자 디바이스의 스크린 상의 터치 입력 데이터 및 사용자 디바이스의 스크린에서 떨어져 있는 넌-터치 제스처 입력 데이터를 동시에 캡쳐할 수도 있다. 터치 입력 데이터 및 넌-터치 제스처 입력 데이터는, 예를 들어, 도 5에 예시된 입력 컴포넌트(1516)를 통해 캡쳐될 수도 있다. 그와 관련하여, 도 1-3에 예시된 실시예들을 포함하는 다양한 실시예들에 관하여 상술된 바와 같이, 사용자는, 동시에, 사용자 디바이스의 스크린 또는 디스플레이 상의 타겟 아이템을 터치하고, 그리고 타겟 아이템의 양상을 조정하기 위해 (동일한 손 또는 다른 손을 이용하여) 넌-터치 제스처를 사용할 수도 있다. 예를 들어, 사용자는, 카메라의 스크린 또는 뷰어(viewer) 상의 이미지를 터치함으로써, 포커싱될 이미지와 같은 카메라 상의 타겟 아이템을 선택할 수도 있다. 동시에, 카메라의 스크린 상의 이미지를 터치하면서, 사용자는, 이미지의 포커스를 조정하기 위해, 손 모션 또는 포즈와 같은 오프-스크린 넌-터치 제스처를 수행할 수도 있다. 그와 관련하여, 오프-스크린 넌-터치 제스처는, 예를 들어, 사용자 디바이스의 스크린에 관하여 실질적으로 평행인 평면에서의 손 모션 또는 포즈에 의해 수행될 수도 있다. 또한, 오프-스크린 넌-터치 제스처는, 사용자 디바이스 상에, 예컨대, 사용자 디바이스의 측면들, 상단, 하단, 또는 후방 상에 로케이팅된 하나 또는 그 초과의 센서들에 의해 캡쳐될 수도 있다. 센서(들)는, 초음파 기술들, IR 등과 같은 다양한 제스처 검출 기술들을 포함할 수도 있다.

[0047] 블록(404)에서, 시스템은, 동시에 캡쳐된 터치 입력 데이터 및 넌-터치 제스처 입력 데이터의 결합에 적어도 부분적으로 기초하여 입력 커맨드를 결정할 수도 있다. 블록(406)에서, 결정된 입력 커맨드에 기초하여 사용자 디바이스의 동작이 작용받을 수도 있다. 입력 커맨드의 그러한 결정 및 사용자 디바이스의 동작 상에서의 입력 커맨드의 효과는, 예를 들어, 도 5에 예시된 프로세싱 컴포넌트(1504)에 의해 수행될 수도 있다. 일 실시예에서, 입력 커맨드는, 임의의 다른-비-선택된 아이템들에 작용하지 않으면서 선택된 타겟 아이템에 작용할 수도 있다.

[0048] 다양한 실시예들에서, 입력 커맨드는, 터치 입력 데이터가 디스인게이징된 경우 완성된 것으로 결정될 수도 있다. 예를 들어, 도 1a-1c에 예시된 카메라 포커스 실시예에서, 일단 포커싱이 달성되면, 사용자는, 타겟 아이템으로부터 디스인게이징하기 위해 타겟 아이템의 터치를 릴리스할 수도 있다.

[0049] 본 개시의 하나 또는 그 초과의 실시예들에 따르면, 온스크린 터치 검출이 오프 스크린 오브젝트(예를 들어, 손가락) 검출을 인에이블링(enable)할 수도 있다. 오프-스크린 오브젝트 검출은 그 후, 제어의 동작에 대해 사용될 수도 있다. 예를 들어, 오프-스크린으로 검출된 손가락을 회전하는 것은, 애플리케이션의 셋팅 또는 동작을 제어하는데 사용될 수도 있다. 온스크린 터치 검출 또는 터치 입력은 온-오프(on-off) 스위치와 같이 사용될 수도 있지만, 넌-터치 제스처들은 동작 제어일 수도 있다. 즉, 터치 입력들은 넌-터치 오프-스크린 제스처들에 대한 앵커(anchor) 포인트일 수도 있다.

[0050] 본 개시의 하나 또는 그 초과의 실시예들에 따르면, 용어들 "제스처 입력-감지 데이터", "넌-터치 제스처들" 또는 "제스처들"은 일반적으로, 터치-스크린 상호작용들 외에 오프-스크린 넌-터치 제스처들 또는 디바이스의 사용자 센서들에 의해 캡쳐된 상호작용들을 포함할 수도 있으며, 예를 들어, 넌-터치 손 모션들 또는 포즈들을 포함할 수도 있음이 유의되어야 한다. 그러므로, 본 명세서에서의 실시예들에서, 넌-터치 제스처들은 손 포즈와 같은 사용자의 인터랙티브 입력을 검출하는 것 또는 인식하는 것을 포함할 수도 있다. 다양한 실시예들에서, "제스처 입력-감지 데이터"는, 사용자 동작들을 제어 입력으로 해석하기 위한, 터치 센서들 외에 적어도 디바이스의 하나 또는 그 초과의 포인트들 또는 영역들(예를 들어, 측면들, 상단, 하단, 후방)에 로케이팅된 센서들로부터의 데이터, 또는 터치 스크린 상에서 또는 그 위에서 직접 수행된 그들 외의 상호작용들로부터의 데이터의 사용을 포함할 수도 있다. 즉, 제스처 입력 데이터는, 사용자 디바이스를 터치하지 않으면서 사용자의 오프-스크린 제스처들을 캡쳐하기 위한 센서들 또는 기술들의 사용을 수반할 수도 있다.

[0051] 일반적으로, 사용자 디바이스들은, 예를 들어, 초음파 제스처 검출 센서들, 카메라(예를 들어, 가시광선 카메라, 전파-시간(time-of-flight) 카메라와 같은 레인지 이미징(range imaging) 카메라, 구조형 광 카메라, 스테레오 카메라 등)와 같은 이미지 또는 비디오 캡쳐링 컴포넌트들, 손 비전 검출(초음파, 비전-기반, IR 등) 센서들, 초음파 펜 제스처 검출 센서들 등을 포함할 수도 있는 제스처 인식 또는 제스처 입력 데이터 센서들을 포함하는 임의의 디바이스를 포함할 수도 있거나 또는 그 일부일 수도 있다. 즉, 디바이스들은, 디바이스를 터치하지 않으면서 사용자의 오프-스크린 제스처들(즉, 손 포즈와 같은 넌-터치 제스처들)을 캡쳐하기 위한 초음파, IR, 비전-기반 제스처 능력들 등을 가질 수도 있다.

[0052] 다양한 실시예들에서, 터치 입력은 다른 센서들의 동작에 작용할 수도 있다. 예를 들어, 터치 입력은, 다른 센서들을 턴 온(turn on)시킬 수도 있거나, 또는, 예를 들어, 그러한 다른 디바이스들의 듀티 사이클(duty cycle)을 증가시킬 수도 있다. 또한, 터치 입력은, 다른 센서들이 검출하도록 구성되는 제스처들에 대한 조정을 야기할 수도 있다. 예를 들어, 제스처 제어를 개시하기 위한 인게이지먼트(engagement) 포즈에 민감해지는 것 대신, 터치 입력은 인게이지먼트 포즈 외의 스와이프들, 스윕들, 포즈들 등과 같은 제스처들을 탐색할 것을 디바이스에 경고할 수도 있다. 몇몇 실시예들에서, 이것은, 하나 또는 그 초과의 제스처 모델들을 로딩함으로써, 제스처 어휘(vocabulary)의 사이즈 또는 범위를 증가시킴으로써, 그리고/또는 임의의 다른 다수의 방법들로 유효해질 수도 있다.

[0053] 하나 또는 그 초과의 실시예들에 따른 오프-스크린 넌-터치 제스처들을 캡쳐하는 것에 관하여, 사용자 디바이스의 표면 너머에서의(beyond)(예를 들어, 스크린 너머에서의) 사용자의 움직임 또는 오브젝트(예를 들어, 하나 또는 그 초과의 손가락들, 손들, 펜 등)의 배향은, 사용자 디바이스의 표면(예를 들어, 스크린 또는 디스플레이)에 실질적으로 평행일 수도 있다. 다양한 예들에서, 디바이스의 표면에 평행한 오브젝트의 모션은, 디바이스의 디스플레이 또는 스크린과 동일한 평면 상에서 스크린 또는 디스플레이 경계들 너머에서의 스위핑 모션, 엄지손가락 회전 등을 포함할 수도 있으며, z-방향에서의 움직임이 몇몇 실시예들에서 고려될 수도 있지만, 그것은, 몇몇 실시예들에서, 유일한 고려되는 움직임이 아닐 수도 있거나 또는 고려되지 않을 수도 있다. 그와 관련하여, z-방향 움직임은, 예를 들어, 디스플레이로의 근접도를 증가 또는 감소시키기 위한, 예컨대 스크린 또는 디스플레이를 향하는 방향 또는 그로부터 멀어지는 방향에서의 모션일 수도 있다. 즉, 오브젝트의 모션은, 스크린의 둘레(perimeter) 외부에서 그리고 스크린과 나란하게(aligned) 수행될 수도 있다. 몇몇 실시예들에서, 제스처들은, (예를 들어, 태블릿 또는 더 큰 폼 팩터(form factor)를 사용하는 경우) 스크린과 나란한 경우 검출될 수도 있다.

[0054] 이제 도 5를 참조하면, 본 개시의 일 실시예에 따른 디바이스를 구현하기 위한 시스템의 블록도가 예시된다.

[0055] 본 명세서에 기재된 방법들 및 시스템들은, 광범위하게 다양한 전자 시스템들 및 디바이스들에 의해 구현되거나 또는 그에 포함될 수도 있음이 인식될 것이다. 예를 들어, 시스템(1500)은, 모바일 디바이스, 스마트 폰, 개인 휴대 정보 단말(PDA), 태블릿, 랩톱, 개인용 컴퓨터, TV 등과 같은 무선 또는 유선 디바이스들을 포함하는 임의의 타입의 디바이스를 구현하는데 사용될 수도 있다. 뮤직 플레이어, 비디오 플레이어, 통신 디바이스, 네트워크 서버 등과 같은 다른 예시적인 전자 시스템들이 본 개시에 따라 또한 구성될 수도 있다. 또한, 다른 전자 시스템들은, 예를 들어, 사용자의 손목 상에 장착되는 웨어러블(wearable) 디바이스(이는, 제스처들 또는 다른 제어 입력들을 검출하고, 그 후, 프로세싱을 위해 그들을 다른 디바이스에 전달할 수도 있음)를 포함할 수도 있다.

[0056] 시스템(1500)은, 각각 도 1, 2, 및 3에 예시된 사용자 디바이스들(102, 202, 및 302)을 포함하는 본 개시의 실시예들을 구현하기에 적절할 수도 있다. 디바이스, 예컨대 스마트 폰, 태블릿, 개인용 컴퓨터, 및/또는 네트워크 서버의 일부와 같은 시스템(1500)은, 정보를 통신하기 위한 버스(1502) 또는 다른 통신 메커니즘을 포함하고, 버스(1502) 또는 다른 통신 메커니즘은, 프로세싱 컴포넌트(1504)(예를 들어, 프로세서, 마이크로-제어기, 디지털 신호 프로세서(DSP) 등), 시스템 메모리 컴포넌트(1506)(예를 들어, RAM), 정적 스토리지(static storage) 컴포넌트(1508)(예를 들어, ROM), 네트워크 인터페이스 컴포넌트(1512), 디스플레이 컴포넌트(1514)(또는 대안적으로, 외부 디스플레이에 대한 인터페이스), 입력 컴포넌트(1516)(예를 들어, 키패드 또는 키보드, 터치 스크린, 제스처 인식과 같은 인터랙티브 입력 컴포넌트 등), 및 커서 제어 컴포넌트(1518)(예를 들어, 마우스 패드) 중 하나 또는 그 초과를 포함하는 서브시스템들 및 컴포넌트들을 상호접속시킨다. 다양한 실시예들에서, 입력 컴포넌트(1516)는, 터치 입력 기술들과 결합될 수도 있는 하나 또는 그 초과의 제스처 검출 기술들을 구현할 수도 있다. 상술된 바와 같이, 그러한 기술들은, 예를 들어, 핸드 터치 온스크린 더하기 초음파 제스처 검출, 핸드 터치 온스크린 더하기 비전-기반 제스처 검출(예를 들어, 전면 및/또는 후면 카메라, 및/또는 디바이스의 측면 또는 엣지 상에 탑재된 하나 또는 그 초과의 카메라들을 사용함), 초음파 펜 터치 온스크린 더하기 핸드 비전 검출(초음파, 비전-기반, 깊이 센서, 카메라-기반, IR 등), 핸드 터치 온스크린 더하기 초음파 펜 제스처 검출, 근전도검사(EMG), 투영 정전용량식, 전기장 센서들 및/또는 임의의 다른 적절한 기술들을 포함할 수도 있다.

[0057] 본 개시의 실시예들에 따라, 시스템(1500)은, 시스템 메모리 컴포넌트(1506)에 포함된 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세싱 컴포넌트(1504)에 의해 특정 동작들을 수행한다. 이러한 명령들은 다른 컴퓨터 판독가능 매체, 예컨대 정적 스토리지 컴포넌트(1508)로부터 시스템 메모리 컴포넌트(1506)로 판독될 수 있다. 이들은, 동시의 다중모드 센서 방식을 통하여 인터랙티브 입력들을 향상시키기 위한 명령들을 포함할 수도 있다. 다른 실시예들에서, 본 개시의 하나 또는 그 초과의 실시예들의 구현을 위해 소프트웨어 명령들 대신에 또는 소프트웨어 명령들과 결합하여 하드-와이어드(hard-wired) 회로가 사용될 수도 있다.

[0058] 로직은 컴퓨터 판독가능 매체에서 인코딩될 수 있고, 컴퓨터 판독가능 매체는, 실행을 위해 명령들을 프로세싱 컴포넌트(1504)에 제공하는 것에 참여하는 임의의 매체를 지칭할 수도 있다. 이러한 매체는, 이에 제한되지는 않지만 비-휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하는 많은 형태들을 취할 수도 있다. 다양한 구현들에서, 휘발성 매체들은 동적 메모리, 이를테면 시스템 메모리 컴포넌트(1506)를 포함하고, 송신 매체들은, 버스(1502)를 포함하는 와이어들을 비롯하여, 동축 케이블들, 구리 와이어, 및 광섬유들을 포함한다. 일 실시예에서, 송신 매체들은는 음향 또는 광 파들, 이를테면 라디오 파 및 적외선 데이터 통신들 동안에 생성되는 것들의 형태를 취할 수도 있다. 컴퓨터 판독가능 매체들의 몇몇 공통 형태들은, 예를 들어, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 반송파, 또는 임의의 다른 매체(이 임의의 다른 매체로부터, 컴퓨터가 판독하도록 적응됨)를 포함한다. 컴퓨터 판독가능 매체는 비-일시적일 수도 있다.

[0059] 본 개시의 다양한 실시예들에서, 본 개시를 실시하기 위한 명령 시퀀스들의 실행은 시스템(1500)에 의해 수행될 수도 있다. 다양한 다른 실시예들에서, 통신 링크(1520)(예를 들어, WiFi, 또는 다양한 다른 유선 또는 무선 네트워크들)에 의해 커플링된 복수의 시스템들(1500)이 서로 조정되어 본 개시를 실시하기 위해 명령 시퀀스들을 수행할 수도 있다. 시스템(1500)은, 통신 링크(1520) 및 네트워크 인터페이스 컴포넌트(1512)를 통해, 하나 또는 그 초과의 프로그램들(즉, 애플리케이션 코드)을 포함하는 입력들, 메시지들, 데이터, 정보 및 명령들을 수신 및 연장할 수도 있다. 실행을 위해 디스크 드라이브 컴포넌트(1510) 또는 몇몇 다른 비-휘발성 스토리지 컴포넌트에 수신 및/또는 저장되는 바와 같은 수신된 프로그램 코드가 프로세싱 컴포넌트(1504)에 의해 실행될 수 있다.

[0060] 당업자들이 지금쯤은 이미 인식할 바와 같이, 그리고 가까이 있는 특정 애플리케이션에 의존하여, 본 개시의 사상 및 범위로부터 벗어나지 않으면서, 많은 변형들, 치환들 및 변경들이 본 개시의 재료들, 장치, 구성들, 및 디바이스들의 사용 방법들에서 그리고 이들에 대해 이루어질 수 있다. 이러한 관점에서, 본 개시의 범위는 본 명세서에서 예시되고 그리고 설명된 특정한 실시예들의 범위로 제한되지 않아야 하는데, 그 이유는 특정 실시예들이 단지 그들의 몇몇 예들을 통한 것이고, 그보다는 오히려, 특정 실시예들이 이후에 첨부된 청구항들 및 그들의 기능적 등가물들의 범위에 완전히 상응해야 하기 때문이다.

Claims

인터랙티브(interactive) 입력들을 검출하기 위한 방법으로서,
사용자 디바이스의 스크린 상의 터치(touch) 입력 데이터를 캡쳐(capture)하는 단계 ― 상기 터치 입력 데이터는, 상기 사용자 디바이스의 상기 스크린 상에서 수행되는 터치를 나타냄 ―;
상기 터치 입력 데이터에 기초하여 입력 커맨드를 결정하는 단계;
상기 터치 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 작용(affect)하는 단계 ― 상기 동작은 상기 사용자 디바이스의 상기 스크린 상의 컨텐츠의 디스플레이에 영향을 줌(impact) ―;
넌-터치(non-touch) 제스처 입력 데이터를 캡쳐하는 단계 ― 상기 제스처 입력 데이터는, 상기 사용자 디바이스의 상기 스크린으로부터 오프셋(offset)된 영역에서 수행되는 오프-스크린(off-screen) 제스처를 나타내고, 그리고 상기 제스처 입력 데이터는 상기 결정된 입력 커맨드와 관련됨 ―; 및
상기 결정된 입력 커맨드 및 상기 제스처 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 추가로 작용하는 단계를 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 터치 입력 데이터는 상기 사용자 디바이스의 스크린 상의 타겟 아이템(target item)을 식별하고, 그리고
상기 입력 커맨드는, 상기 제스처 입력 데이터에 기초하는 상기 타겟 아이템의 양상의 조정을 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 2 항에 있어서,
상기 입력 커맨드는 상기 타겟 아이템의 가변(avriable) 조정을 포함하고, 상기 가변 조정은 상기 제스처 입력 데이터로부터 결정되는, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 터치 입력 데이터를 캡쳐하는 단계는,
상기 사용자 디바이스의 스크린 상에서 사용자로부터, 작용받을 원하는 타겟 아이템 상의 터치를 수신하는 단계; 및
상기 사용자 디바이스의 스크린 상에서의 터치의 릴리스(release)를 검출함으로써, 상기 타겟 아이템이 디스인게이징(disengage)되었다는 것을 결정하는 단계를 더 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하는 것은, 오브젝트의 위치 및 움직임(movement)을 검출하는 것을 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 5 항에 있어서,
상기 오브젝트의 움직임은, 상기 사용자 디바이스의 스크린과 실질적으로 동일한 평면에서의 움직임을 더 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하는 것은, 초음파 기술들, 이미지 또는 비디오 캡쳐링 기술들, 또는 IR 기술들을 통해 상기 사용자 디바이스의 표면 너머에서의(beyond) 오브젝트를 검출하도록 적응되는 하나 이상의 센서들을 사용하는 것을 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 결정된 입력 커맨드는, 상기 사용자 디바이스의 상기 스크린 상의 타겟 아이템의 선택을 나타내는 복수의 상이한 타입들의 입력들 중 하나를 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
제 8 항에 있어서,
상기 상이한 타입들의 입력들은, 상기 스크린을 터치하는 손의 제 1 포즈(pose)에 의해 생성되는 마우스 우측 클릭(right-mouse click)(RMC), 또는 상기 스크린을 터치하는 손의 제 2 포즈에 의해 생성되는 마우스 좌측 클릭(left-mouse click)(LMC) 또는 대체(alternate) 클릭을 더 포함하고, 상기 제 1 포즈는 상기 제 2 포즈와는 상이한, 인터랙티브 입력들을 검출하기 위한 방법.
제 1 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하는 것은, 손 포즈 또는 손 모션(motion)을 캡쳐하는 것을 포함하는, 인터랙티브 입력들을 검출하기 위한 방법.
시스템으로서,
하나 이상의 이미지들을 디스플레이하도록 구성되는 디스플레이;
상기 디스플레이에서의 터치 입력 데이터를 검출하도록 구성되는 하나 이상의 센서들;
상기 디스플레이로부터 오프셋된 영역에서 수행되는 오프-스크린 제스처를 나타내는 넌-터치 제스처 입력 데이터를 검출하도록 구성되는 하나 이상의 센서들; 및
하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은:
상기 터치 입력 데이터를 캡쳐하고 ― 상기 터치 입력 데이터는, 상기 디스플레이 상에서 수행되는 터치를 나타냄 ―;
상기 터치 입력 데이터에 기초하여 입력 커맨드를 결정하고;
상기 터치 입력 데이터에 기초하여 상기 시스템의 동작에 작용하고 ― 상기 동작은 상기 디스플레이 상의 컨텐츠에 영향을 줌 ―;
상기 넌-터치 제스처 입력 데이터를 캡쳐하고 ― 상기 제스처 입력 데이터는 상기 결정된 입력 커맨드와 관련됨 ―; 그리고
상기 결정된 입력 커맨드 및 상기 제스처 입력 데이터에 기초하여 상기 시스템의 동작에 추가로 작용하도록
구성되는, 시스템.
제 11 항에 있어서,
상기 터치 입력 데이터는 상기 디스플레이 상의 타겟 아이템을 식별하고, 그리고
상기 입력 커맨드는, 상기 제스처 입력 데이터에 기초하는 상기 타겟 아이템의 양상의 조정을 포함하는, 시스템.
제 12 항에 있어서,
상기 입력 커맨드는 상기 타겟 아이템의 가변 조정을 포함하고, 상기 가변 조정은 상기 제스처 입력 데이터로부터 결정되는, 시스템.
제 11 항에 있어서,
상기 프로세서는 추가로, 원하는 타겟 아이템 상에서 상기 디스플레이 상의 사용자로부터의 터치를 수신하고, 그리고 상기 디스플레이 상의 터치의 릴리스를 검출함으로써 상기 타겟 아이템이 디스인게이징되었다는 것을 결정하도록 구성되는, 시스템.
제 11 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 검출하도록 구성되는 하나 이상의 센서들은 추가로, 오브젝트의 위치 및 움직임을 캡쳐하도록 구성되는, 시스템.
제 15 항에 있어서,
상기 오브젝트의 움직임은, 상기 디스플레이와 실질적으로 동일한 평면에서의 움직임을 더 포함하는, 시스템.
제 16 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 검출하도록 구성되는 하나 이상의 센서들은, 상기 넌-터치 제스처 입력 데이터를 캡쳐하도록 적응되는 초음파 센서들, 이미지 또는 비디오 캡쳐링 센서들, 또는 IR 센서들을 포함하는, 시스템.
제 11 항에 있어서,
상기 결정된 입력 커맨드는, 상기 디스플레이 상의 타겟 아이템의 선택을 나타내는 복수의 상이한 타입들의 입력들 중 하나를 포함하는, 시스템.
제 18 항에 있어서,
상기 상이한 타입들의 입력들은, 상기 디스플레이를 터치하는 손의 제 1 포즈에 의해 생성되는 마우스 우측 클릭(RMC), 또는 상기 디스플레이를 터치하는 손의 제 2 포즈에 의해 생성되는 마우스 좌측 클릭(LMC) 또는 대체 클릭을 더 포함하고, 상기 제 1 포즈는 상기 제 2 포즈와는 상이한, 시스템.
제 11 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 검출하도록 구성되는 하나 이상의 센서들은, 손 포즈 또는 손 모션을 캡쳐하도록 구성되는, 시스템.
인터랙티브 입력들을 검출하기 위한 장치로서,
사용자 디바이스의 스크린 상의 터치 입력 데이터를 캡쳐하기 위한 수단 ― 상기 터치 입력 데이터는, 상기 사용자 디바이스의 상기 스크린 상에서 수행되는 터치를 나타냄 ―;
상기 터치 입력 데이터에 기초하여 입력 커맨드를 결정하기 위한 수단;
상기 터치 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 작용하기 위한 수단 ― 상기 동작은 상기 사용자 디바이스의 상기 스크린 상의 컨텐츠의 디스플레이에 영향을 줌 ―;
넌-터치 제스처 입력 데이터를 캡쳐하기 위한 수단 ― 상기 제스처 입력 데이터는, 상기 사용자 디바이스의 상기 스크린으로부터 오프셋된 영역에서 수행되는 오프-스크린 제스처를 나타내고, 그리고 상기 제스처 입력 데이터는 상기 결정된 입력 커맨드와 관련됨 ―; 및
상기 결정된 입력 커맨드 및 상기 제스처 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 추가로 작용하기 위한 수단을 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 터치 입력 데이터는 상기 사용자 디바이스의 스크린 상의 타겟 아이템을 식별하고, 그리고
상기 입력 커맨드는, 상기 제스처 입력 데이터에 기초하는 상기 타겟 아이템의 양상의 조정을 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 22 항에 있어서,
상기 입력 커맨드는 상기 타겟 아이템의 가변 조정을 포함하고, 상기 가변 조정은 상기 제스처 입력 데이터로부터 결정되는, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 터치 입력 데이터를 캡쳐하기 위한 수단은, 상기 사용자 디바이스의 스크린 상에서 사용자로부터, 작용받을 원하는 타겟 아이템 상의 터치를 수신하기 위한 수단을 포함하고; 그리고
상기 장치는, 상기 사용자 디바이스의 스크린 상에서의 터치의 릴리스를 검출함으로써, 상기 타겟 아이템이 디스인게이징되었다는 것을 결정하기 위한 수단을 더 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하기 위한 수단은, 오브젝트의 위치 및 움직임을 검출하기 위한 수단을 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 25 항에 있어서,
상기 오브젝트의 움직임은, 상기 사용자 디바이스의 스크린과 실질적으로 동일한 평면에서의 움직임을 더 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하기 위한 수단은, 초음파 기술들, 이미지 또는 비디오 캡쳐링 기술들, 또는 IR 기술들을 통해 상기 장치의 표면 너머에서의 오브젝트를 검출하도록 적응되는 하나 이상의 센서들을 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 결정된 입력 커맨드는, 상기 사용자 디바이스의 상기 스크린 상의 타겟 아이템의 선택을 나타내는 복수의 상이한 타입들의 입력들 중 하나를 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
제 28 항에 있어서,
상기 상이한 타입들의 입력들은, 상기 스크린을 터치하는 손의 제 1 포즈에 의해 생성되는 마우스 우측 클릭(RMC), 또는 상기 스크린을 터치하는 손의 제 2 포즈에 의해 생성되는 마우스 좌측 클릭(LMC) 또는 대체 클릭을 더 포함하고, 상기 제 1 포즈는 상기 제 2 포즈와는 상이한, 인터랙티브 입력들을 검출하기 위한 장치.
제 21 항에 있어서,
상기 넌-터치 제스처 입력 데이터를 캡쳐하기 위한 수단은, 손 포즈 또는 손 모션을 캡쳐하기 위한 수단을 포함하는, 인터랙티브 입력들을 검출하기 위한 장치.
컴퓨터 판독가능 명령들이 저장되는 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 판독가능 명령들은, 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금:
사용자 디바이스의 스크린 상의 터치 입력 데이터를 캡쳐하게 하고 ― 상기 터치 입력 데이터는, 상기 사용자 디바이스의 상기 스크린 상에서 수행되는 터치를 나타냄 ―;
상기 터치 입력 데이터에 기초하여 입력 커맨드를 결정하게 하고;
상기 터치 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 작용하게 하고 ― 상기 동작은 상기 사용자 디바이스의 상기 스크린 상의 컨텐츠의 디스플레이에 영향을 줌 ―;
넌-터치 제스처 입력 데이터를 캡쳐하게 하고 ― 상기 제스처 입력 데이터는, 상기 사용자 디바이스의 상기 스크린으로부터 오프셋된 영역에서 수행되는 오프-스크린 제스처를 나타내고, 상기 제스처 입력 데이터는 상기 결정된 입력 커맨드와 관련됨 ―; 그리고
상기 결정된 입력 커맨드 및 상기 제스처 입력 데이터에 기초하여 상기 사용자 디바이스의 동작에 추가로 작용하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.