KR20150102363A - Apparatus for controlling user interface based on multi-touches, and Method thereof - Google Patents
Apparatus for controlling user interface based on multi-touches, and Method thereof Download PDFInfo
- Publication number
- KR20150102363A KR20150102363A KR1020140024142A KR20140024142A KR20150102363A KR 20150102363 A KR20150102363 A KR 20150102363A KR 1020140024142 A KR1020140024142 A KR 1020140024142A KR 20140024142 A KR20140024142 A KR 20140024142A KR 20150102363 A KR20150102363 A KR 20150102363A
- Authority
- KR
- South Korea
- Prior art keywords
- touch
- pressure
- sensing
- image
- user interface
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명은 멀티 터치 기반 사용자 인터페이스 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 멀티 터치 시 각 터치 압력의 차에 따라 UI를 제어하는 멀티 터치 기반 사용자 인터페이스 제어 장치 및 방법에 관한 것이다.The present invention relates to a multitouch-based user interface control apparatus and method, and more particularly, to a multitouch-based user interface control apparatus and method for controlling a UI according to a difference in touch pressure between multitouches.
현재 터치 감지 스크린을 이용한 많은 개인용 영업용 이동 모바일 디바이스들이 출시되고 있으며, 이와 같은 터치 감지 스크린들은 많은 널이 공지된 소자이고, 이를 이용한 기술들 많이 개발되고 있다. 사용자들은 편리함을 인하여 이와 같은 이동 모바일 디바이스들을 이용하여 자료를 입력하고 수집할 뿐만 아니라, 많은 애플리케이션에 대해 매우 매력적인 통합 방식으로 디바이스들을 이용한다.Currently, many personal mobile mobile devices for business use are being launched using touch-sensitive screens, and many such touch-sensitive screens are well known in the art, and a lot of technologies using them have been developed. For convenience, users are not only using mobile mobile devices to input and collect data, but also use devices in a very attractive and integrated manner for many applications.
초기의 대중적인 터치 감지 디스플레이 스크린들은 한 번에 하나의 터치 위치만을 신뢰성 있게 인식할 수 있었다. 다수의 동시 터치의 존재 시, 이러한 디스플레이 스크린들은 혼란스럽고 예측 불가능할 것이다. 현재, 많은 장치는 여러 개의 동시 터치를 신뢰성 있게 추적하고 사용자가 가하는 전체 압력을 측정할 수 있는 스크린들을 포함한다.Early popular touch-sensitive display screens reliably recognized only one touch location at a time. In the presence of multiple simultaneous touches, these display screens will be confusing and unpredictable. Currently, many devices reliably track multiple simultaneous touches and include screens that can measure the total pressure the user applies.
터치 감지 디스플레이 스크린들의 매력적인 양태들 중 하나는 이들이 적어도 일부 예들에서 더 전통적인 개인용 컴퓨터에서 발견되는 키보드 및 포인팅 장치(예로서, 마우스 또는 트랙볼) 양자를 대체할 수 있다는 것이다.One of the attractive aspects of the touch-sensitive display screens is that they can replace both keyboard and pointing devices (e.g., a mouse or trackball) found in more traditional personal computers in at least some instances.
이것은 키보드가 존재하더라도 너무 작아서 열 손가락 타이핑에 적합하지 않은 스마트폰들과 같은 매우 작은 장치들에 대해 스크린들이 특히 유용하게 한다.This makes the screens particularly useful for very small devices such as smart phones that are too small to be present for ten finger typing because the keyboard is present.
당연히, 터치 감지 스크린들에 대한 사용자 인터페이스 양식들의 개발은 고정 키보드 및 마우스에 의해 개척된 용도들을 따랐다. 사람들은 마우스를 이용하여 디스플레이 스크린 상의 커서를 제어하는 것으로부터 간단히 스크린을 터치하고 자료를 이동할 경우에도 드래그 앤 드롭으로 매우 쉽게 전이한다.Naturally, the development of user interface forms for touch-sensitive screens followed applications pioneered by fixed keyboards and mice. People use the mouse to control the cursor on the display screen, so they can easily touch the screen and transition very easily with drag-and-drop when moving data.
(특허문헌 1) KR2013-0073621 A(Patent Document 1) KR2013-0073621 A
(특허문헌 1) KR2013-0062611 A (Patent Document 1) KR2013-0062611 A
본 발명에서 해결하고자 하는 과제는 멀티 터치를 이용하여 각 터치 압력의 크기 차를 이용하여 UI를 제어하는 멀티 터치 기반 사용자 인터페이스 제어 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a multi-touch-based user interface control apparatus and method for controlling a UI by using a difference in magnitude of each touch pressure using multi-touch.
본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법은 사용자 인터페이스(UI) 제어 방법에 있어서, 정전용량 압력 방식으로 상기 UI 상의 제1 터치에 의한 터치 및 압력을 감지하는 제1 감지 단계; 정전용량 압력 방식으로 상기 UI 상의 제2 터치에 의한 터치 및 압력을 감지하는 제2 감지 단계; 및 상기 제1 터치에 의한 압력과 상기 제2 터치에 의한 압력의 차이에 따라 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향으로 상기 UI 상의 이미지의 움직임 방향을 산출하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a method of controlling a user interface (UI), the method comprising: sensing a touch by a first touch on the UI in a capacitive pressure method; 1 sensing step; A second sensing step of sensing touch and pressure by a second touch on the UI in a capacitive pressure manner; And calculating a movement direction of the image on the UI in a virtual straight line connecting the first touch and the second touch according to a difference between the pressure by the first touch and the pressure by the second touch do.
본 실시예에 있어서, 상기 제1,2 감지 단계의 각각은 상기 터치의 중심과, 상기 압력이 가해진 영역 중 최고 압력점을 산출하는 것이 가능하다. In the present embodiment, it is possible that each of the first and second sensing steps calculates the highest pressure point among the center of the touch and the pressure applied region.
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 틸팅(tilting)속도가 증가하는 것이 가능하다. In the present embodiment, in the movement direction calculating step, it is possible for the tilting speed of the image to be increased in proportion to the difference of the pressure in the direction in which the pressure by each of the first and second touches is large .
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅(tilting)속도가 증가하는 것이 가능하다. In the present embodiment, in the movement direction calculating step, the tilting of the image in proportion to the distance difference between the center of the touched area and the maximum pressure point in a direction in which the pressure of each of the first and second taps is large, it is possible to increase the tilting speed.
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것이 가능하다. In the present embodiment, it is possible to increase the rotational speed of the image in proportion to the difference of the pressure in the direction in which the pressure of each of the first and second touches is large in the movement direction calculating step.
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향과 수직 교차하는 방향으로 상기 이미지가 회전하는 것이 가능하다. In the present embodiment, in the movement direction calculating step, the image may be rotated in a direction perpendicular to a virtual straight line connecting the first touch and the second touch.
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것이 가능하다. In the present embodiment, in the movement direction calculating step, the rotation of the image in proportion to the distance difference between the center of the touched area and the highest pressure point in a direction in which the pressure of each of the first and second taps is large It is possible to increase the speed.
본 실시예에 있어서, 상기 움직임 방향 산출 단계에서는, 상기 압력이 가해진 영역은 상기 터치가 감지된 영역보다 기설정된 허용오차 이상으로 더 넓은 것이 가능하다. In the present embodiment, in the movement direction calculating step, the pressure applied area may be wider than the preset tolerance or more than the predetermined tolerance area.
본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 장치는 사용자 인터페이스(UI) 제어 장치에 있어서, 정전 용량 압력 방식으로 터치를 감지하는 디스플레이; 정전용량 압력 방식으로 상기 UI 상의 제1 터치 및 제2 터치의 각각에 대한 터치 및 압력을 감지하는 터치감지부; 상기 제1 터치에 의한 압력과 상기 제2 터치에 의한 압력의 차이에 따라 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향으로 상기 UI 상의 이미지의 움직임 방향을 산출하는 방향산출부; 및 상기 산출된 움직임 방향으로 상기 이미지가 이동, 틸팅 또는 회전하도록 제어신호를 출력하는 제어부를 포함한다. According to an embodiment of the present invention, there is provided a multi-touch based user interface controller capable of sensing a pressure, the apparatus comprising: a display for sensing a touch by an electrostatic pressure method; A touch sensing unit for sensing a touch and a pressure of each of the first touch and the second touch on the UI in a capacitive pressure manner; A direction calculating unit for calculating a movement direction of the image on the UI in a virtual straight line connecting the first touch and the second touch according to a difference between the pressure by the first touch and the pressure by the second touch; And a control unit for outputting a control signal to move, tilt or rotate the image in the calculated movement direction.
본 실시예에 있어서, 상기 터치감지부는, 상기 제1,2 터치 각각에 의한 터치의 중심과, 상기 압력이 가해진 영역 중 최고 압력점을 산출하는 것이 가능하다. In the present embodiment, the touch sensing unit can calculate the highest pressure point among the center of the touch by the first and second touches and the pressure applied region.
본 실시예에 있어서, 상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시키는 것이 가능하다. In the present embodiment, it is possible for the control section to increase the tilting speed of the image in proportion to the difference of the pressure in the direction in which the pressure of each of the first and second touches is large.
본 실시예에 있어서, 상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시키는 것이 가능하다. In this embodiment, the control unit controls the tilting of the image in proportion to the difference in distance between the center of the touched area and the highest pressure point in a direction in which the pressure of each of the first and second touches is large, It is possible to increase the speed.
본 실시예에 있어서, 상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것이 가능하다. In the present embodiment, it is possible for the controller to increase the rotational speed of the image in proportion to the difference of the pressure in the direction in which the pressure of each of the first and second touches is large.
본 실시예에 있어서, 상기 제어부는, 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향과 수직 교차하는 방향으로 상기 이미지를 회전시키는 것이 가능하다. In the present embodiment, the controller may rotate the image in a direction perpendicular to a virtual straight line connecting the first touch and the second touch.
본 실시예에 있어서, 상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 회전속도를 증가시키는 것이 가능하다. In the present embodiment, the controller may increase the rotation speed of the image in proportion to the distance difference between the center of the touched area and the maximum pressure point in a direction in which the pressure of each of the first and second taps is large .
본 발명의 다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법은 사용자 인터페이스(UI) 제어 방법에 있어서, 정전용량 압력 방식으로 상기 UI 상의 제1 터치에 의한 터치 및 압력을 감지하는 제1 감지 단계; 정전용량 압력 방식으로 상기 UI 상의 제2 터치에 의한 터치 및 압력을 감지하는 제2 감지 단계; 및 상기 제1 터치에 의한 압력에 따라 필요 메뉴를 선택하고, 상기 제2 터치에 의한 터치의 위치 변화에 따라 상기 선택된 메뉴의 세부항목을 조절하는 메뉴 제어단계를 포함한다. According to another aspect of the present invention, there is provided a method of controlling a user interface (UI), the method comprising the steps of: sensing a touch and a pressure by a first touch on the UI 1 sensing step; A second sensing step of sensing touch and pressure by a second touch on the UI in a capacitive pressure manner; And a menu control step of selecting a necessary menu according to the pressure of the first touch and adjusting a detailed item of the selected menu according to a change of a position of the touch by the second touch.
본 실시예에 있어서, 상기 메뉴 제어단계는, 상기 선택된 메뉴가 음량 조절 메뉴인 경우, 상기 감지된 압력에 따라, 전체 음량을 조절하는 음량 조절 모드, 저음의 음량을 저음 조절 모드, 고음의 음량을 조절하는 고음 조절 모드가 순차적으로 선택되는 것이 가능하다. In the present embodiment, the menu control step may include a volume control mode for adjusting the overall volume according to the sensed pressure when the selected menu is a volume control menu, a volume control mode for adjusting the volume of the bass to a bass control mode, It is possible to sequentially select the treble control mode to be adjusted.
본 실시예에 있어서, 상기 메뉴 제어단계는, 상기 음량 조절 모드, 상기 저음 조절 모드, 상기 고음 조절 모드 각각에 대응되는 압력의 범위는 상호 겹치지 않고 일정한 압력의 차이를 가지는 것이 가능하다. In the present exemplary embodiment, the menu control step may include a pressure difference corresponding to each of the volume control mode, the bass control mode, and the treble control mode, and may have a constant pressure difference without overlapping each other.
본 실시예에 있어서, 상기 메뉴 제어단계는, 상기 제2 터치가 일방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 증가시키고, 상기 일방향의 반대 방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 감소시키는 것이 가능하다. In the present embodiment, the menu control step increases the volume in each of the selected modes when the second touch rotates in one direction, and increases the volume in each selected mode when the second touch rotates in the opposite direction of the one direction It is possible to reduce it.
본 실시예에 있어서, 상기 메뉴 제어단계는, 상기 제2 터치가 해제되거나 상기 제1 터치의 압력이 변하는 경우, 상기 제2 터치에 의하여 증가 또는 감소된 음량이 확정되는 것이 가능하다.In this embodiment, in the menu control step, when the second touch is released or the pressure of the first touch is changed, it is possible that the volume increased or decreased by the second touch is fixed.
본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 장치 및 방법은 멀티 터치 각각에 의하여 감지된 압력의 크기 차이에 따라 디스플레이 상의 3차원 이미지의 회전, 이동, 기울기 등을 간편하고 용이하게 조작할 수 있다. According to an embodiment of the present invention, an apparatus and method for controlling a multi-touch based user interface capable of sensing pressure can easily rotate, move, and tilt a three-dimensional image on a display according to a magnitude of a pressure sensed by each multi- It can be easily operated.
본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 장치 및 방법은 멀티 터치 각각에 의하여 감지된 압력의 크기 차이에 따라 디스플레이 상에 Knob 기능을 간편하고 용이하게 수행할 수 있다.The apparatus and method for controlling a multi-touch based user interface according to an embodiment of the present invention can easily and easily perform a knob function on a display according to a magnitude of a pressure sensed by each of the multi-touches.
도 1은 본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스(UI, User Interface) 제어 장치의 블록도이고,
도 2는 본 발명의 일실시예에 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법의 순서도이고,
도 3은 다른 실시예에 따른 틸팅 및 회전 속도 산출 방법의 순서도이고,
도 4(a) 내지 (e)는 본 발명의 압력감지가 가능한 멀티터치 기반 사용자 인터페이스(UI, user interface) 제어 시 터치 감지 정도를 도식화한 것이고,
도 5(a)와 (b)는 본 발명의 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법에 따라 이미지를 회전 방향을 판단하는 방법의 상세도이고,
도 6은 본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법 운용시 각 단일 터치에 대한 틸팅 및 회전 속도 산출 방법의 상세도이고,
도 7은 본 발명의 다른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법의 순서도이고,
도 8(a) 내지 도 9(c)는 본 발명의 다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법이 적용된 음원용 Knob 조절 방법의 상세도이고,
도 10은 본 발명의 또다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스가 적용된 두 손가락으로 확대/미리보기 한 후 압력으로 임시위치 고정하는 방법을 도시한 것이다.1 is a block diagram of a pressure-sensitive multi-touch based user interface (UI) control apparatus according to an exemplary embodiment of the present invention,
2 is a flowchart of a multi-touch based user interface control method capable of pressure sensing in an embodiment of the present invention,
3 is a flowchart of a tilting and rotating speed calculating method according to another embodiment,
4 (a) to 4 (e) are graphical representations of the degree of touch sensing when controlling a multi-touch based user interface (UI) capable of pressure sensing according to the present invention,
5 (a) and 5 (b) are detailed views of a method for determining the direction of rotation of an image according to the multi-touch-based user interface control method of the present invention,
FIG. 6 is a detailed view of a tilting and rotating speed calculating method for each single touch when operating the multi-touch based user interface control method capable of pressure sensing according to an embodiment of the present invention,
7 is a flowchart of another pressure-sensitive multi-touch based user interface control method of the present invention,
8 (a) through 9 (c) are detailed views of a knob control method for a sound source, to which a multi-touch based user interface control method capable of pressure sensing according to another embodiment of the present invention is applied,
10 is a view illustrating a method of enlarging / previewing using two fingers to which a pressure-sensitive multi-touch based user interface according to another embodiment of the present invention is applied, and then temporarily fixing the position with pressure.
이하의 실시예들은 본 발명의 구성 요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성 요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성 요소 또는 특징은 다른 구성 요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성 요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.The following embodiments are a combination of elements and features of the present invention in a predetermined form. Each component or characteristic may be considered optional unless otherwise expressly stated. Each component or feature may be implemented in a form that is not combined with other components or features. In addition, some of the elements and / or features may be combined to form an embodiment of the present invention. The order of the operations described in the embodiments of the present invention may be changed. Some configurations or features of certain embodiments may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments.
본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.Embodiments of the present invention may be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.For a hardware implementation, the method according to embodiments of the present invention may be implemented in one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs) , Field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. The software code can be stored in a memory unit and driven by the processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various well-known means.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only a case directly connected but also a case where the part is electrically connected with another part in between. In addition, when a part includes an element, it means that the element may include other elements, not excluding other elements, unless specifically stated otherwise.
또한, 본 명세서에서 기재한 모듈(module)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현할 수 있다.Also, the term module as used herein refers to a unit for processing a specific function or operation, which can be implemented by hardware, software, or a combination of hardware and software.
이하의 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not intended to limit the scope of the invention.
본 발명의 실시예들에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 장치 및 방법은 압력감지가 가능한 디스플레이를 구비한 전자장치들에 적용될 수 있다. 대표적인 개인용 전자 장치로는, 셀룰러 전화, 개인 휴대 단말기 또는 개인용 컴퓨터 등이 있다. 이들 개인용 단말기에 장착되는 디스플레이는 더욱더 사용자들에게 편이성을 제공하기 직관적이고 사용자 편이성이 높은 사용자 인터페이스(User Interface, UI)를 제공하고 있다. The multi-touch based user interface control apparatus and method capable of pressure sensing according to embodiments of the present invention can be applied to electronic devices having a display capable of pressure sensing. Representative personal electronic devices include cellular telephones, personal digital assistants, or personal computers. The displays mounted on these personal terminals are provided with an intuitive and user-friendly user interface (UI) to further provide convenience to users.
디스플레이는 다양한 방식으로 터치를 인식하여 사용자가 간편하게 이들 전자 장치를 조작할 수 있는데, 압력으로만 터치를 감지하는 방식, 정전용량의 변화를 통하여 터치 여부만 감지하는 방식이 사용되었었다. The display recognizes the touch in various ways so that the user can easily operate the electronic device. A method of sensing the touch only by the pressure and a method of sensing only the touch by the change of the capacitance have been used.
최근에는 디스플레이 상의 터치뿐만 아니라 터치시의 압력도 함께 감지할 수 있는 정전용량 압력 방식의 기술들이 개발되고 있다. 이와 같은 정전용량 압력 방식의 디스플레이는 터치 시의 정정용량의 변화량에 기초하여 단순 터치뿐만 아니라 압력의 크기를 감지하는 방식과, 압력감지 시에는 별도의 압력 감지센서를 이용하여 단순 터치뿐만 아니라 압력의 크기도 감지하는 방식 등이 개발되었다.In recent years, capacitive pressure-type technologies capable of sensing not only the touch on the display but also the pressure at the time of touch are being developed. Such a capacitive pressure type display uses not only a simple touch but also a method of sensing the magnitude of the pressure based on the amount of change of the correcting capacity at the time of touching and a method of sensing a pressure by using a pressure sensor And a method of detecting the size were developed.
정정용량식 또는 정전식으로 터치를 감지하는 방법은 손가락이 닿은 디스플레이나 스크린 상의 정전용량의 변화를 감지하여 그 감지 영역의 중심을 터치의 중심으로 인지한다. A method of detecting a touch by a correction capacitance type or an electrostatic type detects a change in capacitance on a display or a screen touching the finger and recognizes the center of the sensing area as the center of the touch.
본 발명자는 가장 높은 압력이 측정된 점과 손가락이 닿은 영역의 중심점은 동일하지 않고 차이가 발생할 수 있고, 사용자가 방향성을 가지고 힘을 가하게 되면 의도하는 방향으로 더욱 큰 힘이 가해지게 되는 점에 착안하여, 사용자가 의도한 방향으로 이동, 기울기, 회전 등을 가능하게 하는 제스쳐 UI를 개발하게 되었다.The present inventors have found that the point at which the highest pressure is measured and the center point of the area where the finger is contacted are not the same and a difference may occur and that when a user applies a force with directionality, To develop a gesture UI capable of moving, tilting, rotating, etc. in a user's intended direction.
이하 본 발명의 실시예들에서는 정정용량의 변화량에 기초하여 단순 터치 및 압력의 크기를 감지할 수 있는 정전용량 압력 방식을 기초로 실시예들이 설명된다.
Hereinafter, embodiments of the present invention will be described on the basis of a simple touch based on a change amount of a correction capacitance and a capacitance pressure method capable of sensing a magnitude of a pressure.
도 1은 본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스(UI, User Interface) 제어 장치의 블록도이고, 도 2는 본 발명의 일실시예에 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법의 순서도이고, 도 3은 다른 실시예에 따른 틸팅 및 회전 속도 산출 방법의 순서도이고, 도 4(a) 내지 (e)는 본 발명의 압력감지가 가능한 멀티터치 기반 사용자 인터페이스(UI, user interface) 제어 시 터치 감지 정도를 도식화한 것이고, 도 5(a)와 (b)는 본 발명의 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법에 따라 이미지를 회전 방향을 판단하는 방법의 상세도이고, 도 6은 본 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법 운용시 각 단일 터치에 대한 틸팅 및 회전 속도 산출 방법의 상세도이고, 도 7은 본 발명의 다른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법의 순서도이고, 도 8(a) 내지 도 9(c)는 본 발명의 다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법이 적용된 음원용 Knob 조절 방법의 상세도이고, 도 10은 본 발명의 또다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스가 적용된 두 손가락으로 확대/미리보기 한 후 압력으로 임시위치 고정하는 방법을 도시한 것이다.
FIG. 1 is a block diagram of a multi-touch based user interface (UI) control apparatus capable of pressure sensing according to an exemplary embodiment of the present invention. FIG. 2 is a block diagram of a multi- FIG. 3 is a flowchart of a tilting and rotation speed calculating method according to another embodiment. FIGS. 4 (a) to 4 (e) 5 (a) and 5 (b) are graphs showing the degree of touch sensing in the control of the user interface, and FIGS. 5 FIG. 6 is a flowchart illustrating a tilting and rotation speed calculation for each single touch when operating the multi-touch based user interface control method capable of pressure sensing according to an exemplary embodiment of the present invention. 7 is a flowchart of another pressure-sensitive multi-touch based user interface control method according to the present invention. FIGS. 8 (a) to 9 (c) FIG. 10 is a detailed view of a knob adjustment method for a sound source to which a multi-touch based user interface control method capable of multi-touch based user interface is applied. FIG. And a temporary position is fixed by the pressure.
이하, 도 1 내지 도 6을 참조하여 발명의 일실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스(UI, User Interface) 제어 장치 및 방법을 상세히 설명한다. Hereinafter, a multi-touch based user interface (UI) control apparatus and method capable of pressure sensing according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6. FIG.
도 1 내지 도 3을 참조하면, 멀티 터치 기반 UI 제어 장치(100)는 정전 용량압력 방식의 디스플레이(110), 상기 디스플레이 상의 멀티 터치를 감지하는 터치감지부(120), 멀티터치 간의 압력차에 근거하여 터치된 이미지의 움직임 방향을 산출하는 방향산출부(130), 산출된 방향, 기울기, 회전 방향에 따라 이미지 또는 메뉴선택을 제어하는 제어부(140)를 포함한다. 여기서, 상기 이미지는 3차원 이미지일 수 있다. 1 to 3, the multi-touch based
터치감지부(120)는 상기 디스플레이 상에 표시된 이미지에 대한 제1 터치와 제2 터치의 각각에 대한 터치 및 압력을 정정용량 압력 방식으로 감지할 수 있다(S110,S120). 터치감지부(120)는, 상기 제1,2 터치 각각에 대하여 상기 터치의 중심과 상기 압력이 가해진 영역 중 최고 압력점을 산출할 수 있다(S210,S220). The
방향산출부(130)는 상기 제1 터치에 의한 제1 압력과 상기 제2 터치에 의한 제2 압력의 차이에 따라 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향으로 상기 이미지의 움직임 방향을 산출할 수 있다(S130). 여기서, 상기 이미지는 3차원 이미지일 수 있다. The
제어부(140)는, 상기 제1,2 터치의 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시킬 수 있다(S130). 제어부(140)는, 상기 제1,2 터치의 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시키는 것이 가능하다(S240). The
제어부(140)는, 상기 제1,2 터치의 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 회전속도를 증가시키는 것이 가능하다(S140). 제어부(140)는, 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향과 수직으로 교차하는 방향으로 상기 이미지를 회전시킬 수 있다(S140). The
제어부(140)는, 상기 제1,2 터치의 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 회전속도를 증가시키는 것이 가능하다. 제어부(140)는, 상기 제1,2 터치의 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅속도를 증가시키는 것이 가능하다(S240).
The
도 4(a) 내지 (d)를 참조하면, 정전식 터치의 중심을 중점으로 하는 원을 터치의 포인트로 인식하고, 그 중점의 외곽에 터치 후 부가되는 압력의 강도만큼 큰 원을 테두리만 표시한다. 여기서, 상기 압력이 가해진 이후의 터치를 P-터치라고 칭한다. 이하에서, 정전식 터치란 압력이 가해지지 않은 단순 터치를 의미한다. 4 (a) to 4 (d), a circle centered on the center of the electrostatic touch is recognized as a point of touch, and a circle having a larger magnitude of the pressure applied after touching do. Here, the touch after the application of the pressure is referred to as a P-touch. Hereinafter, the electrostatic touch refers to a simple touch in which no pressure is applied.
도 4(a)는 전혀 터치를 인식하지 않은 상태이고, (b)는 단지 정전식 터치만 감지된 상태이고, (c)는 정전식 터치 감지 후 압력이 가해져 P-터치도 감지되었으나 약한 압력으로 감지된 상태이고, (d)는 정전식 터치 및 P-터치가 모두 감지되었으나 높은 압력으로 감지된 상태를 도시하고 있다. P-터치의 압력범위가 일정 값이하인 경우에는 손가락 등의 물체가 디스플레이에 터치되지 않은 것으로 인식한다.
4 (a) is a state in which no touch is recognized at all, (b) is a state in which only a static touch is detected, (c) is a state in which a pressure is applied after sensing the electrostatic touch and a P- (D) shows a state in which both of the electrostatic touch and the P-touch are sensed but is sensed at a high pressure. When the pressure range of the P-touch is less than a predetermined value, it is recognized that an object such as a finger is not touched on the display.
도 5(a) 및 (b)를 참조하여, 멀티터치 기반 UI 제어 시 터치된 두 손가락의 압력차를 이용한 3차원 이미지의 회전 또는 틸팅 방법을 상세히 설명한다. 5 (a) and 5 (b), a method of rotating or tilting a three-dimensional image using the pressure difference between two touched fingers in the multi-touch based UI control will be described in detail.
도 5(a)는 실제 UI 상에서 두 손가락으로 터치하게 되는 장면을 도시한 것이고, 도 5(b)는 도 5(a)에서 엄지손가락과 검지손가락 각각의 터치에 압력을 감지한 정도를 표시한 것이다. 도 5(a) 및 (b)에서는 대해서 검지손락에 의한 터치의 압력이 엄지손가락에 의한 터치의 압력보다 크며, 터치된 3차원 이미지는 검지손가락에서 엄지손가락 방향으로 회전하거나 틸팅된다. 즉, 두 손가락을 스크린에 터치한 후 각 손가락에 가해지는 압력값을 비교하여 압력이 높은 쪽으로 3차원 공간을 기울이는(tilting) 기능을 수행한다.5 (a) shows a scene in which two fingers are touched on the actual UI, and FIG. 5 (b) shows a degree of sensing the pressure in the touch of each of the thumb and index fingers in FIG. 5 will be. In FIGS. 5A and 5B, the pressure of the touch due to the index finger is larger than the pressure of the thumb, and the touched three-dimensional image is rotated or tilted from the index finger to the thumb. That is, the two-finger touches the screen and then compares the pressure applied to each finger, thereby performing a function of tilting the three-dimensional space toward the higher pressure.
3차원 이미지를 회전시키는 경우, 두 손가락이 스크린에 닿은 두 점을 잇는 선과 수직이 되는 선을 회전축으로 인식한다. 두 손가락의 압력차를 비교하여 압력이 높은 쪽으로 3차원 평면을 기울어지게 한다. 세부적으로는, 두 손가락의 압력 차가 클수록 시간당 기울어지는 각도의 변화량이 많아진다. 즉, 강하게 누르면 더 빨리 기울어진다.
When a three-dimensional image is rotated, two fingers perceive the line connecting the two points touching the screen as a line perpendicular to the axis of rotation. Comparing the pressure differentials of two fingers, the three-dimensional plane is tilted toward higher pressure. Specifically, the larger the pressure difference between the two fingers, the greater the amount of change in the angle of inclination per time. That is, when pressed strongly, it tilts faster.
이하에서는 도 3 및 6을 참조하여, 멀티터치의 각 터치 중 압력이 높은 터치, 즉 3차원 이미지의 회전 또는 틸팅 방향을 결정하는 터치에 대하여 터치 및 압력 두 가지를 모두 감지하여 3차원 이미지의 회전 및 틸팅 속도를 제어하는 과정을 상세히 설명하겠다. Hereinafter, referring to FIGS. 3 and 6, it is assumed that both touches and pressures are detected with respect to a touch that determines a high-pressure touch, that is, a rotation or tilting direction of a three-dimensional image, And controlling the tilting speed will be described in detail.
사용자의 손가락을 디스플레이(110)에 터치한 후 터치한 영역을 바꾸지 않은 상태에서, 동일한 손가락에 가하는 압력의 방향을 변화하여 방향이나 기울기를 설정할 수 있다. 사용자는 손가락을 디스플레이(110)에 터치한 상태에서 그 위치를 바꾸지 않는다. 방향산출부(130)는 정전식으로 터치를 감지한 영역의 중심점을 기준으로 압력 최고점의 위치를 비교하여 최고 압력점 쪽으로 이동 방향 또는 기울기를 산출한다. 방향산출부(130)는 사용자가 가하고 있는 압력의 정도로 시간당 기울어지는 각도의 변화량을 조절한다. 즉, 강하게 누르면 터치된 이미지가 더 빨리 이동하거나 기울어진다. 정전식 터치의 중심점에서 최고 압력점이 멀리 떨어져 있는 경우에도 거리에 비례하여 더 빨리 이동하거나 기울어진다.It is possible to set the direction or the inclination by changing the direction of the pressure applied to the same finger in a state in which the user's finger is touched on the
단일 터치, 즉 하나의 손가락으로 누르는 힘이 강해지거나 압력 포인트의 상대위치가 멀어지면, 터치감지부(120)는 더 강한 입력값으로 인식한다. 또한, 단일 터치의 감지로 이동방향이나 기울기를 산출하는 기술은, 간단히 스크롤 업/다운이나 캠코더의 줌-인/아웃(zoom-in/out) 기능으로 사용할 수 있다.When a single touch, that is, the force of pressing with one finger, becomes stronger or the relative position of the pressure point is distant, the
사용자는 손가락이 디스플레이(110)에 닿은 위치를 바꾸지 않고도 이미지를 원하는 방향으로 회전시킬 수 있다. 우선, 터치감지부(120)는 정전식 터치가 발생한 영역의 중심점과 압력 최고점의 위치를 감지하고, 방향산출부(130)는 상기 영역의 중심점과 압력 최고점의 위치를 기초로 상대적인 방향을 감지한다. 제어부(140)는 압력이 높은 쪽의 터치에 대하여 방향산출부(130)가 산출한 정전식 터치 영역의 중심점과 압력 최고점 간의 거리차에 비례하여 터치된 3차원 이미지의 틸팅 또는 회전 속도를 증가시킨디다.
The user can rotate the image in a desired direction without changing the position at which the finger touches the
도 7 내지 9(c)을 참조하여, 다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 UI 제어 방법을 상세히 설명한다. 7 to 9 (c), a multi-touch based UI control method capable of pressure sensing according to another embodiment will be described in detail.
다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법은 사용자 인터페이스(UI) 제어 방법에 있어서, 정전용량 압력 방식으로 상기 UI 상의 제1 터치에 의한 터치 및 압력을 감지하는 제1 감지 단계(S310); 정전용량 압력 방식으로 상기 UI 상의 제2 터치에 의한 터치 및 압력을 감지하는 제2 감지 단계(S320); 및 상기 제1 터치에 의한 압력에 따라 필요 메뉴를 선택하고, 상기 제2 터치에 의한 터치의 위치 변화에 따라 상기 선택된 메뉴의 세부항목을 조절하는 메뉴 제어단계(S330)를 포함한다. According to another aspect of the present invention, there is provided a method of controlling a user interface (UI), the method comprising: a first sensing step of sensing touch and pressure by a first touch on the UI in an electrostatic capacity pressure manner; (S310); A second sensing step (S320) of sensing touch and pressure by a second touch on the UI in a capacitive pressure manner; And a menu control step (S330) of selecting a necessary menu according to the pressure by the first touch and adjusting a detailed item of the selected menu according to a change of a position of the touch by the second touch.
메뉴 제어단계(S330)는, 상기 선택된 메뉴가 음량 조절 메뉴인 경우, 상기 감지된 압력에 따라, 전체 음량을 조절하는 음량 조절 모드, 저음의 음량을 저음 조절 모드, 고음의 음량을 조절하는 고음 조절 모드가 순차적으로 선택되는 것이 가능하다. 이 경우, 메뉴 제어단계(S330)에서는, 상기 음량 조절 모드, 상기 저음 조절 모드, 상기 고음 조절 모드 각각의 상기 기준범위는 상호 겹치지 않고 일정한 압력의 차이를 가지는 것이 가능하다. If the selected menu is a volume control menu, the menu control step S330 may include a volume control mode for adjusting the overall volume according to the sensed pressure, a bass control mode for controlling the volume of the bass, a treble control for adjusting the volume of the treble Mode can be sequentially selected. In this case, in the menu control step (S330), the reference ranges of the volume control mode, the bass control mode, and the treble control mode may have a constant pressure difference without overlapping each other.
본 발명의 일실시예에 따른 다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 UI 제어 방법은 일반적인 메뉴 선택제어에 적용될 수 있으나, 본 실시예에서는 음원제어를 중심으로 상세히 설명한다. The multi-touch based UI control method according to another embodiment of the present invention can be applied to general menu selection control, but the present invention will be described in detail with reference to a sound source control in the present embodiment.
도 9(a)에서는 제1 기준범위의 P-터치가 1~3 사이의 값을 갖고, 도 9(b)에서는 제2 기준범위의 P-터치가 4~6 사이의 값을 갖도록 설정되었음을 보여준다. 도 9(c)에서는 제2 기준범위의 P-터치에 의하여 저음 조절 모드가 선택되고, 엄지손가락의 해제, 또는 손가락의 이동에 의하여 저음 조절 모드가 확정된 것을 도시하고 있다. In FIG. 9A, the P-touch in the first reference range has a value between 1 and 3, and in FIG. 9B, the P-touch in the second reference range has a value between 4 and 6 . In FIG. 9 (c), the bass control mode is selected by the P-touch in the second reference range, and the bass control mode is determined by releasing the thumb or moving the finger.
본 실시예에서는 각 기준범위가 버퍼 영역없이 나누어져 있으나, 각 기준범위가 일정 구간의 버퍼링 영역을 갖는 것도 가능하다. 예를 들면 제1 기준범위는 P-터치가 1~3 사이의 값을 갖고, 제2 기준범위는 5~6 사이의 값을 갖도록 하고, 현재 음량 조절 모드인 경우라면, P-터치의 값이 4를 갖는 경우에는 음량 조절 모드가 그대로 유지되는 것으로 한다. 이 경우에는 작은 오차에 의하여 선택 모드가 바뀌는 것을 방지할 수 있다. In the present embodiment, each reference range is divided without a buffer area, but it is also possible that each reference range has a buffering area of a certain interval. For example, in the first reference range, the P-touch has a value between 1 and 3, and the second reference range has a value between 5 and 6. If the current volume adjustment mode is selected, the value of the P- 4, the volume control mode is maintained as it is. In this case, it is possible to prevent the selection mode from being changed by a small error.
메뉴 제어단계(S330)에서는, 상기 제2 터치가 일방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 증가시키고, 상기 일방향의 반대 방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 감소시키는 것이 가능하다. 상기 제2 터치가 해제되거나 상기 제1 터치의 압력이 변하는 경우, 상기 제2 터치에 의하여 증가 또는 감소된 음량이 확정된다(S340). In the menu control step S330, when the second touch rotates in one direction, the volume is increased in each of the selected modes, and when it rotates in the opposite direction to the one direction, the volume can be decreased in each selected mode Do. When the second touch is released or the pressure of the first touch is changed, a volume increased or decreased by the second touch is determined (S340).
더욱 상세하게는, 도 9(a) 내지 (c)에 도시된 바와 같이 검지손가락을 버튼 영역에 터치한다. 검지손가락이 누르는 압력의 정도에 따라 설정할 항목이 바뀐다. 예를 들면, 터치만 하듯 살짝 누를 때는 전체 음량조절, 중간압력으로 누를 때는 저음 조절, 높은 압력으로 누를 때는 고음 조절로 음원조절 모드를 선택할 수 있다도 9(a) 및 (c)에 도시된 바와 같이, 터치하고 있는 검지손가락을 축으로 엄지손가락을 회전 시켜서 설정값을 조절한다. 예를 들면, 시계방향은 설정값의 증가, 반시계방향은 설정값의 감소로 설정할 수 있고, 엄지손가락을 스크린에서 떼거나 검지 손가락의 압력값이 바뀌면 설정값이 확정되는 것으로 설정할 수 있다. 검지손가락의 압력 정도에 따라 바뀌는 항목은 시각적 표현을 해주어야 하며 사용자가 쉽게 구분할 수 있을 정도의 압력값의 차이가 있어야 한다. 엄지손가락의 회전으로 얻어지는 설정값의 변화는 시각적 표현을 해주어야 한다.More specifically, the index finger is touched to the button area as shown in Figs. 9 (a) to 9 (c). The item to be set changes according to the degree of pressure the index finger presses. For example, it is possible to select the sound source control mode by adjusting the overall volume when a touch is touched, the bass sound when pressing with an intermediate pressure, and the treble sound when pressing with a high pressure. FIG. 9A and FIG. Likewise, adjust the setting value by rotating the thumb with the index finger being touched. For example, the clockwise direction can be set to increase the setting value, the counterclockwise direction to be set to a decrease, and the setting value can be set to be determined when the thumb is released from the screen or the pressure value of the index finger is changed. The items to be changed according to the pressure of the index finger should be visualized and there should be a difference in the pressure value so that the user can easily distinguish it. The change of the set value obtained by rotation of the thumb should be visualized.
도 10(a) 내지 (c)를 참조하여, 본 발명의 또다른 실시예에 따른 압력감지가 가능한 멀티터치 기반 사용자 인터페이스 제어 방법으로서, 두 손가락으로 확대/미리보기 한 후 압력으로 임시위치 고정하는 방법을 설명한다. 10 (a) to 10 (c), a pressure-sensitive multi-touch based user interface control method according to another embodiment of the present invention is characterized by comprising: Explain the method.
두 손가락을 벌리는 제스쳐(pinch in)로 쌓여있는 파일이나 사진 등을 펼쳐본다. 이 때 손을 떼면 펼쳐졌던 아이템은 다시 원래의 위치로 돌아온다. 이 때 두 손가락에 일정 값 이상의 압력을 주어 누르면 펼쳐진 상태가 고정이 된다. 펼쳐져 있는 아이템들을 옮기거나 삭제하는 등의 편집기능을 수행할 수 있다. 펼쳐져 있는 아이템에서 압력을 주어 두 손가락으로 오므리는 제스쳐(pinch out)를 취하면 다시 원래의 위치/형태로 돌아온다.
Unfold the files or photos piled up with pinch in two fingers. When you release your hand, the item that was unfolded returns to its original position. At this time, when the pressure applied to both fingers is higher than a predetermined value, the unfolded state is fixed. You can perform editing functions such as moving or deleting expanded items. Pressing on the unfolded item causes the two fingers to take a pinch out and return to their original position / shape.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention. In addition, claims that do not have an explicit citation in the claims may be combined to form an embodiment or included in a new claim by amendment after the application.
110 : 디스플레이
120 : 터치감지부
130 : 방향산출부
140 : 제어부 110: Display
120: Touch sensing unit
130:
140:
Claims (20)
정전용량 압력 방식으로 상기 UI 상의 제1 터치에 의한 터치 및 압력을 감지하는 제1 감지 단계;
정전용량 압력 방식으로 상기 UI 상의 제2 터치에 의한 터치 및 압력을 감지하는 제2 감지 단계; 및
상기 제1 터치에 의한 압력과 상기 제2 터치에 의한 압력의 차이에 따라 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향으로 상기 UI 상의 이미지의 움직임 방향을 산출하는 단계
를 포함하는 멀티 터치 기반 사용자 인터페이스 제어 방법. A method of controlling a user interface (UI)
A first sensing step of sensing touch and pressure by a first touch on the UI in an electrostatic capacity pressure manner;
A second sensing step of sensing touch and pressure by a second touch on the UI in a capacitive pressure manner; And
Calculating a movement direction of an image on the UI in a virtual straight line connecting the first touch and the second touch according to a difference between the pressure by the first touch and the pressure by the second touch,
Based user interface control method.
상기 제1,2 감지 단계의 각각은
상기 터치의 중심과, 상기 압력이 가해진 영역 중 최고 압력점을 산출하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. The method according to claim 1,
Each of the first and second sensing steps
Wherein a center of the touch and a highest pressure point among the areas to which the pressure is applied are calculated.
상기 움직임 방향 산출 단계에서는,
상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 틸팅(tilting)속도가 증가하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 3. The method according to claim 1 or 2,
In the moving direction calculating step,
Wherein the tilting speed of the image is increased in proportion to a difference between the pressures of the first and second touches in a direction in which the pressure is large.
상기 움직임 방향 산출 단계에서는,
상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅(tilting)속도가 증가하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 3. The method of claim 2,
In the moving direction calculating step,
Wherein a tilting speed of the image is increased in proportion to a difference in distance between a center of the touched area and a maximum pressure point in a direction in which a pressure of each of the first and second taps is large. Based user interface control method.
상기 움직임 방향 산출 단계에서는,
상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 3. The method according to claim 1 or 2,
In the moving direction calculating step,
Wherein the rotation speed of the image is increased in proportion to the difference of the pressure in a direction in which a pressure of each of the first and second touches is large.
상기 움직임 방향 산출 단계에서는,
상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향과 수직 교차하는 방향으로 상기 이미지가 회전하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 6. The method of claim 5,
In the moving direction calculating step,
Wherein the image is rotated in a direction perpendicular to a virtual straight line connecting the first touch and the second touch.
상기 움직임 방향 산출 단계에서는,
상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 3. The method of claim 2,
In the moving direction calculating step,
Wherein the rotation speed of the image is increased in proportion to a distance difference between the center of the touched area and the maximum pressure point in a direction in which a pressure of each of the first and second taps is large, Control method.
상기 움직임 방향 산출 단계에서는,
상기 압력이 가해진 영역은 상기 터치가 감지된 영역보다 기설정된 허용오차 이상으로 더 넓은 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 3. The method of claim 2,
In the moving direction calculating step,
Wherein the area where the pressure is applied is wider than the predetermined tolerance than the area where the touch is sensed.
정전 용량 압력 방식으로 터치를 감지하는 디스플레이;
정전용량 압력 방식으로 상기 UI 상의 제1 터치 및 제2 터치의 각각에 대한 터치 및 압력을 감지하는 터치감지부;
상기 제1 터치에 의한 압력과 상기 제2 터치에 의한 압력의 차이에 따라 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향으로 상기 UI 상의 이미지의 움직임 방향을 산출하는 방향산출부; 및
상기 산출된 움직임 방향으로 상기 이미지가 이동, 틸팅 또는 회전하도록 제어신호를 출력하는 제어부
를 포함하는 멀티 터치 기반 사용자 인터페이스 제어 장치. A user interface (UI) control device,
A display for sensing the touch by the capacitive pressure method;
A touch sensing unit for sensing a touch and a pressure of each of the first touch and the second touch on the UI in a capacitive pressure manner;
A direction calculating unit for calculating a movement direction of the image on the UI in a virtual straight line connecting the first touch and the second touch according to a difference between the pressure by the first touch and the pressure by the second touch; And
And outputs a control signal to move, tilt, or rotate the image in the calculated movement direction,
Based user interface control device.
상기 터치감지부는, 상기 제1,2 터치 각각에 의한 터치의 중심과, 상기 압력이 가해진 영역 중 최고 압력점을 산출하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 10. The method of claim 9,
Wherein the touch sensing unit calculates a maximum pressure point among a center of a touch by the first and second touches and an area where the pressure is applied.
상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시키는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 11. The method according to claim 9 or 10,
Wherein the controller increases the tilting speed of the image in proportion to the difference of the pressure in a direction in which the pressure of each of the first and second touches is large.
상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 틸팅(tilting)속도를 증가시키는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 12. The method of claim 11,
The controller increases the tilting speed of the image in proportion to the difference in distance between the center of the touched area and the maximum pressure point in a direction in which the pressure of each of the first and second taps is large Based user interface control device.
상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 압력의 차이에 비례하여 상기 이미지의 회전속도가 증가하는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 11. The method according to claim 9 or 10,
Wherein the control unit increases the rotational speed of the image in proportion to a difference between the pressures of the first and second touches in a direction in which the pressure is large.
상기 제어부는, 상기 제1 터치와 상기 제2 터치를 연결하는 가상의 직선 방향과 수직 교차하는 방향으로 상기 이미지를 회전시키는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 14. The method of claim 13,
Wherein the controller rotates the image in a direction perpendicular to a virtual straight line connecting the first touch and the second touch.
상기 제어부는, 상기 제1,2 터치 각각에 의한 압력 중 압력이 큰 방향으로 상기 터치된 영역의 중심과 상기 최고 압력점의 거리 차이에 비례하여 상기 이미지의 회전속도를 증가시키는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 장치. 11. The method of claim 10,
Wherein the control unit increases the rotation speed of the image in proportion to a distance difference between a center of the touched area and a maximum pressure point in a direction in which a pressure of each of the first and second taps is large, A touch-based user interface control device.
정전용량 압력 방식으로 상기 UI 상의 제1 터치에 의한 터치 및 압력을 감지하는 제1 감지 단계;
정전용량 압력 방식으로 상기 UI 상의 제2 터치에 의한 터치 및 압력을 감지하는 제2 감지 단계; 및
상기 제1 터치에 의한 압력에 따라 필요 메뉴를 선택하고, 상기 제2 터치에 의한 터치의 위치 변화에 따라 상기 선택된 메뉴의 세부항목을 조절하는 메뉴 제어단계
를 포함하는 멀티 터치 기반 사용자 인터페이스 제어 방법. A method of controlling a user interface (UI)
A first sensing step of sensing touch and pressure by a first touch on the UI in an electrostatic capacity pressure manner;
A second sensing step of sensing touch and pressure by a second touch on the UI in a capacitive pressure manner; And
A menu control step of selecting a necessary menu according to the pressure of the first touch and adjusting a detailed item of the selected menu according to a change of a position of the touch by the second touch,
Based user interface control method.
상기 메뉴 제어단계는,
상기 선택된 메뉴가 음량 조절 메뉴인 경우,
상기 감지된 압력에 따라, 전체 음량을 조절하는 음량 조절 모드, 저음의 음량을 저음 조절 모드, 고음의 음량을 조절하는 고음 조절 모드가 순차적으로 선택되는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 17. The method of claim 16,
Wherein the menu control step comprises:
If the selected menu is a volume control menu,
Wherein the controller is configured to sequentially select a volume control mode for adjusting the overall volume, a bass control mode for controlling the bass volume, and a treble control mode for adjusting the volume of the treble according to the sensed pressure.
상기 메뉴 제어단계는,
상기 음량 조절 모드, 상기 저음 조절 모드, 상기 고음 조절 모드 각각에 대응되는 압력의 범위는 상호 겹치지 않고 일정한 압력의 차이를 가지는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 18. The method of claim 17,
Wherein the menu control step comprises:
Wherein the range of the pressure corresponding to each of the volume control mode, the bass control mode, and the treble control mode does not overlap with each other but has a constant pressure difference.
상기 메뉴 제어단계는,
상기 제2 터치가 일방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 증가시키고, 상기 일방향의 반대 방향으로 회전하는 경우에는 상기 각 선택된 모드에서 음량을 감소시키는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법. 18. The method of claim 17,
Wherein the menu control step comprises:
Wherein when the second touch is rotated in one direction, the volume is increased in each of the selected modes, and when the second touch is rotated in the opposite direction of the one direction, the volume is decreased in each of the selected modes. Way.
상기 메뉴 제어단계는,
상기 제2 터치가 해제되거나 상기 제1 터치의 압력이 변하는 경우, 상기 제2 터치에 의하여 증가 또는 감소된 음량이 확정되는 것을 특징으로 하는 멀티 터치 기반 사용자 인터페이스 제어 방법.20. The method of claim 19,
Wherein the menu control step comprises:
Wherein when the second touch is released or the pressure of the first touch is changed, a volume increased or decreased by the second touch is determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140024142A KR20150102363A (en) | 2014-02-28 | 2014-02-28 | Apparatus for controlling user interface based on multi-touches, and Method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140024142A KR20150102363A (en) | 2014-02-28 | 2014-02-28 | Apparatus for controlling user interface based on multi-touches, and Method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150102363A true KR20150102363A (en) | 2015-09-07 |
Family
ID=54243145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140024142A KR20150102363A (en) | 2014-02-28 | 2014-02-28 | Apparatus for controlling user interface based on multi-touches, and Method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150102363A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111142689A (en) * | 2019-12-31 | 2020-05-12 | 腾讯科技（深圳）有限公司 | Mobile control method, device and equipment and computer readable storage medium |
| US10649581B1 (en) | 2011-08-05 | 2020-05-12 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
-
2014
- 2014-02-28 KR KR1020140024142A patent/KR20150102363A/en not_active Application Discontinuation
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10649581B1 (en) | 2011-08-05 | 2020-05-12 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10649580B1 (en) | 2011-08-05 | 2020-05-12 | P4tents1, LLC | Devices, methods, and graphical use interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10656759B1 (en) | 2011-08-05 | 2020-05-19 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10671213B1 (en) | 2011-08-05 | 2020-06-02 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10788931B1 (en) | 2011-08-05 | 2020-09-29 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10996787B1 (en) | 2011-08-05 | 2021-05-04 | P4tents1, LLC | Gesture-equipped touch screen system, method, and computer program product |
| US11061503B1 (en) | 2011-08-05 | 2021-07-13 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11740727B1 (en) | 2011-08-05 | 2023-08-29 | P4Tents1 Llc | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| CN111142689A (en) * | 2019-12-31 | 2020-05-12 | 腾讯科技（深圳）有限公司 | Mobile control method, device and equipment and computer readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102640100B (en) | For implementing the method for many touches dumb show on one touch type touch-surface | |
| JP5893060B2 (en) | User interface method providing continuous zoom function | |
| JP5731466B2 (en) | Selective rejection of touch contact in the edge region of the touch surface | |
| US8570283B2 (en) | Information processing apparatus, information processing method, and program | |
| TWI441051B (en) | Electronic device and information display method thereof | |
| US20110304584A1 (en) | Touch screen control method and touch screen device using the same | |
| US20090160778A1 (en) | Apparatus, method and computer program product for using variable numbers of tactile inputs | |
| WO2011117462A1 (en) | Apparatus and method for proximity based input | |
| WO2008085789A2 (en) | Gestures for devices having one or more touch sensitive surfaces | |
| JP2010146032A (en) | Mobile terminal device and display control method | |
| US10671269B2 (en) | Electronic device with large-size display screen, system and method for controlling display screen | |
| CN103729109B (en) | A kind of interface display method and terminal | |
| TW201411426A (en) | Electronic apparatus and control method thereof | |
| WO2014009933A1 (en) | Improvements in devices for use with computers | |
| WO2011010411A1 (en) | Input control apparatus | |
| JP2014197164A (en) | Display device, display method and display program | |
| KR20150102363A (en) | Apparatus for controlling user interface based on multi-touches, and Method thereof | |
| KR101171623B1 (en) | Control method and tools for touch panel on multi touch basis, and mobile devices using the same | |
| KR101403079B1 (en) | method for zooming in touchscreen and terminal using the same | |
| US20140085340A1 (en) | Method and electronic device for manipulating scale or rotation of graphic on display | |
| KR20100121785A (en) | Tools for touch panel, and mobile devices using the same | |
| KR20150102364A (en) | Apparatus for controlling pressure-detectable User Interface based on a single touch, and Method thereof | |
| TW202008126A (en) | Electronic device | |
| TWI493431B (en) | Method and system for prompting adjustable direction of cursor | |
| US12086404B2 (en) | Volume adjusting gesture and mistouch prevention on rolling devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |