Nothing Special   »   [go: up one dir, main page]

KR20150073354A - 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치 - Google Patents

디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150073354A
KR20150073354A KR1020130160954A KR20130160954A KR20150073354A KR 20150073354 A KR20150073354 A KR 20150073354A KR 1020130160954 A KR1020130160954 A KR 1020130160954A KR 20130160954 A KR20130160954 A KR 20130160954A KR 20150073354 A KR20150073354 A KR 20150073354A
Authority
KR
South Korea
Prior art keywords
input
display
processor
information
touch
Prior art date
Application number
KR1020130160954A
Other languages
English (en)
Inventor
배혜림
김경태
좌창협
김양욱
이선기
강두석
이창호
임새미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130160954A priority Critical patent/KR20150073354A/ko
Priority to EP14873959.2A priority patent/EP3087463A4/en
Priority to PCT/KR2014/011436 priority patent/WO2015099300A1/en
Priority to CN201480070621.5A priority patent/CN105849683A/zh
Priority to US14/581,932 priority patent/US20150177957A1/en
Publication of KR20150073354A publication Critical patent/KR20150073354A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 다양한 실시예는 터치스크린에 대한 사용자의 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자 장치를 개시한다. 본 개시의 다양한 실시예는 따른, 전자 장치를 통하여 오브젝트를 처리하는 방법은 복수의 오브젝트들을 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작; 상기 복수의 오브젝트들 중 제1 오브젝트에 대응하는 입력을 획득하는 동작; 상기 복수의 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하는 동작; 및 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.

Description

디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치{method and apparatus processing an object provided via a display}
본 개시의 다양한 실시예는 오브젝트 처리 방법에 관한 것으로서, 예를 들면, 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치에 관한 것이다.
전자 장치는 입력 수단으로써, 예를 들면, 화면에 설치된 터치패널을 구비할 수 있다. 또한, 전자 장치는 터치 스크린(예컨대, 터치패널이 설치된 화면)을 통해 사용자의 터치 입력을 감지하여, 터치 입력에 대응하는 터치 스크린에 대한 위치(location)를 인식할 수 있다. 전자 장치는 인식된 위치에 존재하는 오브젝트를 처리할 수 있는데, 예를 들면, 오브젝트에 대응하는 기능(예: 전자 장치의 기능 또는 애플리케이션 기능)을 실행할 수 있다.
전자 장치에서 실행된 기능은 사용자가 원하는 기능이 아닐 수 있다. 예컨대, 웹 페이지에서 각각 하이퍼링크된 오브젝트들이 밀집되어 표시될 수 있다. 이때, 사용자가 의도하지 않은 오브젝트가 선택될 수 있고, 의도치 않게 선택된 오브젝트에 링크된 웹 페이지가 실행(예: 터치 스크린을 통하여 표시)될 수 있다. 이러한 실행 오류를 방지하는 방법으로써 전자 장치는 터치 위치(예: 터치 입력에 대응하는 터치 스크린에 대한 좌표)를 중심으로 미리 설정된 반경 내에 적어도 일부 존재하는 오브젝트들을 확대하여 표시할 수 있다. 전자 장치는 상기 확대된 오브젝트들 중 사용자에 의해 선택된 오브젝트에 대응되는 전자 장치의 기능을 실행할 수 있다. 그러나 이러한 해결 방법은 사용자가 원하는 오브젝트가 선택되었음에도 사용자에게 동일한 오브젝트를 다시 선택하게 하는 불편함을 초래할 수 있다.
본 개시의 다양한 실시예는 사용자가 원하는 기능(예: 전자 장치의 기능 또는 애플리케이션의 기능)을 실행할 수 있도록 오브젝트 처리 방법 및 장치를 제공할 수 있다.
본 개시의 다양한 실시예는 따른, 전자 장치를 통하여 오브젝트를 처리하는 방법은 복수의 오브젝트들을 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작; 상기 복수의 오브젝트들 중 제1 오브젝트에 대응하는 입력을 획득하는 동작; 상기 복수의 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하는 동작; 및 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예는 따른, 전자 장치를 통하여 오브젝트를 처리하는 방법은 사용자의 입력을 획득하는 동작; 및 상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를, 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예는 따른 전자 장치는 복수의 오브젝트들을 표시하는 디스플레이 모듈; 상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및 프로세서를 포함하고, 상기 프로세서는, 상기 오브젝트들 중 제 1 오브젝트에 대응하는 입력을 상기 터치 패널을 통해 획득하고, 상기 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하고, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 표시하도록 상기 디스플레이 모듈을 제어할 수 있다.
본 개시의 다양한 실시예는 따른 전자 장치는 디스플레이 모듈; 상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및 상기 터치 패널을 통하여 사용자의 입력을 획득하고, 상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를 표시하도록 상기 디스플레이 모듈을 제어하는 프로세서를 포함할 수 있다.
본 개시의 다양한 실시예는 사용자가 원하는 기능을 실행할 수 있도록 한 방법 및 이를 구현하는 전자 장치를 제공할 수 있다. 본 개시의 다양한 실시예는 실행된 기능을 취소하고 디스플레이를 통해 표시된 오브젝트 정보를 통해 다른 기능을 실행할 수 있도록 한 방법 및 이를 구현하는 전자 장치를 제공할 수 있다. 본 개시의 다양한 실시예는 실행된 기능을 취소하고 디스플레이를 통해 표시된 입력 정보를 통해 다른 기능을 실행할 수 있도록 한 방법 및 이를 구현하는 전자 장치를 제공할 수 있다.
도 1은 다양한 실시예에 따른 전자장치에 대한 블록도를 도시한다.
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도를 도시한다.
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도를 도시한다.
도 4a, 도 4b, 도 4c 및 도 4d는 본 발명의 다양한 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 5a 및 도 5b는 터치스크린에 표시된 오브젝트들 중 사용자에 의해 선택된 오브젝트와 그 주변의 후보 오브젝트를 결정하는 절차의 다양한 예시들을 설명하기 위한 개념도들이다.
도 6a, 도 6b 및 도 6c는 본 발명의 다양한 실시예에 따른 동영상 재생 절차를 설명하기 위한 재생 화면들이다.
도 7a, 도 7b, 도 7c, 도 7d, 도 7e, 도 7f 및 도 7g는 터치 입력에 따라 선택될 수 있는 다양한 오브젝트들을 예시한 도면들이다.
도 8a, 도 8b 및 도 8c는 본 발명의 다양한 실시예에 따른 커서의 위치를 재설정하는 절차를 설명하기 위한 텍스트 입력 박스들이다.
도 9a, 도 9b, 도 9c 및 도 9d는 본 발명의 다양한 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 10은 프로세서에서 인식 가능한 다양한 제스처들에 대한 예들을 도시한 도면이다.
도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f 및 도 11g는 본 발명의 다양한 실시예에 따른 후보(예, 후보 오브젝트, 후보 제스처 등)들을 배열하는 방법을 설명하기 위한 도면들이다.
도 12, 도 13a, 도 13b 및 도 13c는 본 발명의 다양한 실시예에 따른 후보 오브젝트를 다양한 형태로 표시하는 방법을 설명하기 위한 도면들이다.
도 14는 후보 리스트의 운영 방법의 일례를 설명하기 위한 도면이다.
도 15a, 도 15b 및 도 15c는 본 발명의 또 다른 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 16a, 도 16b 및 도 16c는 본 발명의 다양한 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 17a 및 도 17b는 본 발명의 다양한 실시예에 따른 후보 오브젝트들의 리스트를 화면에 위치하는 방법을 설명하기 위한 도면들이다.
도 18a, 도 18b 및 도 18c는 본 발명의 다양한 실시예에 따른 후보 리스트의 운영 여부를 설정하는 방법을 설명하기 위한 도면들이다.
도 19는 본 발명의 다양한 실시예에 따른 전자 장치의 기능 실행 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 개시의 다양한 실시예는 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 개시의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 다양한 실시예에 따른 전자장치에 대한 블록도를 도시한다.
도 1을 참조하면, 전자장치 100은 버스 110, 프로세서 120, 메모리 130, 사용자 입력 모듈 140, 디스플레이 모듈 150, 또는 통신 모듈 160을 포함할 수 있다.
버스 110은, 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
프로세서 120은, 예를 들면, 버스 110을 통해 전술한 다른 구성요소들(예: 메모리 130, 사용자 입력 모듈 140, 디스플레이 모듈 150, 통신 모듈 160 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리 130은, 프로세서 120 또는 다른 구성요소들(예: 사용자 입력 모듈 140, 디스플레이 모듈 150, 통신 모듈 160 등)로부터 수신되거나 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어 132, API 133 또는 어플리케이션 134에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 131은 미들웨어 132, API 133 또는 어플리케이션 134에서 전자 장치 100의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 132는 API 133 또는 어플리케이션 134가 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어 132는 (다수의) 어플리케이션들 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, (다수의) 어플리케이션들 134들 중 적어도 하나의 어플리케이션에 전자 장치 100의 시스템 리소스(예: 버스 110, 프로세서 120 또는 메모리 130 등)를 사용할 수 있는 우선순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
API 133은 어플리케이션 134가 커널 131 또는 미들웨어 132에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
사용자 입력 모듈 140은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력 받아 버스 110을 통해 프로세서 120 또는 메모리 130에 전달할 수 있다. 디스플레이 모듈 150은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
통신 모듈 160은 다른 전자 장치 102와 전자 장치 100간의 통신을 연결할 수 있다. 통신 모듈 160은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 162를 지원할 수 있다. 전자 장치들 102, 104 각각은 전자 장치 100과 동일한(예: 같은 타입의) 장치이거나 또는 다른(예: 다른 타입의) 장치일 수 있다.
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도를 도시한다.
하드웨어 200은, 예를 들면, 도 1에 도시된 전자 장치 100일 수 있다. 도 2를 참조하면, 하드웨어 200은 하나 이상의 프로세서 210, SIM(subscriber identification module) 카드 214, 메모리 220, 통신 모듈 230, 센서 모듈 240, 사용자 입력 모듈 250, 디스플레이 모듈 260, 인터페이스 270, 오디오 코덱 280, 카메라 모듈 291, 전력관리 모듈 295, 배터리 296, 인디케이터 297 또는 모터 298을 포함할 수 있다.
프로세서 210(예: 프로세서 120)은 하나 이상의 어플리케이션 프로세서(AP: application processor) 211 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor) 213을 포함할 수 있다. 프로세서 210은, 예를 들면, 도 1에 도시된 프로세서 120일 수 있다. 도 2에서는 AP 211 및 CP 213이 프로세서 210 내에 포함된 것으로 도시되었으나, AP 211과 CP 213은 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시예에서는 AP 211 및 CP 213은 하나의 IC 패키지 내에 포함될 수 있다.
AP 211은 운영체제 또는 응용 프로그램을 구동하여 AP 211에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP 211은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 프로세서 210은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
CP 213은 하드웨어 200을 포함하는 전자 장치(예: 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP 213은, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, CP 213은 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP 213은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 또한, CP 213은 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, CP 213은 통신 모듈 230의 데이터 송수신을 제어할 수 있다. 도 2에서는, CP 213, 전력관리 모듈 295 또는 메모리 220 등의 구성요소들이 AP 211과 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, AP 211이 전술한 구성요소들의 적어도 일부(예: CP 213)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, AP 211 또는 CP 213은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP 211 또는 CP 213은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
SIM 카드 214는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드 214는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 220은 내장 메모리 222 또는 외장 메모리 224를 포함할 수 있다. 메모리 220은, 예를 들면, 도 1에 도시된 메모리 130일 수 있다. 내장 메모리 222는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리 222는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 외장 메모리 224는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.
통신 모듈 230은 무선 통신 모듈 231 또는 RF 모듈 234를 포함할 수 있다. 통신 모듈 230은, 예를 들면, 도 1에 도시된 통신 모듈 160일 수 있다. 무선 통신 모듈 231은, 예를 들면, WiFi 233, BT(bluetooth) 235, GPS 237 또는 NFC(near field communication) 239를 포함할 수 있다. 예를 들면, 무선 통신 모듈 231은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈 231은 하드웨어 200을 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
RF 모듈 234는 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자신호의 송수신을 담당할 수 있다. RF 모듈 234는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈234는 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, RGB(red, green, blue) 센서 240H, 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 센서 모듈 240은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
사용자 입력 모듈 250은 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256 또는 초음파 입력 장치 258을 포함할 수 있다. 사용자 입력 모듈 250은, 예를 들면, 도 1에 도시된 사용자 입력 모듈 140일수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널 252는 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 간접 터치의 인식도 가능하다. "직접 터치 방식"은 전도성 물체(예를 들어, 손가락 또는 스타일러스펜)가 터치스크린에 직접 접촉하는 (contact) 방식을 의미할 수 있다. 다양한 실시예에 따르면, "간접 터치 방식"은, 비전도성 물체에 둘러싸인 전도성 물체(예, 장갑을 낀 상태의 손가락)가 터치스크린에 인접하거나, 비전도성 물체(예를 들어, 손가락을 낀 상태의 장갑)가 터치스크린에 접촉하는 방식을 의미할 수 있다. 다른 실시예에 따르면, "간접 터치 방식"은 터치스크린의 위에 비전도성 물체(예를 들어, 터치스크린을 보호하기 위한 커버(cover))가 접촉한 상태에서 손가락이 비전도성 물체를 터치하는 방식을 의미할 수도 있다. 또 다른 실시예에 따르면, "간접 터치 방식"은 손가락이 터치스크린에 접촉하지 않으면서, 미리 설정된 거리 이내로 터치스크린에 인접함에 의하여 이벤트를 발생시키는 방식, 보통 "호버링(hovering)," 이라고 불리는 방식을 의미할 수도 있다. 터치 패널 252는 택타일레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널 252는 사용자에게 촉각 반응을 제공할 수 있다. 터치 패널 252는 디스플레이 모듈 260의 화면( 예컨대, 터치스크린)에 설치될 수 있다. 예컨대, 터치패널 252는 터치스크린에 위치하는 애드 온 타입(add-on type) 또는 디스플레이 모듈 260 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키 256로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 초음파 입력 장치 258은 초음파 신호를 발생하는 펜을 통해, 전자 장치에서 마이크(예: 마이크 288)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 하드웨어 200은 통신 모듈 230을 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이 모듈 260은 패널 262 또는 홀로그램 264를 포함할 수 있다. 디스플레이 모듈 260은, 예를 들면, 도 1에 도시된 디스플레이 모듈 150일 수 있다. 패널 262는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널262는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262는 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 홀로그램 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시예에 따르면, 디스플레이 모듈 260은 패널 262 또는 홀로그램 264를 제어하기 위한 제어회로를 더 포함할 수 있다.
인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 프로젝터 276 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 추가적으로 또는 대체적으로, 인터페이스 270은, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
오디오 코덱 280은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 코덱 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286 또는 마이크 288 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
카메라 모듈 291은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
전력관리 모듈 295는 하드웨어 200의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력관리 모듈 295는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리 296은 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
인디케이터 297은 하드웨어 200 혹은 그 일부(예: AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있다. MCU 299는, 센서 모듈 240을 제어할 수 있다.
도시되지는 않았으나, 하드웨어 200은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.본 개시의 다양한 실시예에 따른 하드웨어의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자장치의 종류에 따라서 달라질 수 있다. 본 개시의 다양한 실시예에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시의 다양한 실시예에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시의 다양한 실시예에 사용된 용어"모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시의 다양한 실시예에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도를 도시한다.
프로그래밍 모듈 300은 도 1에 도시된 전자 장치 100(예: 메모리 130)에 포함(예: 저장)될 수 있다. 프로그래밍 모듈 300의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 프로그래밍 모듈 300은 하드웨어(예: 하드웨어 200)에 구현되어 전자 장치(예: 전자 장치 100)에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 370)을 포함할 수 있다. 예를 들면, 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 프로그래밍 모듈 300은 커널 310, 미들웨어 330, API(application programming interface) 360 또는 어플리케이션 370을 포함할 수 있다.
커널 310(예: 커널 131)은 시스템 리소스 매니저 311 또는 디바이스 드라이버 312를 포함할 수 있다. 시스템 리소스 매니저 311은, 예를 들면, 프로세스관리부 313, 메모리관리부 315 또는 파일시스템관리부 317 등을 포함할 수 있다. 시스템 리소스 매니저 311은 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 디바이스 드라이버 312는, 예를 들면, 디스플레이 드라이버 314, 카메라 드라이버 316, 블루투스 드라이버 318, 공유 메모리 드라이버 320, USB 드라이버 322, 키패드 드라이버 324, WiFi 드라이버 326 또는 오디오 드라이버 328을 포함할 수 있다. 또한, 한 실시예에 따르면, 디바이스 드라이버 312는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.
미들웨어 330은 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 미들웨어 330은 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API 360를 통해 기능을 제공할 수 있다. 예를 들면, 도 3을 참조하면, 미들웨어 330(예: 미들웨어 132)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 한 실시예에 따르면, 런타임 라이브러리 335는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저 345는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저 346은 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 전자 장치 100)가 전화 기능을 구비한 경우에는, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.
미들웨어 330은 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어 330은 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. , 본 발명의 실시예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
API 360(예: API 133)은 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370(예: 어플리케이션 134)은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.
프로그래밍 모듈 300의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서(예: 프로세서 210)에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리 260이 될 수 있다. 프로그래밍 모듈 300의 적어도 일부는, 예를 들면, 프로세서 210에 의해 구현(implement)(예: 실행)될 수 있다. 프로그래밍 모듈 300의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 및/또는 프로세스 등을 포함할 수 있다.
본 개시의 다양한 실시예에 따른 프로그래밍 모듈(예: 프로그래밍 모듈 300)의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 본 개시의 다양한 실시예에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시의 다양한 실시예에 따른 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 처리될 수 있으며, 또한 일부 동작이 생략되거나, 다른 동작이 추가될 수 있다.
도 4a, 도 4b, 도 4c 및 도 4d는 본 발명의 다양한 실시예에 따른 웹 페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 4a를 참조하면, 전자 장치 400(예: 전자 장치 200)의 프로세서(예: 프로세서 211)는 웹 페이지 410을 화면에 표시하도록 디스플레이(예, 디스플레이 모듈 260)를 제어할 수 있다. 화면은 어플리케이션 실행 화면으로서, 예컨대, 웹 브라우저 화면으로서 해당 전자 장치의 화면 전체가 될 수도 있고 또는 일부 영역이 될 수도 있다. 사용자는, 예를 들면, 전자 장치 400의 화면에 표시된 웹 페이지 410에 대해 손가락 420으로 제스처(예, 탭(터치 후 지정된(specified) 시간 내에 터치 해제))를 취할 수 있다. 전자 장치 400의 터치 패널(예: 터치패널 252)은 탭을 인식하고, 인식된 탭에 대한 정보를 프로세서로 전달할 수 있다.
프로세서(예: 프로세서 211)는 탭에 대한 정보를 분석하여 터치 지점(예: 터치 좌표)을 결정할 수 있다. 프로세서는 웹 페이지 410의 오브젝트들 중에서 터치 지점에 대응하는 오브젝트를 인식할 수 있다. 예컨대, 프로세서는 웹 페이지 410의 오브젝트들을 예컨대, 구분자(예: 구분기호 또는 프레임 등), 종류(예: 아이콘, 이미지 또는 텍스트 등) 또는 하이퍼링크 등에 따라 구분할 수 있다. 구분 기호는 예를 들면, 화살표, 도형, 통화 기호 등이 될 수 있으며, 프레임은 예를 들면, 텍스트와 텍스트를 구분하는 라인, 상자 등이 될 수 있다.
또한, 프로세서는 오브젝트들 중 터치 좌표에 대응하는 영역(예: 터치 좌표에 가장 인접한)에 위치하는 오브젝트를 터치 지점에 대응하는 오브젝트로 결정할 수 있다. 프로세서는 결정된 오브젝트에 대응하는 기능(예: 전자 장치의 기능 또는 어플리케이션의 기능)을 실행할 수 있다. 예컨대, 결정된 오브젝트에 콘텐츠(예: 이미 다운로딩된 이전 웹 페이지 또는 아직 다운로드하지 않은 새로운 웹 페이지 등)가 링크되어 있을 수 있다. 한 실시예에 따르면, 프로세서는 이전 웹 페이지인지 또는 새로운 웹 페이지인지 여부를, 해당 웹 페이지와 관련된 정보 예컨대, 주소 정보나 참조 필드를 참조하여 결정할 수 있다.
한 실시예에 따르면, 인식된 오브젝트가 이전 웹 페이지인 경우 프로세서는 메모리(예, 메모리 204)에 액세스하여 이전 웹 페이지를 읽어 올 수 있다. 인식된 오브젝트가 새로운 웹 페이지인 경우 프로세서는 새로운 웹 페이지를 다운로드하도록 통신 모듈(예: 통신모듈 230)을 제어할 수 있다. 한 실시예에 따르면, 프로세서는 웹 페이지가 로딩되는 시간 동안(예컨대, 리딩(reading) 시간 또는 다운로딩 시간) 지정된 로딩 안내 이미지(예: 하얀 이미지)를 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 한 실시예에 따르면, 로딩 안내 이미지는 표시되지 않을 수도 있다. 예컨대, 디스플레이는 표시 대상을 웹 페이지 410에서 다른 웹 페이지로 바로 변경할 수도 있다.
어떤 실시예에서는, 프로세서는 지정된 시간(예: 상기 로딩 시간) 동안 후보 리스트를 표시하도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 후보 리스트는 상기 인식된 오브젝트에 인접한 적어도 하나 이상의 오브젝트를 포함할 수 있다. 예컨대, 프로세서는 터치 좌표를 기반으로 설정된 영역을, 후보 리스트를 결정하기 위한 영역(이하, 설명의 편의 상, "터치 영역")으로 결정할 수 있다. 또한, 프로세서는, 예를 들면, 터치 영역 내에 존재(예: 오브젝트의 적어도 일부가 존재하거나 오브젝트가 터치 영역 내에 완전히 포함되는)하는 오브젝트를 후보 리스트에 포함될 후보로서 결정할 수 있다.
도 4b를 참조하면, 프로세서(예: 프로세서 211)는 후보 리스트 430을 화면에 표시하도록 디스플레이(예: 디스플레이 모듈 260)를 제어할 수 있다. 한 실시예에 따르면, 프로세서는 디스플레이를 통하여 다른 웹 페이지 440의 적어도 일부 위에 후보 리스트 430을 표시할 수 있다. 웹 페이지 440은, 예를 들면, 사용자 입력에 의해 선택된 오브젝트에 대응하는 기능에 대한 실행 정보일 수 있다. 실행 정보는, 예를 들면, 오브젝트에 대응하는 기능(예: 웹 페이지 440)이 프로세서를 통하여 실행되고 있는 동안, 사용자에게 디스플레이를 통하여 유저 인터페이스로서 제공되는 정보일 수 있다. 어떤 실시예에 따르면, 도시되진 않지만 디스플레이는 로딩 안내 이미지와 함께(예: 로딩 안내 이미지의 위에) 후보 리스트 430을 표시할 수도 있다. 한 실시예에 따르면, 후보 리스트 430은 후보 오브젝트(들)(예: 오브젝트들 432, 433, 434, 435, 436)와 입력에 의해 인식된 오브젝트 431(예: 현재 실행되고 있는 웹 페이지 440에 대응하는 오브젝트)을 포함할 수 있다.
한 실시예에 따르면, 후보 리스트 430은 인식된 오브젝트 431에 대응하는 실행 정보(예: 디스플레이를 통하여 표시되고 있는 웹 페이지 440)의 표시와 함께 제공될 수 있다. 예를 들면, 후보 리스트 430은 실행 정보가 디스플레이에 표시가 되는 시점부터 실행 정보와 함께 디스플레이를 통하여 표시될 수 있다. 또는, 후보 리스트 430은 인식된 오브젝트 431에 대응하는 실행 정보에 대한 표시와 무관하게 디스플레이를 통하여 표시될 수 있다. 예를 들면, 후보 리스트 430은 실행 정보가 표시되기 이전에 미리 표시될 수도 있다. 또는, 실행 정보가 먼저 표시되고 새로운 입력(예: 지정된 터치 입력 또는 호버링 입력)에 기반하여 후보 리스트 430은 표시될 수 있다.
한 실시예에 따르면, 디스플레이는, 예를 들면, 프로세서(예: 프로세서 211)의 제어 하에, 인식된 오브젝트 431을 다른 것들과 구별되도록 강조(예컨대, 도시된 바와 같이 바탕색을 진하게 또는 도시되진 않지만 해당 글자를 굵게 등)하여 표시할 수 있다. 또한 디스플레이는 후보 리스트 430의 오브젝트들을 이전에 표시된 크기보다 확대하여 표시할 수도 있다. 또한 디스플레이 모듈 260은 후보 리스트 430의 오브젝트들 간의 간격을 이전보다 좀 더 이격하여 표시할 수도 있다. 사용자 420는 후보 리스트 430의 후보 오브젝트들 중 적어도 하나(예: 후보 오브젝트 432)에 대해 터치 입력을 할 수 있다. 프로세서는 후보 오브젝트들 432, 433, 434, 435, 436 중에서 터치 입력에 대응하는 후보 오브젝트 432를 인식할 수 있다.
도 4c를 참조하면, 프로세서는, 예를 들면, 인식된 후보 오브젝트 432를 다른 것들과 구별되게 강조하여 표시하도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 프로세서는 새로 인식된 후보 오브젝트 432에 대응하는 기능(예: 전자 장치의 기능 또는 애플리케이션의 기능)을 실행할 수 있다. 예를 들면, 프로세서는 선택된 후보 오브젝트 432에 링크된 웹 페이지 450을 화면(예: 후보 리스트 430의 뒤)에 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 한 실시예에 따르면, 새로 인식된 후보 오브젝트 432에 대응하는 기능을 실행하기 위해서, 프로세서는 이전에 선택된 오브젝트에 대한 기능을 계속 실행(예: 새로 선택된 오브젝트에 대응하는 기능과 함께 실행)할 수도 있다. 또는, 프로세서는 이전에 선택된 오브젝트에 대한 기능의 실행을 멈추고 새로이 선택된 오브젝트에 대한 기능을 실행할 수 있다.
도 4c및 도 4d를 참조하면, 프로세서(예: 프로세서 211)는 후보 리스트 430의 표시를 종료할 수 있다. 예컨대, 프로세서는 후보 리스트 430에서 종료 버튼 433이 선택(예: 사용자에 의해 선택)된 경우, 후보 리스트 430의 표시를 종료하고 웹 페이지 450만을 표시하도록 제어할 수 있다. 예를 들면, 프로세서는 웹 페이지 450이 로딩되는 동안 후보 리스트 430을 웹 페이지 450의 함께 표시하고 웹 페이지 450의 로딩이 완료된 경우 후보 리스트 430의 표시를 종료할 수도 있다. 또는, 프로세서는 종료 버튼 433과 연관된 사용자 입력에 반응하여 후보 리스트 430의 표시를 즉시 종료할 수도 있다.
어떤 실시예에서는, 후보 리스트 430이 표시된 상태에서 지정된 시간(예: 로딩 시간) 동안 사용자 입력이 인식되지 않은 경우, 프로세서는 후보 리스트 430의 표시를 종료하고 웹 페이지 450만을 표시하도록 제어할 수 있다. 도 4d는 후보 리스트 430의 표시가 완전히 종료된 후의 웹 페이지 450가 표시되는 일 예를 도시한다.
한 실시예에 따르면, 종료 버튼 433은 후보 리스트 430의 표시에 기반하여 후보 리스트 430에 포함되어 사용자에게 후보 리스트 430과 함께 제공될 수 있다. 다른 실시예에 따르면, 종료 버튼 433은 후보 리스트 430에 표시되고 있지 않다가 새로운 사용자 입력(예: 후보 리스트 430를 터치하는 입력 또는 후보 리스트 430과 연관된 호버링 입력)이 획득된 경우, 사용자 입력에 기반하여 후보 리스트 430에 표시될 수 있다.
도 5a 및 도 5b는 터치스크린에 표시된 오브젝트들 중 사용자에 의해 선택된 오브젝트와 그 주변의 후보 오브젝트를 결정하는 절차의 다양한 예시들을 설명하기 위한 개념도들이다.
도 5a를 참조하면, 프로세서(예: 프로세서 211)는 터치 입력을 분석하여 터치 영역 510을 결정할 수 있다. 프로세서는, 예를 들면, 터치 영역 510에서 중심점을 터치 지점 511로 결정할 수 있다. 프로세서는 터치 지점 511을 이용하여 터치 영역을 보정할 수도 있다. 예를 들면, 프로세서는 터치 지점 511을 중심으로 하는 선분 512을 대각선으로 하는 정사각형 영역 520을 보정된 터치 영역으로 결정할 수 있다. 여기서 보정된 터치 영역은 정사각형이 아닌 다른 형태일 수도 있다. 프로세서 211은 오브젝트들 중에서 터치 지점 511에 가장 가까운 오브젝트 예컨대, 오브젝트 530을 사용자에 의해 선택된 오브젝트로 결정할 수 있다. 또한 프로세서 211은 터치 영역 510 또는 보정된 터치 영역 520 내에 적어도 일부 포함된 오브젝트 예컨대, 오브젝트 540을 후보 오브젝트로 결정할 수 있다. 터치 영역 510 또는 보정된 터치 영역 520 내에 적어도 일부 포함된 오브젝트가 없을 수도 있다. 그렇다면, 예컨대 프로세서 211은 후보 리스트의 표시를 생략할 수도 있다. 어떤 실시예에서는, 터치 영역 510 또는 보정된 터치 영역 520 내에 오브젝트의 적어도 일부가 포함되는지 여부와 상관없이 후보 리스트는 표시될 수도 있다. 예컨대, 프로세서 211은 사용자에 의해 선택된 오브젝트(예컨대, 오브젝트 530)에 인접한 오브젝트(예컨대, 오브젝트 540)를 후보 오브젝트로 결정할 수도 있다.
다시 도 5a를 참조하면, 프로세서 211은 터치 지점 511을 공지된 보정 기술 예컨대, 보간법(interpolation) 알고리즘이나 노이즈 제거 알고리즘을 이용하여 보정할 수도 있다. 프로세서 211은 이렇게 보정된 터치 지점 551을 이용하여 터치 영역 510을 터치 영역 550으로 재설정할 수 있다. 프로세서 211은 오브젝트들 중에서, 보정된 터치 지점 551이 위치한 오브젝트 예컨대, 530을 사용자에 의해 선택된 오브젝트로 결정할 수도 있다. 또한 프로세서 211은 재설정된 터치 영역 550 내에 적어도 일부 포함된 오브젝트 예컨대, 오브젝트 540을 후보 오브젝트로 결정할 수도 있다.
도 5a 및 도 5b를 참조하면, 프로세서 211은 터치 영역 510과 터치 영역 550을 포함하는 영역 560을 터치 영역으로 재설정할 수도 있다. 프로세서 211은 재설정된 터치 영역 560 내에 적어도 일부 포함된 오브젝트들(예, 오브젝트 530과 오브젝트 540) 중에서 상기 재설정된 터치 영역 560에 가장 많이 포함된 오브젝트(예, 오브젝트 530)를 사용자에 의해 선택된 오브젝트로 결정할 수도 있다. 또한 프로세서 211은 나머지(예컨대, 오브젝트 540)를 후보 오브젝트로 결정할 수도 있다.
도 6a, 도 6b 및 도 6c는 본 발명의 다양한 실시예에 따른 동영상 재생 절차를 설명하기 위한 재생 화면들이다.
도 6a를 참조하면, 프로세서(예, 프로세서 211)는 플레이어 실행 이미지 610을 화면에 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 플레이어 실행 이미지 610은 재생 프레임 611 및 재생 진행 바 612를 포함할 수 있다. 또한 플레이어 실행 이미지 610은 그 외 각종 기능 아이콘 또는 버튼을 더 포함할 수 있다. 예컨대, 플레이어 실행 이미지 610은 되감기 버튼 613, 플레이/일시정지 버튼 614, 빨리감기 버튼 615, 음량 조절 버튼 616, 현재 표시되는 프레임(예, 재생 플레임 611)의 시점 및 해당 동영상의 전체 시간 617(예, 0:01/2:21)을 더 포함할 수 있다. 사용자는 재생 진행 바 612에 대해 터치 입력(예, 직접 터치, 호버링 등)을 할 수 있다. 이에 응답하여 프로세서 211은 터치 영역 620을 결정할 수 있다. 터치 영역 620에는 재생 진행 바 612의 일부와 음량 조절 버튼 616이 포함될 수 있다. 프로세서 211은 재생 진행 바 612를 사용자에 의해 선택된 오브젝트로 결정할 수 있고 음량 조절 버튼 616을 후보 오브젝트로 결정할 수 있다. 재생 진행 바 612가 사용자에 의해 선택된 오브젝트로 결정된 경우, 프로세서 211은 재생 진행 바 612에서, 예컨대 터치 영역 620의 중심점에 가장 가까이 위치한 지점을 새로운 재생 시점에 해당되는 지점으로 결정할 수 있다.
도 6b를 참조하면, 프로세서 211은 상기 새로운 재생 시점부터 동영상의 재생을 시작할 수 있다. 예컨대, 프로세서 211은 재생 시점 45초에 해당되는 재생 프레임 618을 표시하도록 제어할 수 있다. 그리고 프로세서 211은, 음량 조절 버튼 616이 후보 오브젝트로 결정된 경우, 해당 음량 조절 바 619를 재생 프레임 619의 위에 표시하도록 제어할 수 있다. 사용자는 음량 조절 바 619에서 터치 입력을 할 수 있다. 이에 응답하여 프로세서 211은 터치 지점 630을 결정할 수 있다. 프로세서 211은 음량 조절 바 619에서, 터치 지점 630의 중심점에 가장 가까이 위치한 지점을 음량 조절 지점으로 결정할 수 있다. 프로세서 211은 결정된 음량 조절 지점에 해당되는 음량으로 동영상의 오디오가 출력되도록 오디오 처리 모듈(예컨대, 오디오 코덱 280)을 제어할 수 있다.
도 6c를 참조하면, 프로세서 211은 음량 조절 후(또는 그와 동시에) 재생 시점을 이전 시점(예컨대, 1초)으로 복귀시킬 수 있다. 예컨대 디스플레이 모듈 260은 프로세서 211의 제어 하에, 재생 시점 1초에 해당되는 재생 프레임 611을 표시할 수 있다.
도 7a, 도 7b, 도 7c, 도 7d, 도 7e, 도 7f 및 도 7g는 터치 입력에 따라 선택될 수 있는 다양한 오브젝트들을 예시한 도면들이다.
도 7a를 참조하면, 프로세서(예컨대, 프로세서 211)는 리스트 710을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 도시된 바와 같이 오브젝트 선택 리스트 710에는 오브젝트들이 밀집될 수 있다. 사용자가 리스트 710에 대해 터치 입력을 할 경우, 사용자가 의도하지 않는 오브젝트가 선택될 수 있다. 예컨대, 프로세서 211은 오브젝트 711을 선택된 것으로 인식할 수 있다. 그러면, 프로세서 211은 리스트 710의 표시를 종료하고, 입력창(미도시)에 오브젝트 711을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 프로세서 211은 오브젝트 711의 위에 위치한 적어도 하나의 오브젝트(예컨대, 오브젝트 712)와 오브젝트 711의 밑에 위치한 적어도 하나의 오브젝트(예컨대, 오브젝트 713)를 포함하는 후보 리스트를, 입력창과 함께 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 예컨대, 오브젝트 711의 선택이 인식된 시점부터 지정된 시간이 경과되기 전에 후보 리스트에서 하나의 오브젝트가 선택되면, 프로세서 211은 후보 리스트의 표시를 종료하고, 후보 리스트에서 선택된 오브젝트를 상기 오브젝트 711 대신 입력창에 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 상기 지정된 시간이 만료될 때까지 아무런 선택도 없는 경우, 프로세서 211은 후보 리스트의 표시를 종료하고, 입력창에 오브젝트 711의 표시를 유지할 수 있다.
도 7b를 참조하면, 프로세서 211은 다수의 입력창 예컨대, 텍스트 입력창 721, 이메일 입력창 722, URL 입력창 723, 전화번호 입력창 724 및 텍스트 영역 입력창 725를 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 이들 중에서 하나 예컨대, 텍스트 입력창 721이 사용자에 의해 선택된 것으로 인식된 경우, 프로세서 211은 텍스트 입력창 721 내에 커서 726을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 프로세서 211은 이메일 입력창 722를 후보 오브젝트로 결정하고, 이메일 입력창 722을 나타내는 아이콘(미도시)을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 아이콘이 선택되면 프로세서 211은 아이콘의 표시를 종료하고, 커서 726을 이메일 입력창 722에 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
어떤 실시예에서는, 오브젝트는 도 7c에 도시된 바와 같은 텍스트 입력 박스 730, 도 7d에 도시된 바와 같은 수평 스크롤 바 741와 수평 스크롤 바 742, 도 7e에 도시된 바와 같은 버튼들 751, 752 및 753, 도 7f에 도시된 바와 같은 체크 박스들 761, 762, 763 및 764, 도 7g에 도시된 바와 같은 링크 설정된 주소들 771, 772 및 773이 될 수 있다. 사용자가 버튼 752의 상단에 대해 터치 입력을 할 경우, 프로세서 211은 버튼 752와 버튼 751을 포함하는 후보 리스트를, 버튼 752에 중첩되게 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 8a, 도 8b 및 도 8c는 본 발명의 다양한 실시예에 따른 커서의 위치를 재설정하는 절차를 설명하기 위한 텍스트 입력 박스들이다.
도 8a를 참조하면, 프로세서(예, 프로세서 211)는 텍스트 입력 박스 810을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 텍스트 입력 박스 810 내에는 문자들을 포함할 수 있다. 사용자는 텍스트 입력 박스 810에 대해 터치 입력을 할 수 있다. 이에 응답하여 프로세서 211은 터치 영역 820을 결정하고, 예컨대, 터치 영역 820의 중심점을 터치 지점으로 결정할 수 있다. 프로세서 211은 터치 지점을 기반으로 커서의 표시 위치를 결정할 수 있다. 예컨대, 프로세서 211은 터치 영역 820 내에 적어도 일부가 포함된 문자들(예컨대, I, j, k) 중에서 터치 지점과 가장 가까이에 있는 문자(예컨대, j)의 앞을 커서의 표시 위치로 결정할 수 있다. 다른 예로써 프로세서 211은 "j"의 뒤에 커서의 표시 위치로 결정할 수도 있다. 프로세서 211은 결정된 표시 위치에 커서를 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 8b를 참조하면, 프로세서 211은 팝업 창 830을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 팝업 창 830은 텍스트 입력 박스 810의 일부 영역을 나타내는 것으로, 프로세서 211은 일부 영역을 텍스트 입력 박스 810에 표시된 커서의 위치를 기반으로 결정할 수 있다. 예컨대, 프로세서 211은 "커서의 앞에 위치한 적어도 하나 이상의 문자(예, i)와, 커서와, 그리고 커서의 뒤에 위치한 적어도 하나 이상의 문자(예, j, k)를 포함하는 팝업 창 830"을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 여기서 디스플레이 모듈 260은 프로세서 211의 제어 하에, i, I(커서), j, k를 텍스트 입력 박스 810의 그것들 보다 확대하여 표시할 수 있다. 또한 디스플레이 모듈 260은 i, I(커서), j, k들의 간격을 좀 더 이격하여 표시할 수도 있다. 사용자는 팝업 창 830에 대해 터치 입력을 할 수 있다. 이에 응답하여 프로세서 211은 터치 영역 840을 결정하고, 터치 영역 840의 중심점을 터치 지점으로 결정할 수 있다.
도 8c를 참조하면, 프로세서 211은 팝업 창 830에 대한 터치 지점을 기반으로 커서의 표시 위치를 변경할 수 있다. 예컨대, 프로세서 211은 팝업 창 830의 문자들 중에서 터치 지점에 가장 가까운 문자가 예컨대, i인 경우, 커서의 표시 위치를 j 앞에서 I앞으로 변경할 수 있다.
도 9a, 도 9b, 도 9c 및 도 9d는 본 발명의 다른 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다. 도 10은 프로세서에서 인식 가능한 다양한 제스처들을 도시한 도면이다.
도 9a를 참조하면, 프로세서(예, 프로세서 211)는 웹페이지 910의 일부(예, 상단)를 화면에 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 사용자는 웹 페이지 910의 상단에 대해 다양한 제스처를 취할 수 있다. 예컨대, 사용자는 패닝(panning) 920을 취할 수 있다. 그런데, 터치 패널(예, 터치패널 252)은 패닝 920으로 인식하지 않고 예컨대, 탭(tap)으로 오 인식하여 탭에 해당되는 이벤트를 프로세서 211로 전달할 수 있다. 이러한 오인식이 발생될 수 있는 상황은 다음의 표 1로 설명될 수 있다.
제스처
(사용자 의도)		 제스처 분리 제스처
(오인식)		 보완 예
탭(클릭) 1. 핑거 다운(finger down)
2. 이동(방향성 포함 가능) 발생될 수 있음
3. 핑거 업(finger up)		 이동에 의해서 패닝으로 오인식될 수 있음 - 사용자의 제스처가 패닝으로 인식된 경우, 프로세서는 상기 패닝의 서브 제스처들(예컨대, 핑거 다운, 이동, 핑거 업)을 기반으로 탭이 패닝과 연관된 것으로 결정하고 탭을 후보 제스처로 결정함. 탭을 나타내는 아이콘 또는 버튼이 표시됨.
롱탭 1. 핑거 다운(일정 시간 이상)
2. 이동 발생될 수 있음.
3. 핑거 업		 핑거 다운의 시간이 짧으면 탭으로 오인식될 수 있음 - 사용자의 제스처가 탭으로 인식된 경우, 롱 탭, 더블탭 및 패닝이 후보 제스처로 결정됨. 후보 제스처들을 각각 나타내는 아이콘들 또는 버튼들이 표시됨.
더블탭 1. 핑거 다운
2. 이동 발생될 수 있음
3. 핑거 업
4. 핑거 다운(짧게)
5. 이동 발생될 수 있음
6. 핑거 업		 첫 번째 핑거 업과 두 번째 핑거 다운 사이의 시간이 길면 탭으로 오인식될 수 있음
패닝 1. 핑거 다운
2. 이동
3. 핑거 업		 이동 거리가 짧아서 탭으로 오인식될 수 있음
두 손가락 줌 1. 제 1 핑거 다운 및 제 2 핑거 다운
2. 제 1 핑거 이동 및 제 2 핑거 이동
3. 제 1 핑거 업 및 제 2 핑거 업		 제 1 핑거의 이동에 의해서 원치 않는 기능이 실행될 수 있음 - 사용자의 제스처가 제 1 핑거의 이동 및 제 2 핑거로 인식된 경우, 후보 제스처로써 두 손가락 줌을 나타내는 아이콘 또는 버튼이 표시됨.
표 1에서 핑거 다운은 물체(예, 손가락)가 터치스크린에 접촉하는 제스처가 될 수 있고, 이동은 물체가 터치스크린에 접촉한 상태에서 이동하는 제스처 일 수 있으며, 핑거 다운은 물체가 터치스크린에서 접촉 해제하는 제스처일 수 있다. 또는 표 1에서 핑거 다운은 물체가 미리 설정된 거리 이내로 터치스크린에 인접하는 제스처가 될 수도 있고, 이동은 물체가 미리 설정된 거리 이내로 터치스크린에 인접된 상태에서 이동하는 제스처가 될 수도 있으며, 핑거 업은 물체가 터치스크린으로부터 미리 설정된 거리 밖으로 벗어나는 제스처일 수 있다.
도 9b를 참조하면, 프로세서 211은 탭에 해당되는 오브젝트를 인식하고, 인식된 오브젝트에 대응되는 기능을 실행할 수 있다. 예컨대, 프로세서 211은 오브젝트에 링크되어 있는 웹 페이지 930을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 프로세서 211은 후보 리스트 940을 웹 페이지 930의 위에 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 여기서 후보 리스트 940은 인식된 제스처와 연관된 후보 제스처를 나타내는 아이콘(예컨대, 패닝 아이콘 941 및 줌인 아이콘 942)을 포함할 수 있다. 또한 후보 리스트 940은 후보 오브젝트로 포함할 수도 있다. 여기서 후보 오브젝트는 표시되지 않을 수도 있다. 예컨대, 메모리 204는 웹 페이지의 표시와 관련된 환경 설정 정보를 저장할 수 있는데, 여기서 환경 설정 정보는 후보 오브젝트 표시가 온(ON)으로 설정되어 있는지 또는 오프(OFF)로 설정되어 있는지 여부를 나타내는 값을 포함할 수 있다. 또한, 환경 설정 정보는 후보 제스처 표시가 온으로 설정되어 있는지 또는 오프로 설정되어 있는지 여부를 나타내는 값을 포함할 수 있다. 후보 오브젝트 표시가 오프로 설정되어 있고 후보 제스처 표시가 온으로 설정된 경우, 프로세서 211은 아이콘들만 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 후보 오브젝트 표시가 온으로 설정되어 있고 후보 제스처 표시가 온으로 설정된 경우, 프로세서 211은 후보 오브젝트와 아이콘들을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 이러한 환경 설정 정보는 사용자가 변경 가능한 정보일 수 있다. 예컨대, 프로세서 211은 사용자 입력(예컨대, 터치 입력, 키 입력, 음성 입력)에 응답하여 웹 페이지의 표시와 관련된 환경 설정 정보를 변경할 수 있다. , 프로세서 211은 환경 설정 정보와 무관하게, 후보 오브젝트가 없는 경우, 후보 제스처를 나타내는 정보만을 표시하도록 제어할 수 있다.
도 9c 및 도 9d를 참조하면, 사용자는 손가락 950으로 패닝 아이콘 941에 대해 터치할 수 있다. 터치에 응답하여 프로세서 211은 후보 리스트 940의 표시를 종료할 수 있다. 또한 프로세서 211은 패닝(panning) 920에 응답하여, 웹 페이지 910의 하단을 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
프로세서 221이 인식 가능한 사용자의 제스처는 패닝 외에도 다양하다. 예컨대, 프로세서 221에서 인식 가능한 사용자의 제스처는 도 10을 참조하면, 한 손가락 드래그(one finger drag), 한손 드래그(single hand drag), 한 손가락 탭(one finger tap), 미디어 드래그(media drag; 여기서 미디어는 예컨대, 후보 리스트), 두 손가락 줌 아웃(two finger zoom out), 두 손 줌 아웃(two hand zoom out), 한 손가락 더블 탭(one finger double tap), 미디어 축소(media shrink), 두 손가락 줌인(two finger zoom in), 두 손 줌인(two hand zoom in), 두 손가락 탭(two finger tap), 미디어 확대(media expand), 두 손가락 회전(two finger rotate), 두 손 회전(two hand rotate), 두 손 더블 탭(two finger double tap), 미디어 회전(media rotate), 두 손가락 잠금 및 한 손가락 상하 회전(lock two + one finger tilt), 두 손가락 잠금 및 한 손가락 좌우 회전(lock two + one finger pan), 미디어 표시 종료(media close), 세 손가락 상하 회전(three finger tilt), 세 손가락 좌우 회전(three finger pan), 세 손가락 플릭(three finger flick), 정보 숨김(information hide), 두 손가락 수직 스크롤(two finger vertical scroll), 두 손가락 수평 스크롤(two finger horizontal scroll), 두 손가락 플릭(two finger flick), 정보 표시(information show) 등을 포함할 수 있다. 도 10에 예시된 바와 같은 제스처는 사용자가 물체(예, 손가락)를 터치스크린에 접촉한 상태에서 취한 2차원 제스처이거나 또는, 사용자가 물체(예, 손가락)를 터치스크린으로부터 소정 거리 이내로 인접한 상태에서 취한 3차원 제스처일 수 있다.
전자 장치는 오브젝트들 중에서 사용자에 의해 선택된 오브젝트가 인식된 경우, 인식된 오브젝트의 기능을 실행하고, 후보 리스트를 표시할 수 있다. 여기서 후보 리스트에는 선택되지 않은 모든 오브젝트들이 포함될 수 있다. 또한, 전자 장치는 선택되지 않은 오브젝트들 중 일부만 후보로 결정하여 표시할 수도 있다.
또한, 전자 장치는 사용자의 제스처를 인식하고, 인식된 제스처의 기능을 실행하며, 후보 제스처를 나타내는 정보(예, 아이콘)를 표시할 수 있다. 여기서 전자 장치는 표시 대상(예, 웹 페이지)에서 인식 가능한 모든 제스처들을 후보로 결정할 수 있다. 또는 전자 장치는 모든 제스처들 중에서, 인식된 제스처와 연관된 제스처를 후보로 결정할 수도 있다.
프로세서(예, 프로세서 211)는 다음 표 2와 같은 터치 지점, 이력 정보, 민감도 및 사용 빈도 중 적어도 하나를 기반으로 오브젝트들 중 후보 오브젝트를 추려낼 수 있고 또한, 제스처들 중 후보 제스처를 추려낼 수 있다.
사용자 사용 빈도 - 프로세서는 오브젝트에 대한 사용자의 선택 빈도(예컨대, 최근 일주일간 사용자가 해당 오브젝트를 선택한 횟수를 카운트함)를 기반으로 후보 오브젝트를 결정함.
- 프로세서는 제스처에 대한 사용자의 행위 빈도(예컨대, 최근 일주일간 사용자가 해당 제스처를 취한 횟수를 카운트함)를 기반으로 후보 제스처를 결정함.
민감도 - 새로운 웹페이지나 새 창의 표시와 같이 프로세서의 처리량이 다른 프로세서보다 상대적으로 많은 작업의 경우 프로세서는 해당 작업의 민감도를 높게 설정함. 민감도가 높을수록 오브젝트들이 후보로 결정됨.
- 체크 박스나 버튼의 상태 변화와 같이 프로세서의 처리량이 다른 프로세서보다 상대적으로 적은 작업의 경우 민감도 낮음. 민감도가 낮을수록 오브젝트들이 후보로 결정됨.
- 프로세서는 작업의 처리를 위해 사용되는 시스템 자원(예, CPU, 메모리)의 사용률을 기록하고 또한, 해당 작업의 처리에 소요되는 시간을 기록함. 프로세서는 이러한 기록 정보를 기반으로 해당 작업의 민감도를 설정함.
- 프로세서는 기록 정보를 사전(dictionary) 형식으로 DB 화함.
이력 - 프로세서는 오인식된 오브젝트와 제스처에 관한 오류 정보를 저장하고, 오류 정정된 오브젝트와 제스처에 관한 정정 정보를 저장함. 예컨대, 오류 정보와 정정 정보는 상호 연관되어 저장됨.
- 프로세서는 오류 및 정정 정보를 기반으로 후보 오브젝트 및/또는 후보 제스처를 결정함.
위치(locality) - 프로세서는 커맨드(command)(예컨대, 터치스크린에 대해 사용자가 취한 제스처)가 발생된 화면상의 위치(예, 터치 지점)에서 소정의 범위 또는 커맨드(예, 핑거 다운)가 발생된 시점으로부터 소정의 시간 내에 존재할 수 있는 커맨드들(예, 이동 및 핑거 업)을 기반으로 후보 오브젝트 및/또는 후보 제스처를 결정함.
도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f 및 도 11g는 후보들을 배열하는 방법을 설명하기 위한 도면들이다.
도 11a, 도 11b, 도 11c 및 도 11d를 참조하면, 디스플레이 모듈(예, 디스플레이 모듈 260)은 후보들 중에서 우선순위가 가장 높은 후보 1(예, 오브젝트 또는 제스처)을 정중앙에 표시하고, 그 다음 순위들 2 내지 9를 후보 1을 둘러싼 원 형태로 표시할 수 있다. 전자 장치 200이 예컨대, 스마트폰이라 한다면, 프로세서 211은 센서 모듈 240(예컨대, 그립 센서 240F)에서 계측 또는 감지된 정보를 이용하여 전자 장치 200의 파지 여부를 결정하고, 전자 장치 200이 파지된 경우 파지한 손이 왼손인지 또는 오른손인지 결정할 수 있다. 파지한 손이 왼손으로 결정된 경우, 프로세서 211은, 왼손으로 전자 장치 200을 파지한 상태에서 왼손의 손가락(예, 엄지)으로 우선순위 높은 후보를 좀 더 쉽게 선택할 수 있게, 우선순위 높은 후보를 상대적으로 그 보다 낮은 것보다 왼쪽에 배치할 수 있다. 예컨대, 디스플레이 모듈 260은 프로세서 211의 제어 하에, 도 11a 및 도 11b를 참조하면 후보 2를 왼쪽 편에 표시할 수 있다. 어떤 실시예에서는, 오른손으로 결정되면 프로세서 211은 우선순위 높은 후보를 상대적으로 그 보다 낮은 것보다 오른쪽에 배치할 수 있다. 예컨대, 도 11c 및 도 11d을 참조하면 후보 2가 오른쪽 편에 표시될 수 있다.
도 11e 및 도 11f를 참조하면, 화면이 여러 영역들로 구분되고, 이러한 영역들 중 한 곳에 후보들이 배치될 수 있다. 예컨대, 프로세서 211은 우선순위가 가장 높은 후보 1을 화면의 기 지정된 지점(예, 화면 정 중앙)에 배치하고, 후보 1이 배치된 지점을 중심으로 화면을 사분면 A, B, C 및 D로 구분할 수 있다. 파지한 손이 오른손으로 결정된 경우, 프로세서 211은 그 다음 순위의 후보들(예컨대, 2, 3 및 4)를 A 사분면에 배치할 수 있다. 파지한 손이 오른손으로 결정된 경우, 프로세서 211은 후보들 2, 3 및 4를 D 사분면에 배치할 수 있다.
도 11g를 참조하면, 프로세서 211은 우선순위가 가장 후보 1을 화면의 지점(예, 화면 정 중앙)에 배치할 수 있다. 그리고 프로세서 211은 그 다음 순위의 후보들(예, 2, 3, 4, 5, 6, 7, 8 및 9)을 나선 형태로 차례대로 배치할 수 있다.
도 12, 도 13a, 도 13b 및 도 13c는 후보를 다양한 형태로 표시하는 방법을 설명하기 위한 도면들이다.
도 12를 참조하면, 디스플레이 모듈(예, 디스플레이 모듈 260)은 프로세서(예, 프로세서 211)의 제어 하에, 후보 오브젝트 1210을, 사용자가 해당 오브젝트를 쉽게 식별할 수 있게 하기 위하여, 텍스트 형태로 표시할 수 있다. 디스플레이 모듈 260은 후보 오브젝트 1220을 썸네일 형태로 표시할 수도 있다. 또한 디스플레이 모듈 260은 프로세서 211의 제어 하에, 후보 제스처들 1230, 1240, 1250 및 126을, 도 10을 참조하여 해당 제스처를 이미지화한 아이콘 형태로 표시할 수 있다.
도 13a를 참조하면, 프로세서 211은 웹 페이지 1310에 대한 손가락 1320의 탭 1330과 관련된 이벤트를 터치 패널 252로부터 수신하고, 탭 1330의 터치 지점을 결정할 수 있다. 프로세서 211은 터치 지점을 기반으로 사용자에 의해 선택된 오브젝트를 인식할 수 있다. 또한 프로세서 211은 터치 지점, 이력 정보, 민감도 및 사용 빈도 중 적어도 하나를 기반으로, 웹 페이지 1310에서 선택된 오브젝트를 제외한 나머지들 중에서 후보 오브젝트를 추려낼 수 있다. 예컨대, 프로세서 211은 터치 지점을 중심으로 미리 설정된 반경 내의 영역을 터치 영역으로 결정하고, 터치 영역 내에 적어도 일부 존재하는 오브젝트를 후보로 결정할 수 있다. 결정된 후보들이 각각 이미지인 경우 프로세서 211은 후보들(예컨대, 1341, 1342, 1343, 1344)을 썸네일 형태로 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 13b 및 도 13c를 참조하면, 후보가 이미지 1350인 경우 프로세서 211은 이미지 1350을 썸네일로 축소하고, 썸네일을 표시하도록 제어할 수 있다. 또는 프로세서 211은 이미지 1350에서 일부(예, 메인 콘텐츠 1351)을 추출하고, 추출된 메인 콘텐츠 1351을 썸네일로 축소하고, 썸네일을 표시하도록 제어할 수도 있다. 여기서 메인 콘텐츠 1351의 추출을 위해 프로세서 211은 이미지 1350에 태깅된 태그 정보를 이용할 수 있다. 태그 정보는 이미지와 관련된 부가 정보를 의미하며, 그 파일 형식은 예컨대, 교환이미지 파일 형식(exchangeable image file format; Exif)이다. 예컨대, 태그 정보는 오브젝트(예, 메인 콘텐츠 1351)의 위치 정보와 오브젝트의 식별 정보(예컨대, 인물의 이름, 주소 및 전화 번호, 사물의 명칭 등)를 포함할 수 있다. 태그 정보가 없는 경우, 프로세서 211은 공지된 다양한 이미지 인식 기법들을 이용하여, 메인 콘텐츠 1351을 추출할 수 있다.
도 14는 후보 리스트의 운영 방법의 일례를 설명하기 위한 도면이다.
도 14를 참조하면, 프로세서(예, 프로세서 211)는 후보 리스트 1410을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 후보 리스트 1410에는 후보 리스트 1410을 최소화하기 위한 버튼 1411, 후보 리스트 1410의 최대화하기 위한 버튼 1412 및 후보 리스트 1410의 표시를 종료하기 위한 버튼 1413이 포함될 수 있다. 사용자가 최소화 버튼 1411을 선택한 경우 프로세서 211은 후보 리스트 1410을 최소화(예, 아이콘화)하고, 이를 표시하도록 제어할 수 있다. 사용자가 최대화 버튼 1412를 선택한 경우 프로세서 211은 후보 리스트 1410을 최대화(예, 화면 전체 크기로)하고, 이를 표시하도록 제어할 수 있다. 사용자가 종료 버튼 1413을 선택한 경우 프로세서 211은 후보리스트 1410의 표시를 종료할 수 있다.
도 15a, 도 15b 및 도 15c는 본 발명의 또 다른 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 15a를 참조하면, 프로세서(예, 프로세서 211)는 웹 페이지 1510을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 프로세서 211은 웹 페이지 1510에서 터치 입력(예, 탭 1520)과 관련된 이벤트를 터치 패널 252로부터 수신할 수 있다.
도 15b를 참조하면, 프로세서 211은 탭 1520에 대응되는 오브젝트를 인식하고, 인식된 오브젝트에 대응되는 웹 페이지를 로딩(예컨대, 메모리 204에서 리딩 또는 통신 모듈 230을 통해 외부 장치로부터 다운로딩)할 수 있다. 웹 페이지 로딩 동안 프로세서 211은 로딩 안내 이미지 1530을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 프로세서 211은 후보 리스트 1540을 생성하고, 이를 로딩 안내 이미지 1530의 위에 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 사용자는 후보 리스트 1540에서 후보 오브젝트 1541을 선택할 수 있다.
도 15c를 참조하면, 후보 오브젝트 1541의 선택에 응답하여 프로세서 211은 상기 로딩을 취소하고, 후보 오브젝트 1541에 대응되는 웹 페이지 1550을 로딩하고, 웹 페이지 1550을 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 16a, 도 16b 및 도 16c는 본 발명의 또 다른 실시예에 따른 웹페이지 표시 절차를 설명하기 위한 웹 브라우저 화면들이다.
도 16a를 참조하면, 프로세서(예, 프로세서 211)는 웹 페이지 1610을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 프로세서 211은 웹 페이지 1610에서 터치 입력(예, 탭 1620)과 관련된 이벤트를 터치 패널 252로부터 수신할 수 있다.
도 16b를 참조하면, 프로세서 211은 탭 1620에 대응되는 오브젝트를 인식하고, 인식된 오브젝트에 대응되는 웹 페이지를 로딩할 수 있다. 웹 페이지 로딩 동안 프로세서 211은 로딩 안내 이미지 1630을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 프로세서 211은 후보 오브젝트(예, 입력창 1640)를 로딩 안내 이미지 1630의 위에 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 사용자는 입력창 1640을 선택할 수 있다.
도 16c를 참조하면, 입력창 1640의 선택에 응답하여 프로세서 211은 상기 로딩을 취소하고, 웹 페이지 1610을 다시 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 또한 입력창 1640의 선택에 응답하여 프로세서 211은 키패드 1650을 웹 페이지 1610의 위에 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 17a 및 도 17b는 후보 오브젝트들의 리스트를 화면에 위치하는 방법을 설명하기 위한 도면들이다.
도 17a를 참조하면, 프로세서(예, 프로세서 211)는 웹 페이지 1710을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 또한 프로세서 211은 웹 페이지 1710의 위에 후보 리스트 1720을 표시하도록 디스플레이 모듈 260을 제어할 수 있다.
도 17b를 참조하면, 프로세서 211은 화면을 예컨대, 둘로 분할하여 상단에는 웹 페이지 1710을 표시하고 하단에는 후보 리스트 1720을 표시하도록 디스플레이 모듈 260을 제어할 수도 있다.
도 18a, 도 18b 및 도 18c는 후보 리스트의 운영 여부를 설정하는 방법을 설명하기 위한 도면들이다.
도 18a를 참조하면, 프로세서(예, 프로세서 211)는 환경 설정 정보 1810을 표시하도록 디스플레이 모듈(예, 디스플레이 모듈 260)을 제어할 수 있다. 사용자는 환경 설정 정보 1810에서 데스크 톱 보기 항목 1811에 대해 터치 입력(예, 탭)할 수 있다. 도 18b를 참조하면, 항목 1811의 선택에 응답하여 프로세서 211은 항목 1811의 설정 정보 1820을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 사용자는 설정 정보 1820에서 추천 동작 버튼 활성화 항목 1821에 대해 터치 입력(예, 탭)할 수 있다. 도 18c를 참조하면, 항목 1821의 선택에 응답하여 프로세서 211은 항목 1821의 설정 정보 1830을 표시하도록 디스플레이 모듈 260을 제어할 수 있다. 사용자가 설정 정보 1830에서 온(ON)을 선택한 경우, 프로세서 211은 후보(예, 후보 오브젝트, 후보 제스처)를 결정하여 표시하는 기능을 수행할 수 있다. 그렇지 않고 오프(OFF)가 선택된 경우 상기의 기능은 수행되지 않는다.
도 19는 본 발명의 실시예에 따른 기능 실행 방법을 설명하기 위한 흐름도이다.
도 19를 참조하면, 동작 1910에서 전자 장치(예, 전자 장치 200)는 오브젝트들(예, 제 1 웹 페이지에 포함된 이미지, 텍스트 등)을 터치스크린에 표시할 수 있다. 동작 1920에서 전자 장치 200은 터치스크린에 대한 사용자의 제 1 제스처를 인식할 수 있다. 동작 1930에서 전자 장치 200은 오브젝트들 중에서 제 1 제스처에 해당되는 제 1 오브젝트를 결정할 수 있다. 동작 1940에서 전자 장치 200은 제 1 오브젝트에 해당되는 제 1 기능을 실행할 수 있다. 또한 동작 1940에서 전자 장치 200은 제 1 오브젝트를 제외한 오브젝트들 중에서 적어도 하나의 오브젝트를 후보로써 결정하고, 후보 오브젝트를 포함하는 후보 리스트를 표시할 수 있다. 또한 동작 1940에서 전자 장치 200은 제 1 제스처를 제외한 제스처들 중에서 적어도 하나의 제스처를 후보로써 결정하고, 결정된 후보 제스처를 나타내는 정보를 상기 후보리스트에 포함시켜 표시할 수도 있다. 동작 1950에서 전자 장치 200은 후보 리스트에서 제 2 제스처를 나타내는 정보 또는 제 2 오브젝트의 선택을 인식할 수 있다. 제 2 제스처의 정보 또는 제 2 오브젝트에 대한 선택에 응답하여 동작 1960에서 전자 장치 200은 제 1 기능의 실행을 취소하고 제 2 제스처 또는 제 2 오브젝트에 해당되는 제 2 기능을 실행할 수 있다.
어떤 실시예들에 따르면, 전자 장치를 통하여 오브젝트를 처리하는 방법은 복수의 오브젝트들을 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작; 상기 복수의 오브젝트들 중 제1 오브젝트에 대응하는 입력을 획득하는 동작; 상기 복수의 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하는 동작; 및 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
상기 제 2 오브젝트를 결정하는 동작은, 상기 입력과 연관된 터치 영역을 결정하는 동작; 및 상기 터치 영역에 적어도 일부가 표시되는 오브젝트를 상기 제 2 오브젝트로 선택하는 동작을 포함할 수 있다.
상기 표시하는 동작은, 상기 실행 정보와 상기 오브젝트 정보를 동시에 표시하는 동작을 포함할 수 있다. 대안적으로, 상기 표시하는 동작은, 상기 실행 정보를 표시하는 동작; 상기 디스플레이와 연관된 지정된 사용자 입력을 획득하는 동작; 및 상기 지정된 사용자 입력에 기반하여 상기 오브젝트 정보를 표시하는 동작을 포함할 수도 있다. 대안적으로, 상기 표시하는 동작은, 상기 제 1 오브젝트에 대한 오브젝트 정보를 표시하는 동작을 포함할 수도 있다.
상기 전자 장치를 통하여 오브젝트를 처리하는 방법은 상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 입력에 반응하여, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행을 취소하는 동작을 더 포함할 수도 있다.
또한, 상기 전자 장치를 통하여 오브젝트를 처리하는 방법은 상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 제 2입력을 획득하는 동작; 상기 제 2 입력에 대응하는 기능에 대한 실행정보를 화면에 표시하는 동작을 더 포함할 수도 있다.
또한, 상기 전자 장치를 통하여 오브젝트를 처리하는 방법은 기 설정된 시간이 경과될 경우 상기 오브젝트 정보의 표시를 종료하는 동작을 더 포함할 수도 있다. 상기 기 설정된 시간은, 상기 기능의 실행을 위한 데이터를 로딩하는 시간을 포함할 수 있다. 상기 시간은, 상기 데이터를 메모리로부터 리딩하는 시간 또는 상기 데이터를 외부 장치로부터 다운로드하는 시간을 포함할 수 있다. 상기 데이터가 로딩되는 동안, 지정된 이미지는 상기 오브젝트 정보와 함께 표시될 수 있다.
상기 오브젝트 정보를 표시하는 동작은, 상기 제 1 오브젝트를 제외한 상기 오브젝트들 중에서 적어도 하나의 오브젝트를 후보 오브젝트로써 결정하는 동작; 및 상기 입력을 제외한 적어도 하나 이상의 제 2 입력을 후보 입력으로써 결정하는 동작 중 적어도 하나와, 상기 후보 오브젝트 및 상기 후보 입력 중 적어도 하나를 포함하는 후보 리스트를 표시하는 동작을 포함할 수 있다. 상기 후보 입력을 결정하는 동작은, 상기 입력의 구성 요소인 서브 입력들을 기반으로 상기 제 입력에 연관된 적어도 하나의 입력을 후보 입력으로써 결정하는 동작을 포함할 수 있다.
상기 제 2 오브젝트를 결정하는 동작은, 상기 입력에 대응되는 터치스크린의 터치 지점을 결정하는 동작; 상기 터치 지점을 중심으로 미리 설정된 반경 내의 영역을 터치 영역으로 결정하는 동작; 상기 터치 영역 내에 적어도 일부 존재하는 오브젝트를 후보 오브젝트로써 결정하는 동작을 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치를 통하여 오브젝트를 처리하는 방법은 사용자의 입력을 획득하는 동작; 및 상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를, 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 복수의 오브젝트들을 표시하는 디스플레이 모듈; 상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및 프로세서를 포함하고, 상기 프로세서는, 상기 오브젝트들 중 제 1 오브젝트에 대응하는 입력을 상기 터치 패널을 통해 획득하고, 상기 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하고, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 표시하도록 상기 디스플레이 모듈을 제어할 수 있다.
상기 프로세서는, 상기 입력과 연관된 터치 영역을 결정하고, 상기 터치 영역에 적어도 일부가 표시되는 오브젝트를 상기 제 2 오브젝트로 선택할 수 있다.
상기 프로세서는, 상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 입력에 반응하여, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행을 취소할 수 있다.
상기 프로세서는, 상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 제 2입력을 획득하고, 상기 제 2 입력에 대응하는 기능에 대한 실행정보를 화면에 표시하도록 상기 디스플레이 모듈을 제어할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이 모듈; 상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및 상기 터치 패널을 통하여 사용자의 입력을 획득하고, 상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를 표시하도록 상기 디스플레이 모듈을 제어하는 프로세서를 포함할 수 있다.
상술한 바와 같은 본 개시의 다양한 실시예에 따른 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 개시의 다양한 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.
그리고 본 명세서와 도면에 발명된 실시예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 본 발명의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 102, 104 : 전자 장치 110 : 버스
120 : 프로세서 130 : 메모리
131, 310 : 커널 132, 330 : 미들웨어
133, 360 : 어플리케이션 프로그래밍 인터페이스(API)
134, 370 : 어플리케이션 140 : 사용자 입력 모듈
150 : 디스플레이 모듈 160 : 통신 모듈
162 : 네트워크 164 : 서버
200 : 하드웨어 210 : 프로세서
211 : 어플리케이션 프로세서(AP)
213 : 커뮤니케이션 프로세서(CP)
214 : SIM 카드 220 : 메모리
222 : 내장메모리 224 : 외장메모리
230 : 통신 모듈 231 : 무선 통신 모듈
233 : Wi-Fi 234 : RF 모듈
235 : BT 237 : GPS
239 : NFC 240 : 센서 모듈
240A : 제스쳐 센서 240B : 자이로 센서
240C : 기압 센서 240D : 마그네틱 센서
240E : 가속도 센서 240F : 그립 센서
240G : 근접 센서 240H : RGB 센서
240I : 생체 센서 240J : 온/습도 센서
240K : 조도 센서 240M : UV 센서
250 : 사용자 모듈 252 : 터치 패널
254 : 펜 센서 256 : 키
258 : 울트라 소닉 260 : 디스플레이 모듈
262 : 패널 264 : 홀로그램
270 : 인터페이스 272 : HDMI
274 : USB 276 : 프로젝터
278 : D-SUB 280 : 오디오 코덱
282 : 스피커 284 : 리시버
286 : 이어폰 288 : 마이크
291 : 카메라 모듈 295 : 전력 관리 모듈
296 : 배터리 297 : 인디케이터
298 : 모터 300 : 프로그래밍 모듈
311 : 시스템 리소스 매니저 312 : 디바이스 드라이버
335 : 런타임 라이브러리 341 : 어플리케이션 매니저
342 : 윈도우 매니저 343 : 멀티미디어 매니저
344 : 리소스 매니저 345 : 파워 매니저
346 : 데이터베이스 매니저 347 : 패키지 매니저
348 : 연결 매니저 349 : 통지 매니저
350 : 위치 매니저 351 : 그래픽 매니저
352 : 보안 매니저 371 : 홈
372 : 다이얼러 373 : SMS/MMS
374 : IM 375 : 브라우저
376 : 카메라 377 : 알람
378 : 컨택트 379 : 음성다이얼
380 : 이메일 381 : 달력
382 : 미디어 플레이어 383 : 앨범
384 : 시계

Claims (20)

  1. 전자 장치를 통하여 오브젝트를 처리하는 방법에 있어서,
    복수의 오브젝트들을 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작;
    상기 복수의 오브젝트들 중 제1 오브젝트에 대응하는 입력을 획득하는 동작;
    상기 복수의 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하는 동작; 및
    상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 상기 디스플레이를 통하여 표시하는 동작을 포함하는 방법.
  2. 제 1 항에 있어서, 상기 제 2 오브젝트를 결정하는 동작은,
    상기 입력과 연관된 터치 영역을 결정하는 동작; 및
    상기 터치 영역에 적어도 일부가 표시되는 오브젝트를 상기 제 2 오브젝트로 선택하는 동작을 포함하는 방법.
  3. 제 1 항에 있어서, 상기 표시하는 동작은,
    상기 실행 정보와 상기 오브젝트 정보를 동시에 표시하는 동작을 포함하는 방법.
  4. 제 1 항에 있어서, 상기 표시하는 동작은,
    상기 실행 정보를 표시하는 동작;
    상기 디스플레이와 연관된 지정된 사용자 입력을 획득하는 동작; 및
    상기 지정된 사용자 입력에 기반하여 상기 오브젝트 정보를 표시하는 동작을 포함하는 방법.
  5. 제 1 항에 있어서, 상기 표시하는 동작은,
    상기 제 1 오브젝트에 대한 오브젝트 정보를 표시하는 동작을 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 입력에 반응하여, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행을 취소하는 동작을 더 포함하는 방법.
  7. 제 1항에 있어서,
    상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 제 2입력을 획득하는 동작;
    상기 제 2 입력에 대응하는 기능에 대한 실행정보를 화면에 표시하는 동작을 더 포함하는 방법.
  8. 제 1 항에 있어서,
    기 설정된 시간이 경과될 경우 상기 오브젝트 정보의 표시를 종료하는 동작을 더 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 기 설정된 시간은,
    상기 기능의 실행을 위한 데이터를 로딩하는 시간을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 시간은,
    상기 데이터를 메모리로부터 리딩하는 시간 또는 상기 데이터를 외부 장치로부터 다운로드하는 시간을 포함하는 방법.
  11. 제 9 항에 있어서,
    상기 데이터를 로딩하는 동안 지정된 이미지를 상기 오브젝트 정보와 함께 표시하는 동작을 더 포함하는 방법.
  12. 제 1 항에 있어서,
    상기 오브젝트 정보를 표시하는 동작은,
    상기 제 1 오브젝트를 제외한 상기 오브젝트들 중에서 적어도 하나의 오브젝트를 후보 오브젝트로써 결정하는 동작; 및 상기 입력을 제외한 적어도 하나 이상의 제 2 입력을 후보 입력으로써 결정하는 동작 중 적어도 하나와,
    상기 후보 오브젝트 및 상기 후보 입력 중 적어도 하나를 포함하는 후보 리스트를 표시하는 동작을 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 후보 입력을 결정하는 동작은,
    상기 입력의 구성 요소인 서브 입력들을 기반으로 상기 제 입력에 연관된 적어도 하나의 입력을 후보 입력으로써 결정하는 동작을 포함하는 방법.
  14. 제 1 항에 있어서,
    상기 제 2 오브젝트를 결정하는 동작은,
    상기 입력에 대응되는 터치스크린의 터치 지점을 결정하는 동작;
    상기 터치 지점을 중심으로 미리 설정된 반경 내의 영역을 터치 영역으로 결정하는 동작;
    상기 터치 영역 내에 적어도 일부 존재하는 오브젝트를 후보 오브젝트로써 결정하는 동작을 포함하는 방법.
  15. 전자 장치를 통하여 오브젝트를 처리하는 방법에 있어서,
    사용자의 입력을 획득하는 동작; 및
    상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를, 상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여 표시하는 동작을 포함하는 방법.
  16. 복수의 오브젝트들을 표시하는 디스플레이 모듈;
    상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 오브젝트들 중 제 1 오브젝트에 대응하는 입력을 상기 터치 패널을 통해 획득하고, 상기 오브젝트들 중 상기 입력과 연관된 제 2 오브젝트를 결정하고, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행 정보와 상기 제 2 오브젝트에 대한 오브젝트 정보를 표시하도록 상기 디스플레이 모듈을 제어하는 것을 특징으로 하는 전자 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는,
    상기 입력과 연관된 터치 영역을 결정하고, 상기 터치 영역에 적어도 일부가 표시되는 오브젝트를 상기 제 2 오브젝트로 선택하는 것을 특징으로 하는 전자 장치.
  18. 제 16 항에 있어서,
    상기 프로세서는,
    상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 입력에 반응하여, 상기 제 1 오브젝트에 대응하는 기능에 대한 실행을 취소하는 것을 특징으로 하는 전자 장치.
  19. 제 16 항에 있어서,
    상기 프로세서는,
    상기 제 2 오브젝트에 대한 오브젝트 정보에 대응하는 제 2입력을 획득하고, 상기 제 2 입력에 대응하는 기능에 대한 실행정보를 화면에 표시하도록 상기 디스플레이 모듈을 제어하는 것을 특징으로 하는 전자 장치.
  20. 디스플레이 모듈;
    상기 디스플레이 모듈의 터치스크린에 설치되는 터치 패널; 및
    상기 터치 패널을 통하여 사용자의 입력을 획득하고, 상기 획득된 입력에 대응하는 기능에 대한 실행 정보와 상기 획득된 입력을 제외한 적어도 하나 이상의 제 2 입력에 대한 입력 정보를 표시하도록 상기 디스플레이 모듈을 제어하는 프로세서를 포함하는 전자 장치.
KR1020130160954A 2013-12-23 2013-12-23 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치 KR20150073354A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130160954A KR20150073354A (ko) 2013-12-23 2013-12-23 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치
EP14873959.2A EP3087463A4 (en) 2013-12-23 2014-11-26 Method and apparatus for processing object provided through display
PCT/KR2014/011436 WO2015099300A1 (en) 2013-12-23 2014-11-26 Method and apparatus for processing object provided through display
CN201480070621.5A CN105849683A (zh) 2013-12-23 2014-11-26 用于处理通过显示器提供的对象的方法和设备
US14/581,932 US20150177957A1 (en) 2013-12-23 2014-12-23 Method and apparatus for processing object provided through display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160954A KR20150073354A (ko) 2013-12-23 2013-12-23 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150073354A true KR20150073354A (ko) 2015-07-01

Family

ID=53400038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160954A KR20150073354A (ko) 2013-12-23 2013-12-23 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US20150177957A1 (ko)
EP (1) EP3087463A4 (ko)
KR (1) KR20150073354A (ko)
CN (1) CN105849683A (ko)
WO (1) WO2015099300A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720504B2 (en) * 2013-02-05 2017-08-01 Qualcomm Incorporated Methods for system engagement via 3D object detection
USD762225S1 (en) * 2014-06-17 2016-07-26 Beijing Qihoo Technology Co., Ltd Display screen or portion thereof with a graphical user interface
USD822060S1 (en) * 2014-09-04 2018-07-03 Rockwell Collins, Inc. Avionics display with icon
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
CN105930079A (zh) * 2016-04-15 2016-09-07 上海逗屋网络科技有限公司 用于在多点触摸终端上执行用户操作的方法及设备
KR20180021515A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
TWI638306B (zh) * 2016-11-03 2018-10-11 禾瑞亞科技股份有限公司 觸控處理裝置、方法與電子系統
CN109213413A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 一种推荐方法、装置、设备和存储介质
CN109271088A (zh) * 2018-09-13 2019-01-25 广东小天才科技有限公司 电子设备的操作响应方法、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100260760B1 (ko) * 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치
CN1717648A (zh) * 2002-11-29 2006-01-04 皇家飞利浦电子股份有限公司 具有触摸区域的移动表示的用户界面
GB2434286B (en) * 2006-01-12 2008-05-28 Motorola Inc User interface for a touch-screen based computing device and method therefor
TWI328185B (en) * 2006-04-19 2010-08-01 Lg Electronics Inc Touch screen device for potable terminal and method of displaying and selecting menus thereon
KR101592296B1 (ko) * 2008-09-03 2016-02-05 엘지전자 주식회사 이동 단말기 및 그의 객체 선택과 실행 방법
KR101645291B1 (ko) * 2009-12-21 2016-08-03 삼성전자주식회사 터치스크린을 구비한 화상형성장치 및 그 장치에서 입력 문자의 편집 방법
GB2482339A (en) * 2010-07-30 2012-02-01 Jaguar Cars Computing device with improved function element selection
US9891818B2 (en) * 2010-12-30 2018-02-13 International Business Machines Corporation Adaptive touch-sensitive displays and methods
US8548263B2 (en) * 2011-01-19 2013-10-01 Microsoft Corporation Delayed image decoding
WO2013169262A1 (en) * 2012-05-11 2013-11-14 Empire Technology Development Llc Input error remediation

Also Published As

Publication number Publication date
US20150177957A1 (en) 2015-06-25
WO2015099300A1 (en) 2015-07-02
CN105849683A (zh) 2016-08-10
EP3087463A1 (en) 2016-11-02
EP3087463A4 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
US10402065B2 (en) Method and apparatus for operating a virtual keyboard
EP3171242B1 (en) Electronic device and method for configuring display thereof
KR102162836B1 (ko) 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
EP3082028B1 (en) Apparatus and method for providing information via portion of display
US10599336B2 (en) Method of displaying content and electronic device adapted to the same
CN107005807B (zh) 控制方法及其电子装置
KR20150073354A (ko) 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치
US20150128068A1 (en) Method for operating message application and electronic device implementing the same
EP3220261B1 (en) Multiple display device and method of operating the same
US20160004425A1 (en) Method of displaying graphic user interface and electronic device implementing same
CN108463799B (zh) 电子设备的柔性显示器及其操作方法
KR20150051663A (ko) 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자장치
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
KR20170071960A (ko) 전자 장치의 사용자 인터페이스 제공 방법 및 장치
KR102206053B1 (ko) 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
CN105446611B (zh) 用于对触摸输入进行处理的装置及其方法
KR20150111221A (ko) 페이지 구성 방법 및 이를 지원하는 전자장치
US10691335B2 (en) Electronic device and method for processing input on view layers
KR102157858B1 (ko) 전력 소모를 줄일 수 있는 전자 장치 및 방법
US10055119B2 (en) User input method and apparatus in electronic device
CN105446619B (zh) 用于识别物体的装置和方法
KR20150051278A (ko) 오브젝트 이동 방법 및 이를 구현하는 전자 장치
US20150325254A1 (en) Method and apparatus for displaying speech recognition information
KR20150117968A (ko) 입력방향에 따라 기능을 전환하는 전자 장치 및 방법
US10303351B2 (en) Method and apparatus for notifying of content change

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid