Nothing Special   »   [go: up one dir, main page]

CN103189831A - 电子装置 - Google Patents

电子装置 Download PDF

Info

Publication number
CN103189831A
CN103189831A CN201180052073XA CN201180052073A CN103189831A CN 103189831 A CN103189831 A CN 103189831A CN 201180052073X A CN201180052073X A CN 201180052073XA CN 201180052073 A CN201180052073 A CN 201180052073A CN 103189831 A CN103189831 A CN 103189831A
Authority
CN
China
Prior art keywords
information
electronic installation
operational order
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180052073XA
Other languages
English (en)
Inventor
鑓田威
佐藤启一郎
清水隆匡
伊藤浩道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN103189831A publication Critical patent/CN103189831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供一种电子装置，在操作使用遥控器(尤其是触摸遥控器)的电子装置时，并非根据来自遥控器的发送信号来唯一地确定操作内容，而是能通过向其添加基于保持在遥控器外的规则的、解释来确定操作内容。提供一种电子装置，包括:显示器输出单元;从遥控器获取表示用户的手指等的动作的信息即手势信息的单元;获取装置状态信息的单元，该装置状态信息是用于根据允许用户进行的多个操作的组合来区别装置状态的信息;对解释信息进行保持的单元，该解释信息用于根据装置状态信息来解释所获取到的所述手势信息是与允许进行的所述操作中的哪一个相对应的命令;利用解释信息来从获取到的手势信息和获取到的装置状态信息中获取装置操作命令的单元;以及执行所获取到的装置操作命令的单元。

Description

电子装置
技术领域
本发明涉及一种用于对利用遥控器的电子装置的操作命令进行获取并执行的电子装置。
背景技术
近年来，以电视装置为代表的电子装置几乎都能利用遥控器来进行远程操作。此外，伴随着技术的进步、用户需求的多样化，电视装置等中具备了大量的功能，或者具备了与其它设备进行协同的功能，由此，电视装置等的操作内容也相应地多样化、复杂化。因此，要求遥控器也能应对这种多样的操作。关于这一点，在现有的按钮式遥控器中，通常以固定方式来配置与操作内容唯一对应的按钮，因此，应对这种操作内容的多样化、复杂化是有极限的。
另一方面，近来，所谓的触摸遥控器正逐渐得到普及。触摸遥控器是在遥控器的触摸画面上配置了触摸传感器的遥控器，若用户用手指对该触摸传感器进行描绘等动作，则会检测到该动作，并向作为对象的电子装置发送用于进行远程操作的控制信号。因此，触摸传感器与上述这种现有的按钮式遥控器不同，具有能变更触摸传感器所对应的操作内容、使操作内容具有灵活性的优点。例如，专利文献1中揭示了使用这种触摸传感器的远程操作系统。该文献所记载的触摸遥控器的特征点在于，具备触摸屏，通过从触摸遥控器发送触摸屏的显示内容和对触摸屏的操作所对应的信号，来进行控制对象装置的远程操作，并且能变更触摸屏的显示内容。由此，触摸遥控器能使操作内容具有灵活性，因此，与现有的固定按钮式遥控器相比，可以认为更能适应操作内容的多样化、复杂化。
现有技术文献
专利文献
专利文献1:日本专利特开2005-136518
发明内容
发明所要解决的技术问题
然而，专利文献1所记载的触摸遥控器仅能变更触摸屏的显示内容，但依然是在遥控器侧确定操作内容后，发送包含该操作命令的信号，这一点与现有的固定按钮式遥控器相比没有任何不同。
然而，为了实现遥控器操作的简便性，要求遥控器本身的结构尽可能的简单。基于这种观点，优选为使从遥控器发送的信号尽可能地简单，在此基础上，根据保持在遥控器外的解释规则等，对来自遥控器的信号附加用于表示特定操作内容的意思，由此能执行各种操作内容。
因此，本发明所要解决的问题在于，提供一种电子装置，在对使用遥控器(特别是触摸遥控器)的电子装置进行操作时，并非通过来自遥控器的发送信号来唯一地确定操作内容，能够通过增加基于保持在遥控器外的规则的解释来确定操作内容。
解决技术问题所采用的技术方案
为解决上述问题，第一发明提供一种电子装置，该电子装置包括:显示器输出部;手势信息获取部，该手势信息获取部从遥控器获取表示用户手指等的动作的信息即手势信息;装置状态信息获取部，该装置状态信息获取部获取装置状态信息，该装置状态信息是用于根据允许用户进行的多个操作的组合来区别装置状态的信息;解释信息保持部，该解释信息保持部保持解释信息，该解释信息是用于根据装置状态信息来对获取到的所述手势信息是与所允许的所述操作中的哪一个相对应的命令进行解释的信息;装置操作命令获取部，该装置操作命令获取部利用解释信息来从获取到的手势信息和获取到的装置状态信息中获取装置操作命令;以及执行部，该执行部执行获取到的装置操作命令。此外，第二发明在第一发明的基础上提供一种电子装置，该电子装置还包括:GUI画面保持部，该GUI画面保持部对装置状态信息所对应的GUI画面进行保持;以及GUI画面发送部，该GUI画面发送部根据获取到的所述装置状态信息来将GUI画面从显示器输出部输出到显示器。此外，第三发明在第二发明的基础上提供一种电子装置，该电子装置具有装置状态信息表，该装置状态信息表根据装置状态来决定是否要显示GUI画面，当获取到的装置状态为决定不显示GUI画面的装置状态时，执行部以不显示GUI画面的状态来执行获取到的所述装置操作命令。此外，第四发明在第一至第三中任意一个发明的基础上提供一种电子装置，该电子装置中，执行部包括直接操作单元，该直接操作单元从遥控器接受确定了操作种类的特定操作命令，来直接执行装置操作命令。此外，第五发明在第一至第四中任意一个发明的基础上提供一种电子装置，该电子装置中，包括虚拟画面保持部，该虚拟画面保持部以和输出在显示器中的画面呈上下、左右、右上、右下、左上或左下中任意一种以上的组合的方式来对虚拟画面进行虚拟配置，并以能选择的方式进行保持，所述解释信息保持部中包括虚拟画面选择解释信息保持单元，该虚拟画面选择解释信息保持单元对虚拟画面选择解释信息进行保持，该虚拟画面选择解释信息根据获取到的手势信息来解释为将输出中的画面切换为虚拟配置的虚拟画面的命令。此外，第六发明提供一种电视装置，该电视装置具备所述电子装置。此外，第七发明提供一种操纵装置，该操纵装置具备所述电子装置。此外，第八发明提供一种电子装置的操作命令执行程序，包括:手势信息获取步骤，在该手势信息获取步骤中，从遥控器获取表示用户手指等的动作的信息即手势信息;装置状态信息获取步骤，在该装置状态信息获取步骤中获取装置状态信息，该装置状态信息是用于根据允许用户进行的多个操作的组合来区别装置状态的信息;装置操作命令获取步骤，在该装置操作命令获取步骤中，利用解释信息来从获取到的手势信息和获取的装置状态信息中获取装置操作命令，该解释信息是用于根据装置状态信息来对获取到的所述手势信息是与所允许的所述操作中的哪一个相对应的命令进行解释的信息;以及执行步骤，在该执行步骤中执行获取到的装置操作命令。
发明效果
根据本发明，能够提供一种电子装置，在对使用遥控器的电子装置进行操作时，并非通过来自遥控器的发送信号来唯一地确定操作内容，能够通过增加基于保持在遥控器外的规则的解释来确定操作内容。
附图说明
图1是表示实施例1的电子装置的功能块的一个例子的图。
图2是表示本发明的电子装置所使用的遥控器的一个例子的图。
图3A是表示解释信息表的一个例子的图。
图3B是表示解释信息表的一个例子的图。
图3C是表示解释信息表的一个例子的图。
图4是表示实施例1的电子装置的硬件构成的一个例子的简图。
图5是表示实施例1的显示装置中的处理流程的一个例子的图。
图6是表示实施例2的电子装置的功能块的一个例子的图。
图7是表示实施例2的电子装置中的GUI画面的一个例子的简图。
图8是表示实施例2的电子装置的硬件构成的一个例子的简图。
图9是表示实施例2的显示装置中的处理流程的一个例子的图。
图10是表示实施例3的显示装置中的处理流程的一个例子的图。
图11是表示实施例4的电子装置的功能块的一个例子的图。
图12是表示实施例5的电子装置的功能块的一个例子的图。
图13是用于说明虚拟画面的图。
图14是表示实施例5的电子装置的硬件构成的一个例子的简图。
图15是表示实施例5的显示装置中的处理流程的一个例子的图。
标号说明
0100电子装置
0110显示器输出部
0120手势信息获取部
0130装置状态信息获取部
0140解释信息保持部
0150装置操作命令获取部
0160执行部
具体实施方式
下面，对本发明的实施例进行说明。实施例与权利要求的相互关系如下。实施例1主要涉及权利要求1、6、7、8等，实施例2主要涉及权利要求2等，实施例3主要涉及权利要求3等，实施例4主要涉及权利要求4等，实施例5主要涉及权利要求5等。另外，本发明不限于上述任一实施例，在不脱离本发明要点的范围内，能够以各种形态来实施。
[实施例1]
＜概要＞
在本实施例的电子装置中，对表示用户的手指在遥控器上的动作的信息(手势信息)和表示电子装置状态的信息(装置状态信息)进行获取，并根据装置状态信息，对所获取到的手势信息是与哪个操作相对应的命令进行解释，并据此进行装置操作。
＜结构＞
(整体)
图1是表示本实施例的电子装置的功能块的一个示例的图。该图所示的“电子装置”0100包括"显示器输出部"0110、"手势信息获取部"0120、"装置状态信息获取部"0130、"解释信息保持部"0140、"装置操作命令获取部"0150、以及"执行部"0160。
"电子装置"也可以是使用遥控器进行的操作的对象即电子装置本身(以下简称为"操作对象装置")。在这种情况下的电子装置包括电视装置、(飞行器等的)操纵装置、游戏装置、不具备调谐器的监视器装置、计算机终端装置、数码相框装置、车载导航装置等具有显示器的装置。或者，本实施例的电子装置也可以是操作对象装置以外的其它装置，在这种情况下，该装置可以是专用装置，也可以是与具有其它功能的电子装置兼用的装置。
(显示器输出部)
"显示器输出部"是用于将视频内容、GUI(Graphical User Interface:图形用户界面)画面等输出到显示器的单元。画面中的图像信息的显示内容并没有特别限定，除了将显示电视节目等视频内容、用于对电子装置进行操作的菜单画面显示在GUI画面中以外，也可以仅仅是直观地显示固定信息的图标等。此外，输出在显示器中的画面根据电子装置的状态(状态)而不同。举一个典型的例子，当电子装置为电视装置时，根据收视状态与菜单显示状态的切换，在收视状态下向显示器输出视频内容，而在显示菜单画面的状态下向显示器输出菜单画面。
另外，当本实施例的电子装置为操作对象装置本身时，该装置本身具备显示器，但对于是操作对象装置以外的其它专用装置的情况，由于可以使用操作对象装置的显示器，故电子装置本身不需要具备显示器。即，显示器不是本实施例的电子装置的必要构成要素。
(手势信息获取部)
"手势信息获取部"对手势信息进行获取。"手势信息"是表示用户手指等的动作的信息，并能由遥控器发送。这里所设想的遥控器为所谓的触摸遥控器，对于触摸遥控器的情况，"手势信息"是由配置在触摸遥控器的触摸面上的触摸传感器所检测到的表示用户手指动作的信息。但是，本发明所涉及的电子装置中所使用的遥控器并不限于所述触摸遥控器。例如，可以通过使被手握住的遥控器摇晃、或拿着进行跑动、跳跃之类的动作来使遥控器运动，从而由遥控器所具备的传感器来检测手掌、手腕、头、身体、脚等的动作。即，手势信息所表示的动作的对象、即"手指等"除了手指以外，还包括手掌、手腕、头、身体、脚等。在该情况下，手指、手掌、手腕、头、身体、脚等身体的动作不必是摩擦遥控器或晃动遥控器等那样直接施加在遥控器上的动作，只要是遥控器能以某种方式检测到的即可。例如，可以是以下这种结构:利用图像识别技术从摄像机所拍摄到的视频中检测出身体的动作，并发送给遥控器，遥控器基于该检测信号来将表示其身体动作的信息作为手势信息发送给手势信息获取部。
遥控器本身并非本发明所涉及的电子装置的必要构成要素，只要由本发明所涉及的电子装置的手势信息获取部获取从电子装置以外的遥控器发送过来的手势信息即可。
图2是表示本发明的电子装置所使用的遥控器的一个例子的图。该图中所示的"遥控器"0290是触摸遥控器的例子，该触摸遥控器具有大致沿着"触摸面"0291的纵向中心线和横向中心线呈十字形配置的"触摸传感器"0292。该图中所示的触摸传感器是配置了多个LED元件的例子。或者也可以与该图的例子不同，在触摸面上仅配置一个触摸传感器，并由配置在多个部位的检测单元来检测手指等在该触摸传感器上的动作。
对于用户的手指等在遥控器上的动作，在该例中主要对手指的动作进行检测。作为检测方法，例如对于手指接触触摸传感器的金属制面板的情况，可以采用对该面板与手指之间产生的电压的变化进行检测的方法。另外，在该情况下，即使手指与触摸传感器没有完全接触，但只要在附近就能产生电压变化，因此，检测对象、即用户的手指在遥控器上的动作也包括在接近于触摸传感器的位置上的动作。在该情况下，例如可以预先对多个触摸传感器(或者对于一个触摸传感器的情况，该触摸传感器上的多个检测单元)的各个位置坐标进行保持，从而能够根据手指所接触到的触摸传感器的位置坐标、接触时间的先后关系等信息来获取手势信息。
此外，基于使从触摸遥控器发出的信号尽可能简单的观点，可以将手指在遥控器上的动作的检测结果作为图案化的信息来获取手势信息。作为遥控器为图2所示那样的触摸遥控器时的手指动作的图案，例如可以考虑:(1)在排列在纵向上的多个触摸传感器上进行的纵向描绘动作(以下称为"纵向触摸滑动动作")、(2)在排列在横向上的多个触摸传感器上进行的横向描绘动作(以下称为"横向触摸滑动动作")、(3)在大致排列在圆周上的多个触摸传感器上大体绘制圆形这样的描绘动作(同"圆勾画动作")、(4)用手指对单个或固定在一个部位上的多个触摸传感器进行的触碰动作(同"轻叩动作")等。因此，手势信息获取部可以基于一定的规则(例如，当排列在纵向上的某三个特定的触摸传感器被依次滑到时、视为纵向滑动动作这样的规则)来将检测结果归类到上述其一种图案中，从而获取手势信息。此时，如果是滑动、勾画动作，则可以根据各触摸传感器的检测时间差的长短(换言之，较快的描绘或是较慢的描绘)来区别图案，或者，如果是轻叩动作，则可以根据哪个位置的触摸传感器被触摸来区别图案。由此，能在不违反使从触摸遥控器发送的信号尽可能简单的要求的范围内，对图案的确定方法进行适当的设计。
(装置状态信息获取部)
"装置状态信息获取部"对"装置状态信息进行获取。"装置状态信息"是用于根据允许用户进行的多个操作的组合来对装置状态进行区别的信息。对于装置状态信息的获取，当电子装置是操作对象装置本身时，例如可以直接获取到判断并保持自身状态的装置状态信息。另一方面，当电子装置是操作对象装置以外的装置时，可以经由通信单元来从操作对象装置获取装置状态信息。
装置状态信息简单来说是用于根据操作来区别装置状态(状态)的信息，其目的在于，能够根据装置的状态、而非来自遥控器的命令，并通过在电子装置侧加入了解释的命令来进行装置的操作。"通过操作...来区别装置状态"是指如下那样的区别，例如，若操作是对音量进行调整，则装置状态为收视状态，若操作是选择特定的菜单，则装置状态为菜单画面显示状态。然而，虽说是"通过操作...来区别装置状态"，但并非是将操作信息作为触发来得知装置状态的意思(即，并非是在来自遥控器的信号发送阶段己经决定操作内容、并据此来区别装置状态的意思)。只不过是将操作内容与装置状态对应起来，从而根据操作内容来区别装置状态的意思。另外，对于装置状态的切换，例如可以通过设置在遥控器上的装置状态切换用按钮(例如表示为"菜单按钮"等的按钮)来进行。
此外，"多个操作的组合"如下文对于解释信息保持部的结构所进行的说明中阐述的那样，是指例如电视装置的收视状态下的增大音量的音量调节、减小音量的音量调节、升序的选台、降序的选台、广播切换、消音、恢复这样的操作的组合、菜单画面显示状态下的向下方的菜单动作、向上方的菜单动作、向右方的菜单动作、向左方的菜单动作、指针动作、决定这样的操作的组合。本发明的特征在于，并非通过单一的操作，而是通过上述那样操作的组合来区别装置状态。通过采用上述结构，可以如后述那样，利用解释信息来从装置状态所对应的多个操作的组合中，根据手势信息来进行解释，从而确定操作命令。
此外，"允许用户进行的...操作"是指在该装置状态下、能由用户进行的操作。例如，如果是在电子装置为电视装置的情况下，可以举出收视状态下的音量调整操作、选台操作、菜单画面显示状态下的各菜单的选择、执行操作等。
(解释信息保持部)
"解释信息保持部"对解释信息进行保持。"解释信息"是用于根据装置状态信息来对上述获取到的手势信息是与上述所允许的操作中的哪一个相对应的命令进行解释的信息。解释信息的保持例如可以通过对将装置状态信息、手势信息及所允许的操作对应起来的表(以下称为"解释信息表")进行保持来进行。
图3A～图3C是表示所述解释信息表的一个例子的图。这些图均为电子装置是电视装置时的例子。此外，在这些图的解释信息表0301中，均把装置状态区别为收视状态和菜单画面显示状态。此外，把手势区别为纵向触摸滑动动作(进一步区别为从上向下的滑动和从下向上的滑动)、横向触摸滑动动作(进一步区别为从左向右的滑动和从右向左的滑动)、圆勾画动作以及轻叩动作。并且，根据上述各装置状态，将上述各手势在各个状态的情况下是与哪种操作有关的命令对应起来并保持。
例如，在图3A中，当在收视状态下进行从上到下的纵向触摸滑动动作时，将其解释为与音量调节(降低音量)的操作相对应的命令。同样地，将横向触摸滑动动作解释为与选台操作相对应的命令，将圆勾画动作解释为与广播切换(地面数字、BS、CS等的切换)的操作相对应的命令，将轻叩动作解释为与消音(再次进行轻叩动作则恢复为发声)的操作相对应的命令。
此外，在菜单画面显示状态下，将纵向触摸滑动动作和横向触摸滑动动作均解释为与菜单转换的操作相对应的命令，并根据滑动的方向来分别将菜单转换的方向与滑动方向所对应的方向直观地对应起来。另外，这里所说的菜单转换是指，使显示器画面内所显示的多个菜单(例如视频调整、声音调整、节能设定等菜单，各菜单的内容将在后面进行叙述)中的进行强调显示等来作为当前所能选择的菜单的对象菜单通过使强调显示位置朝上下左右移动来进行转换。此外，圆勾画动作是使表现在画面上的指针配合动作的方向进行移动的操作所对应的命令，轻叩动作则解释为决定对所能选择的菜单进行选择的操作所对应的命令。由此，该例的菜单画面显示状态下的手势是与己经在画面上的移动、选择有关的操作所对应的命令。
这里所设想的菜单画面显示状态是指，利用显示器的一部分来显示用于操作电视装置的菜单的画面，典型的有，将视频内容缩小到显示器内的一部分区域，并在其余区域中显示菜单。或者，也可以将菜单画面显示在整个显示器中。
另外，虽然该图为便于理解，示出了简单的例子，但实际上，如手势信息获取部的说明中所述的那样，考虑在不违反使从触摸遥控器发送的信号尽可能简单的要求的范围内，利用更为详细的图案来决定手势，从而能据此来更为细致地设定命令的解释基准。例如，对于与轻叩信息相对应的操作，可以根据轻叩的对象即触摸传感器的坐标位置来分别与不同的操作对应起来。
图3B表示了解释信息表的另一个例子。本图中，在收视状态下，与手势相对应的操作命令与图3A相同，但在菜单画面显示状态下，与手势相对应的操作命令并非图3A那样与移动、选择有关，而是与菜单内容有关。具体而言，例如，纵向触摸滑动动作(从上向下的滑动)对应于"变更画面尺寸"的菜单，纵向触摸滑动动作(从下向上的滑动)对应于"定时切断电源"的菜单。此外，轻叩动作与图3A同样，对应于决定操作。因此，例如，若在菜单画面显示状态下、用户在遥控器上进行纵向触摸滑动动作(从上向下的滑动)，则进入可以选择"变更画面尺寸"的菜单的状态，若接着进行轻叩动作，则该菜单被选择，并通过此后的操作装置命令获取部及执行部的处理来变更画面尺寸。对于变更为哪种画面尺寸，可以预先另外保持确定的规则，在该情况下，若利用该规则来唯一地确定变更后的画面尺寸，则能通过选择该菜单来变更为该画面尺寸。或者，在上述的示例中，对于多个画面尺寸的情况，可以将装置状态细分为菜单画面显示状态(初始状态)、菜单画面显示状态(画面尺寸变更菜单选择状态那样，并在选择了"变更画面尺寸"的菜单之后，在菜单画面显示状态(画面尺寸变更菜单选择状态)下，根据各手势所对应的操作命令来进行基于手势的解释。
图3C表示了对菜单画面显示状态进行细分时的例子。这种细分在如上述的例子那样，选择的操作内容(在上面的例子中为变更画面尺寸)所对应的选项为多个的情况下是有效的。此外，在菜单以层级方式构成、在选择上级的菜单后能对处于下级的多个子菜单进行选择的情况下也是有效的。该图中示出了这种层级式的菜单。
该例中，装置状态的菜单画面显示状态被细分为初始状态、视频调整菜单选择状态、声音调整菜单选择状态、(以下内容的图示作了省略)节能设定菜单选择状态、本体设定菜单调整状态、功能切换菜单选择状态、数字设定菜单选择状态、以及通知菜单选择状态。另外，"视频调整"是用于将视频的亮度等调整为所喜好的状态的菜单，"声音调整"是用于将声音的平衡等调整为所喜好的状态的菜单，"节能设定"是用于进行定时关机等节能的开关，"本体设定"是用于进行地区设定等配合使用环境的设置调整的菜单，"功能切换"是用于进行familink(注册商标)等的功能设定、切换的菜单，"数字设定"是用于收视数字广播的菜单，"通知"是用于对接收到的信息进行确认的菜单。
此外，该例中保持了如下规则:若在初始状态下选择特定的菜单，则显示该菜单的子菜单。因此，若在初始状态下进行例如纵向触摸滑动动作(从上向下的滑动)，则根据该表选择视频调整菜单，并显示视频调整菜单。此时，装置状态变为"视频调整菜单选择状态"，若在该状态下接着进行手势，则将其解释为该表中、"菜单画面显示状态(视频调整菜单选择状态)"中的该手势所对应的操作所对应的命令。例如，若进行纵向触摸滑动动作(从上向下的滑动)，则基于该手势信息，解释为"降低(画面的)亮度"的操作所对应的命令，之后，获取并执行该命令。
另外，可以使用户能够通过添加、变更或删除来编辑解释信息。作为添加的例子，可以举出以下例子:例如在图3A的例子中，当在装置状态为收视状态的情况下、手势为横向触摸滑动动作时所对应的操作命令未作任何设定时，用户添加"选台"的操作命令。作为变更的例子，可以举出以下例子:将收视状态下的手势的纵向触摸滑动动作(从上向下的滑动)所对应的操作命令、即音量调节从"降低"变更为"提高"，将纵向触摸滑动动作(从下向上的滑动)所对应的操作命令、即音量调节从"提高"变更为"降低"，或者以和下面各个操作对应起来的方式进行变更，即，通过纵向触摸滑动动作的速度来区别操作命令，当以一定速度以上进行滑动时，以一定音量进行变化，而当以不足一定速度进行滑动时，以更小的一定音量进行变化。对于该情况，可以将一定速度、一定音量的具体内容作为其它规则预先确定并保持。作为删除的例子，与添加的例子相反，可以举出以下例子:当在装置状态为收视状态的情况下、手势动作为横向触摸滑动动作时所对应的操作命定为"选台"时，删除该操作命令，从而成为未设定任何内容的状态等(该情况下，若用户在收视状态时、在遥控器上进行横向滑动动作，则不会有任何反应)。作为上述那样用户进行编辑的方法，例如，可以在菜单显示画面显示状态时显示的菜单中预先设定编辑用的菜单，并接受用户根据该画面所输入的装置状态、手势和与此相对应的装置操作命令的内容，从而改写解释信息保持部所保持的解释信息的内容。
(装置操作命令获取部)
"装置操作命令获取部"利用解释信息来从获取到的手势信息和获取到的装置状态信息中获取装置操作命令。例如，若根据上文图3的例子，在获取到的装置状态信息为表示电视装置的收视状态的情况下，且获取到的手势信息是表示从上向下的纵向触摸滑动动作的信息时，通过利用保持在该图中的解释信息来获取进行降低音量的音量调节的装置操作命令。
(执行部)
"执行部"执行获取到的装置操作命令。若根据上文的例子，当获取到进行降低音量的音量调节的装置操作命令时，执行该命令，从而进行降低音量的音量调节。
(其它)
以上，主要对电子装置为电视装置的情况进行了说明，但如上所述，本实施例的电子装置不限于此。例子，当电子装置例如是飞行器的操纵装置(可以是实际飞行器的操纵装置，也可以是训练用、游戏用的模拟器等)时，电子装置具备能以图标等来直观地显示飞行器前进方向的显示器，并能在进行所述显示的装置状态下，对来自遥控器的手指的动作的检测结果进行解释从而执行与操纵有关的命令(例如使实际飞行器上升的操作命令)。
(硬件结构)
接着，对本实施例的电子装置的硬件结构进行说明。
图4是表示本实施例的电子装置的硬件构成的一个例子的简图。该例的电子装置的显示器输出部和手势信息获取部包括"存储装置(存储介质)"0401、"主存储器"0402、"CPU"0403、以及"I/O"0404。装置状态信息获取部、装置操作命令获取部和执行部包括"存储装置(存储介质)"、"主存储器"、以及"CPU"。此外，"显示器"0405及"存储器"0406经由I/O相连接。
它们通过"系统总线"0407等数据通信路径相互连接，进行信息的收发、处理。存储装置存储由CPU执行的各种程序等。主存储器提供CPU执行程序时的操作区域、即工作区域。此外，对该主存储器、存储装置分别分配了多个存储地址，通过确定并访问CPU所执行的程序的存储地址，可相互进行数据交换和处理。该例中，存储装置中预先存储有显示器输出程序、手势信息获取程序、装置状态信息获取程序、装置操作命令获取程序、以及执行程序，例如随着电源接入而自动从存储装置中读取这些程序，并将其长期保持在主存储器中。
接着，对各部分硬件结构的一个例子进行说明。
首先，对显示器输出部的硬件结构进行说明。显示器输出程序将视频内容、菜单画面等GUI画面输出到经由I/Q相连接的显示器。
接着，对手势信息获取部的硬件结构进行说明。手势信息获取程序经由I/Q从遥控器接受表示手指动作的检测结果，来获取手势信息。此时，可以基于一定的规则来将检测结果分类为一定的图案，从而获取手势信息。在该情况下，预先在存储装置中保持用于使检测结果适用于图案的规则，手势信息获取程序将该规则读取至主存储器，并将检测结果与该规则进行比较来获取手势信息。获取到的手势信息被暂时储存在主存储器中。
接着，对装置状态信息获取部的硬件结构进行说明。装置状态信息获取程序获取装置状态信息。获取到的装置状态信息也被暂时储存在主存储器中。
接着，对解释信息保持部的硬件结构进行说明。存储装置中预先以表(解释信息表)等形式保持有解释信息。解释信息表的内容的一个例子如已利用图3进行的说明那样。
接着，对装置操作命令获取部的硬件结构进行说明。装置操作命令获取程序从存储装置中将解释信息表读取至主存储器，并利用解释信息来对储存在主存储器中的装置状态信息及手势信息进行比较，由此来获取装置操作命令。获取到的装置操作命令也被暂时储存在主存储器中。
接着，对执行部的硬件结构进行说明。执行程序通过上述装置操作命令获取程序所进行的处理，并根据储存在主存储器中的装置操作命令来执行装置操作。
＜处理流程＞
图5是表示本实施例的电子装置中的处理流程的一个例子的图。首先，当在对是否有来自遥控器的信号发送进行判断的步骤S0501中、判断为有时，在手势信息获取步骤S0502中，电子装置获取手势信息。
接着，在装置状态信息获取步骤50503中，电子装置获取装置状态信息。
接着，在解释信息表读取步骤50504中，电子装置将储存在存储装置等中的解释信息表读取至主存储器中。
接着，在装置操作命令获取步骤S0505中，电子装置利用上述步骤S0504中读取到的解释信息表中所保持的解释信息，来从上述步骤S0502中获取到的手势信息、和上述步骤50503中获取到的装置状态信息中获取装置操作命令。
接着，在装置操作命令执行步骤S0506中，电子装置执行上述步骤S0505中获取到的装置操作命令。
＜效果＞
根据本实施例，能够提供一种电子装置，在对使用遥控器的电子装置进行操作时，并非通过来自遥控器的发送信号来唯一地确定操作内容，能够通过增加基于保持在遥控器外的规则的解释来确定操作内容。
[实施例2]
＜概要＞
本实施例的电子装置基本上与实施例1的电子装置是共通的，但进一步具有以下特征点:即，具有对装置状态信息所对应的GUI画面进行保持、和根据装置状态信息来向显示器输出GUI画面的单元。
＜结构＞
(整体)
图6是表示本实施例的电子装置的功能块的一个示例的图。该图所示的"电子装置"0600包括"显示器输出部"0610、"手势信息获取部"0620、"装置状态信息获取部"0630、"解释信息保持部"0640、"装置操作命令获取部"0650、"执行部"0660、"GUI画面保持部"0670、以及"GUI画面发送部"0680。其中，GUI画面保持部和GUI画面发送部以外的其他部分的结构与实施例1中说明的共通，故省略其说明，这里对GUI画面保持部和GUI画面发送部的结构进行说明。
(GUI画面保持部)
"GUI画面保持部"对装置状态信息所对应的GUI画面进行保持。"GUI画面"是利用计算机所生成的图像(计算机图形)，使得用户能利用定点设备来进行直观的操作。例如在电子装置为电视装置的情况下，"装置状态信息所对应的"GUI画面的保持相当于对用于在表示装置状态信息的装置状态为菜单画面显示状态时的在整个显示器中显示菜单画面的GUI画面进行保持的结构、对用于在表示装置状态信息的装置状态为收视状态时的在画面上右上方显示当前所选的频道的GUI画面进行保持的结构。GUI画面可以预先根据装置状态信息来生成并保持(下述图7中所示的GUI画面是由此预先生成的画面的一个例子)。另外，本实施例中的GUI画面保持部的结构中也可以包含如下结构:即，根据装置状态的不同，不在显示器中显示全部GUI画面，从而不保持该装置状态所对应的GUI画面(例如，不保持电视装置的收视状态所对应的GUI画面)。
(GUI画面发送存部)
"GUI画面发送部"根据上述所获取的装置状态信息来将上述所保持的GUI画面从显示器输出部输出到显示器。
图7是表示本实施例的电子装置中的GUI画面的一个例子的图。其中，(a)表示输出到显示器中的GUI画面的一个例子。该图也是电视装置的例子，示出了装置状态为菜单画面显示状态时所显示的GUI画面的一个例子。
该例的菜单画面中显示分别显示了表示视频调整、声音调整、节能设定、本体设定、功能切换、数字设定、及通知这七个菜单的图标。此外，本例中，该电视装置的操作中所利用的遥控器是如图2所示那样的、将触摸传感器大致配置成十字形的触摸遥控器。因此，菜单画面中的各个菜单的图标也大致配置成同样的十字形。例如，表示"视频调整"的菜单的图标0711配置在大致十字形的最上端位置。此外，该例中，考虑到对用户的视觉便利性，将GUI画面内的各图标配置在从触摸遥控器获取的手势信息所表示的检测位置所对应的位置。即，在图7(b)是将图2所示的触摸遥控器中、触摸传感器部分放大表示的图，形成该触摸传感器的多个LED元件被虚线所表示的七个区域所区分。并且，各个区域与菜单显示画面中的图标的配置相对应。例如，(b)中所示的最上端的区域(这里称作"上上区域")0712与配置在菜单显示画面最上端的“视频调整”的图标相对应。因此，当用户在触摸遥控器上轻叩配置在该上上区域0712的触摸传感器时，即选择了视频调整的图标。由于用户看着显示器上的菜单图标的同时来进行遥控器上的动作，因此，能直观地掌握轻叩上上区域的触摸传感器来选择视频调整的图标，并进行动作，对用户而言，能获得很高的视觉上的便利性。
然而，这里有一点也是很重要的，即，遥控器并非是发送确定选择视频调整图标的操作内容的信号。从遥控器发送的信号仅仅是上上区域被触碰这样与手势有关的信号。即，这里同样也是对手势信息和装置状态信息进行解释，从而确定操作内容。
因此，在该例中也使用了解释信息。图7(c)中示出了对所述解释信息进行保持的解释信息表0701。该表中，例如，装置状态信息所表示的装置状态的"菜单画面显示状态"与手势信息所表示的手势的"上上区域的轻叩动作"对应于操作内容"视频调整"，因此，当获取到所述装置状态信息及手势信息时，将其解释为选择"视频调整"的操作命令，并执行所述操作。其它菜单也同样。
另外，各菜单可以构成为层级式，这一点与实施例1中所述的内容相同。
(硬件结构)
接着，对本实施例的电子装置的硬件结构进行说明。
图8是表示本实施例的电子装置的硬件构成的一个例子的简图。这里仅对GUI画面保持部和GUI画面发送部的硬件结构进行说明。其余各部分的结构与实施例1中说明的相同，故不再赘述。
该例中的电子装置的GUI画面保持部包括"存储装置(存储介质)"0801、"主存储器"0802、以及"CPU"0803。此外，GUI画面发送部包括"存储装置(存储介质)"、"主存储器"、"CPU"、以及"I/O"0804。它们也通过"系统总线"0807等数据通信路径相互连接，进行信息的收发、处理。存储装置存储由CPU执行的各种程序等。主存储器提供CPU执行程序时的操作区域、即工作区域。该例中，除了与实施例1中说明的电子装置相同的程序以外，存储装置中还存储有GUI画面发送程序，例如随着电源接入而自动从存储装置中读取这些程序，并将其长期保持在主存储器中。下面对GUI画面保持部和GUI画面发送部的硬件结构进行说明。
首先，对GUI画面保持部的硬件结构进行说明。存储装置中存储有预先根据装置状态而生成的GUI画面。可以根据装置状态的数量而保持多个GUI画面，也可以不保持某个装置状态的GUI画面。
接着，对GUI画面发送部的硬件结构进行说明。GUI画面发送程序对装置状态信息所表示的装置状态是否是决定要显示GUI画面的装置状态进行判断。当其结果判断为是决定要显示GUI画面的装置状态时，GUI画面发送程序从存储装置中读取出该装置状态所对应的GUI画面。因此，优选在存储装置中预先保持有在何种装置状态的情况下显示GUI画面的规则，由此，GUI画面发送程序能够应用该规则来进行是否读取GUI画面的判断。接着，GUI画面发送程序将保持在主存储器中的GUI画面发送给经由I/O相连接的显示器。显示器输出程序将发送过来GUI画面输出到显示器。
＜处理流程＞
图9是表示本实施例的电子装置中的处理流程的一个例子的图。用于执行装置操作命令的整个处理流程与实施例1中所说明的内容共通，因此该图中将其省略，仅记载了用于将GUI画面输出到显示器的处理流程。
首先，本实施例的电子装置在判断是否获取到装置状态信息的步骤50901中进行是否获取到装置状态信息的判断，当判断为获取到时，接着进行该装置状态是否是决定要显示GUI画面的装置状态的判断(步骤S0902)。该判断例如基于预先保持的、在何种装置状态下显示GUI画面的规则来进行。这里，当判断为该装置状态是决定要显示GUI画面的装置状态时，电子装置在GUI画面的读取步骤S0903中进行GUI画面的读取。
接着，电子装置将GUI画面发送给显示器，从而将该画面输出到显示器(步骤50904)。
＜效果＞
根据本发明，能够在确定使用遥控器的电子装置的操作内容时，向用户提供更好的视觉便利性，而且用户能在直观地掌握操作内容的同时进行动作。
[实施例3]
本实施例的电子装置与实施例2的电子装置基本共通。然而，本实施例的电子装置具有以下特征点:即，具有决定了是否为显示GUI画面的装置状态的装置状态信息表，当利用该表的判断结果判断为决定不显示GUI画面的装置状态时，以不显示GUI画面的状态来执行装置操作命令。
＜结构＞
(装置状态信息表)
本实施例的电子装置与实施例2的电子装置基本共通。但是，本实施例的装置具有"装置状态信息表"。"装置状态信息表"是根据装置状态来决定是否要显示GUI画面的表。具体而言，考虑下面这种表，例如，在电子装置为电视装置的情况下，若装置状态为收视状态，则决定不显示GUI画面，若装置状态为菜单画面显示状态，则决定显示GUI画面。
(执行部)
对于执行部，当获取到的装置状态为决定不显示GUI画面的装置状态时，以不显示GUI画面的状态来执行上述获取到的装置操作命令。执行装置操作命令所涉及的结构与实施例1、2中所述的内容相同。即，利用解释信息来从装置操作命令获取部所获取到的手势信息和获取到的装置状态信息中获取装置操作命令，并由执行部来执行该装置操作命令。例如，在保持有上述那样的装置状态信息表的状态下，当装置状态为收视状态时，执行部不显示GUI画面，并执行例如表示手势信息为纵向触摸滑动动作的信息所对应的音量调节操作。
该例的目的在于，在通过显示GUI画面来向用户提供更高的视觉便利性的结构中，也能在不需要显示GUI画面时，通过省略该GUI画面来直接执行装置操作命令，从而能够节省不必要的步骤，高效地执行处理。例如，对于上述的例子，在电视装置的收视状态下，与菜单画面显示状态相比，作为对象的操作种类不多，对用户而言，通过GUI画面来直观地确认操作内容的必要性不大，因此，不显示GUI画面、而直接执行音量调节、选台等操作更为高效，故可以认为这种结构较为理想。
＜处理流程＞
图10是表示本实施例的电子装置中的处理流程的一个例子的图。该图中，用于执行装置操作命令的整个处理流程与实施例1中所说明的内容共通，故将其省略，仅记载了用于将GUI画面输出到显示器的处理流程以及之后执行装置操作命令所涉及的处理流程。
该图所示的处理流程基本上与图9所示的实施例2的处理流程共通。但是，在对获取到的装置状态是否为决定要显示GUI画面的装置状态进行判断的步骤Sl002中，当判断为不是决定要显示GUI画面的装置状态时，电子装置不经过用于输出GUI画面的步骤(步骤Sl003及Sl004)，而直接进入读取解释信息表的步骤Sl005，并执行该处理。之后的处理流程与实施例1中的处理流程相同。
＜效果＞
根据本实施例的发明，在通过显示GUI画面来向用户提供更高的视觉便利性的结构中，也能在不需要显示GUI画面时，通过省略该GUI画面来直接执行装置操作命令，从而能够节省不必要的步骤，高效地执行处理。
[实施例4]
＜概要＞
本实施例的电子装置基本上与实施例1至3中任意一种电子装置共通。然而，本实施例的电子装置具有以下特征点:即，执行部具有从遥控器接受确定了操作种类的命令、从而直接执行装置操作命令的单元。
＜结构＞
(执行部:直接操作单元)
图11是表示本实施例的电子装置的功能块的一个示例的图。该图所示的"电子装置"1100包括"显示器输出部"1110、"手势信息获取部"1120、"装置状态信息获取部"1130、"解释信息保持部″1140、"装置操作命令获取部"1150、以及"执行部"1160。"执行部"具有"直接操作单元"1161。此外，虽然省略了图示，但本实施例的电子装置还可以具有"GUI画面保持部"和"GUI画面发送部"。另外，在此基础上，还可以具有"装置状态信息表"，当"执行部"所获取到的装置状态是决定不显示GUI画面的装置状态时，以不显示GUI画面的状态来执行获取到的装置操作命令。以上结构中，执行部的直接操作单元以外的结构与实施例1等中所说明的内容共通，故省略其说明，这里对执行部的直接操作单元的结构进行说明。
(执行部:直接操作单元)
"直接操作单元"从遥控器接受确定了操作种类的特定操作命令，从而直接执行装置操作命令。
"直接执行装置操作命令"是指，不经过利用解释信息来从手势信息和装置状态信息中获取装置操作命令的步骤，而直接执行从遥控器发送的信号中所包含的装置操作命令。因此，从遥控器接受的"确定了操作种类的特定操作命令"是确定到可以直接作为装置操作命令来执行的程度的命令，内容上与装置操作命令相同。也就是说，是与现有的按钮式遥控器相同的在从遥控器发送的阶段作为已经确定的操作命令来进行发送的命令。
即，在该结构中，具备用于实现本发明的基本特征、即"在操作使用遥控器(尤其是触摸遥控器)的电子装置时，并非通过来自遥控器的发送信号来唯一地确定操作内容，而是能在其基础上加入基于保持在遥控器外的规则的解释来确定操作内容"的结构，并且，由于可能会存在不使用所述结构、而执行装置操作命令的处理更为理想的情况，因此，添加了用于实现所述处理的结构。例如，在电视装置的收视状态下，可以认为用户进行的遥控器操作是音量调节操作、选台操作，但与大多数从菜单中选择特定的菜单来进行操作的情况不同，如果是这种程度的操作，认为无需使用本发明特有的利用解释信息的结构，可以与现有方式同样，从遥控器发送直接操作命令。这是因为，考虑到如果是这种程度的操作，不会违反使从遥控器发送的信号尽可能简单的要求，反而因为直接执行用户想要进行的操作，故对用户而言，便利性得以提高。因此，本实施例的电子装置在结构中加入了所述直接操作单元，使得能在需要的情况下选择这种操作方法。
可以预先决定在何种情况下使用该直接操作单元。为此，例如在本实施例的装置中，考虑在存储装置中预先保持列举有作为直接操作对象的操作的表，并且使用一种仅在作为该对象的操作的情况下、发送与现有方式相同的、确定了直接操作内容的信号的遥控器，从而经由I/O来从该遥控器接收该信号。
或者，也可以使用户能够选择在何种情况下使用该直接操作单元。例如，考虑使遥控器同时具备发送与现有方式同样的、确定了直接操作内容的信号的单元、以及发送手指的动作的检测信号的单元，在此基础上，用户能够利用设置在遥控器上的切换按钮来选择使用哪个单元。对于该情况，可以在本实施例的装置的存储装置中预先保持有当用户选择直接操作时进行直接操作的规则，并经由I/O从遥控器接受基于用户的输入的选择内容，若该选择内容为直接操作，则应用该规则，从而进行直接操作。
＜效果＞
根据本实施例的发明，使其能够在需要的情况下选择来自遥控器的直接操作方法，由此不会违反使从遥控器发出的信号尽可能简单的要求，并能直接执行用户想要进行的操作，从而能提高对用户而言的便利性。
[实施例5]
＜概要＞
本实施例的电子装置基本上与实施例1至4中任意一种电子装置共通。然而，本实施例的电子装置具有如下特征点:即，包括将虚拟画面虚拟配置并保持在显示器中的单元、以及对根据手势信息来解释为将输出中的画面切换为虚拟画面的命令的信息进行保持的单元。
＜结构＞
(整体)
图12是表示本实施例的电子装置的功能块的一个示例的图。该图所示的"电子装置"1200包括"显示器输出部"1210、"手势信息获取部"1220、"装置状态信息获取部"1230、"解释信息保持部"1240、"装置操作命令获取部"1250、"执行部"1260、以及"虚拟画面保持部"1290。"解释信息保持部"具有"虚拟画面选择解释信息保持单元"1241。此外，虽然省略了图示，但本实施例的电子装置还可以具有"GUI画面保持部"和"GUI画面发送部"。另外，在此基础上，还可以具有"装置状态信息表"，当"执行部"所获取到的装置状态是决定不显示GUI画面的装置状态时，以不显示GUI画面的状态来执行获取到的装置操作命令。此外，"执行部"也可以具有"直接操作单元"。以上结构中，虚拟画面保持部和解释信息保持部的虚拟画面选择解释信息保持单元以外的结构与实施例1等中所说明的内容共通，故省略其说明，这里对虚拟画面保持部和解释信息保持部的虚拟画面选择解释信息保持单元进行说明。
(虚拟画面保持部)
"虚拟画面保持部"以和输出在显示器中的画面呈上下、左右、右上、右下、左上或左下中任意一种以上的组合的方式来对虚拟画面进行虚拟配置，并以能选择的方式进行保持。"虚拟画面"是指，虚拟配置在相对于输出在显示器中的画面的上述位置、即虚拟配置在不出现在显示器上的位置的画面。
图13是用于说明虚拟画面的图，其中，(a)是表示虚拟配置的一个例子的图。在该图的例子中，在包围输出在显示器1310中的画面(A)的上下左右的位置上配置有虚拟画面(B)～(I)。虚拟画面是能够仅在后述那样执行切换输出的命令时、输出到显示器的画面，与上文的GUI画面相同，是预先生成并保持在存储装置等中的画面。在该图的例子中，虚拟画面仅配置在与输出在显示器中的画面相邻的位置，但也可以配置在更外侧的位置(例如(C)的上方的位置、(E)的左侧的位置)等不与输出在显示器中的画面相邻的位置。该虚拟画面也和上文的GUI画面同样，优选为根据装置状态而生成，根据装置状态的不同，也可以存在不保持虚拟画面的情况，这一点也和GUI画面同样。
(解释信息保存部:虚拟画面选择解释信息保持单元)
"解释信息保持部"的"虚拟画面选择解释信息保持单元"对虚拟画面选择解释信息进行保持。"虚拟画面选择解释信息"是根据获取到的手势信息来解释为将输出中的画面切换成虚拟配置的虚拟画面的命令的信息。
图13(b)是表示包含虚拟画面选择解释信息的解释信息表的一个例子。在该图的表1301中保持有与装置状态信息及手势信息相对应的虚拟画面选择解释信息。例如，当装置状态为菜单画面显示状态、且手势为纵向触摸滑动动作(从上向下的滑动)时，对应并保持有如下情况的信息，即，根据该手势信息来解释为将输出中的画面(A)切换为虚拟画面(H)的命令。此外，若要在(H)的下方位置也配置有虚拟画面时、进一步切换为该画面，则例如可以将显示器中新输出的、位于原来的(H)位置的画面设为新的(A)画面，并将位于(H)下方位置的画面设为新的(H)画面，并根据同样的手势信息进行同样的解释。此外，对于像该图的(B)、(D)、(G)、(I)的例子那样虚拟画面配置在左上等斜方向位置的情况，若要从输出在显示器中的画面(A)切换到这些画面，则可以通过纵向触摸滑动动作和横向触摸滑动动作的组合来进行，也可以将某种手势解释为直接切换成配置在斜向上的画面的命令。
由此，装置操作命令获取部获取将输出中的画面切换为虚拟画面的命令，并能由执行部来执行该命令，由此，能将输出在显示器中的画面切换成虚拟画面。
(硬件结构)
接着，对本实施例的电子装置的硬件结构进行说明。
图14是表示本实施例的电子装置的硬件构成的一个例子的简图。这里，仅对虚拟画面保持部和解释信息保持部的硬件结构进行说明。其余各部分的结构与实施例1中说明的相同，故不再赘述。
该例中的电子装置的虚拟画面保持部和解释信息保持部(包含虚拟画面选择解释信息保持单元)包括"存储装置(存储介质)"1401、"主存储器"1402、以及"CPU"1403。它们也通过"系统总线"1407等数据通信路径相互连接，进行信息的收发、处理。接着，对各部分的硬件结构进行说明。
首先，对虚拟画面保持部的硬件结构进行说明。存储装置中保持有预先生成的虚拟画面。可以如上文图13的例子那样保持多个虚拟画面。此外，虚拟画面优选为根据装置状态来生成，因此，也可以保持有多种虚拟画面。
接着，对解释信息保持部的虚拟画面选择解释信息保持单元的硬件结构进行说明。该单元的结构基本上与实施例1中对于解释信息保持部的结构所述的内容相同，不同点仅在于所保持的解释信息中包含虚拟画面选择解释信息。
＜处理流程＞
图15是表示本实施例的电子装置中的处理流程的一个例子的图。该图中，用于执行装置操作命令的整个处理流程与实施例1中所说明的内容共通，因此该图中将其省略，仅记载了用于将输出在显示器中的画面切换为虚拟画面的处理流程。
当在判断是否存在虚拟画面的步骤S1501中、判断为存在时，在读取解释表的步骤S1502中，电子装置将存储在存储装置中的解释信息表读取至主存储器。本实施例中，该解释信息表中保持有虚拟画面选择解释信息。
接着，在获取装置操作命令的步骤51503中，电子装置根据与己获取到的手势信息及装置状态信息(本图中省略了获取步骤的记载)相对应的虚拟画面选择解释信息的解释，来获取将输出中的画面切换为虚拟画面的装置操作命令。
并且，在执行装置操作命令的步骤51504中，电子装置执行该命令。由此将输出在显示器中的画面切换为虚拟画面。
＜效果＞
根据本实施例的发明，即使对于将输出在显示器中的画面切换为虚拟画面，也能使遥控器本身的结构尽可能简单，并能在此基础上执行更多的操作内容。

Claims (8)

1.一种电子装置，其特征在于，包括:
显示器输出部;
手势信息获取部，该手势信息获取部从遥控器获取表示用户的手指等的动作的信息即手势信息;
装置状态信息获取部，该装置状态信息获取部获取装置状态信息，该装置状态信息是用于根据允许用户进行的多个操作的组合来区别装置状态的信息;
解释信息保持部，该解释信息保持部保持解释信息，该解释信息是用于根据装置状态信息来对获取到的所述手势信息是与所允许的所述操作中的哪一个相对应的命令进行解释的信息;
装置操作命令获取部，该装置操作命令获取部利用解释信息来从获取到的手势信息和获取到的装置状态信息中获取装置操作命令;以及
执行部，该执行部执行获取到的装置操作命令。
2.如权利要求1所述的电子装置，其特征在于，还包括:
GUI画面保持部，该GUI画面保持部对装置状态信息所对应的GUI画面进行保持;以及
GUI画面发送部，该GUI画面发送部根据获取到的所述装置状态信息来将GUI画面从显示器输出部输出到显示器。
3.如权利要求2所述的电子装置，其特征在于，
具有装置状态信息表，该装置状态信息表根据装置状态来决定是否要显示GUI画面，
当获取到的装置状态为决定不显示GUI画面的装置状态时，执行部以不显示GUI画面的状态来执行获取到的所述装置操作命令。
4.如权利要求1至3中任一项所述的电子装置，其特征在于，
执行部包括直接操作单元，该直接操作单元从遥控器接受确定了操作种类的特定操作命令，来直接执行装置操作命令。
5.如权利要求1至4中任一项所述的电子装置，其特征在于，
包括虚拟画面保持部，该虚拟画面保持部以和输出在显示器中的画面呈上下、左右、右上、右下、左上或左下中任意一种以上的组合的方式来对虚拟画面进行虚拟配置，并以能选择的方式进行保持，
所述解释信息保持部中包括虚拟画面选择解释信息保持单元，该虚拟画面选择解释信息保持单元对虚拟画面选择解释信息进行保持，该虚拟画面选择解释信息根据获取到的手势信息来解释为将输出中的画面切换为虚拟配置的虚拟画面的命令。
6.一种电视装置，其特征在于，
包括所述电子装置。
7.一种操纵装置，其特征在于，
包括所述电子装置。
8.一种电子装置的操作命令执行程序，其特征在于，包括:
手势信息获取步骤，在该手势信息获取步骤中，从遥控器获取表示用户的手指等的动作的信息即手势信息;
装置状态信息获取步骤，在该装置状态信息获取步骤中获取装置状态信息，该装置状态信息是用于根据允许用户进行的多个操作的组合来区别装置状态的信息;
装置操作命令获取步骤，在该装置操作命令获取步骤中，利用解释信息来从获取到的手势信息和获取的装置状态信息中获取装置操作命令，该解释信息是用于根据装置状态信息来对获取到的所述手势信息是与所允许的所述操作中的哪一个相对应的命令进行解释的信息;以及
执行步骤，在该执行步骤中执行获取到的装置操作命令。
CN201180052073XA 2010-10-28 2011-10-26 电子装置 Pending CN103189831A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-242477 2010-10-28
JP2010242477A JP2012094060A (ja) 2010-10-28 2010-10-28 電子装置
PCT/JP2011/074620 WO2012057179A1 (ja) 2010-10-28 2011-10-26 電子装置

Publications (1)

Publication Number Publication Date
CN103189831A true CN103189831A (zh) 2013-07-03

Family

ID=45993885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180052073XA Pending CN103189831A (zh) 2010-10-28 2011-10-26 电子装置

Country Status (6)

Country Link
US (1) US20130222703A1 (zh)
EP (1) EP2634674A1 (zh)
JP (1) JP2012094060A (zh)
CN (1) CN103189831A (zh)
BR (1) BR112013010141A2 (zh)
WO (1) WO2012057179A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138122A (zh) * 2015-08-12 2015-12-09 深圳市卡迪尔通讯技术有限公司 一种通过识别手势遥控屏幕设备的方法
CN112130737A (zh) * 2020-09-30 2020-12-25 Oppo广东移动通信有限公司 电子装置、控制方法和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013100255U1 (de) * 2012-06-20 2013-04-12 Samsung Electronics Co. Ltd. Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
KR102169521B1 (ko) * 2013-05-14 2020-10-23 삼성전자 주식회사 입력장치, 디스플레이장치 및 그 제어방법
CN103324435B (zh) * 2013-05-24 2017-02-08 华为技术有限公司 分屏显示的方法、装置及其电子设备
CN105357568B (zh) * 2015-11-09 2019-01-18 江苏惠通集团有限责任公司 一种播放源切换的控制方法及装置
JP6143023B2 (ja) * 2015-11-19 2017-06-07 カシオ計算機株式会社 電子機器、タッチ操作制御方法及びプログラム
JP6078685B1 (ja) * 2016-11-15 2017-02-08 京セラ株式会社 電子機器
CN115562472B (zh) * 2022-02-11 2023-09-22 荣耀终端有限公司 手势交互方法、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161690A1 (en) * 2005-01-19 2006-07-20 John Kavanagh Remote device configuration automation
US20060279554A1 (en) * 2005-06-02 2006-12-14 Samsung Electronics Co., Ltd. Electronic device for inputting user command 3-dimensionally and method for employing the same
CN101853562A (zh) * 2009-04-03 2010-10-06 玴荣科技股份有限公司 手势控制的遥控器控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
JP2005136518A (ja) 2003-10-28 2005-05-26 Sanyo Electric Co Ltd 遠隔操作システム
TWM254727U (en) * 2003-12-16 2005-01-01 Leahsin Technologies Inc Improved LED packaging structure
WO2006082498A1 (fr) * 2005-02-01 2006-08-10 Awox Sa Procede et dispositif d'echange de donnees
JP2006287749A (ja) * 2005-04-01 2006-10-19 Canon Inc 撮像装置、及びその制御方法
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP2010157820A (ja) * 2008-12-26 2010-07-15 Sharp Corp 制御システム、及び制御方法
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
TWI476632B (zh) * 2009-12-08 2015-03-11 Micro Star Int Co Ltd 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9436286B2 (en) * 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user
US20120184247A1 (en) * 2011-01-19 2012-07-19 Lg Electronics Inc. Electronic device and method of controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161690A1 (en) * 2005-01-19 2006-07-20 John Kavanagh Remote device configuration automation
US20060279554A1 (en) * 2005-06-02 2006-12-14 Samsung Electronics Co., Ltd. Electronic device for inputting user command 3-dimensionally and method for employing the same
CN101853562A (zh) * 2009-04-03 2010-10-06 玴荣科技股份有限公司 手势控制的遥控器控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138122A (zh) * 2015-08-12 2015-12-09 深圳市卡迪尔通讯技术有限公司 一种通过识别手势遥控屏幕设备的方法
CN105138122B (zh) * 2015-08-12 2018-10-26 深圳市卡迪尔通讯技术有限公司 一种通过识别手势遥控屏幕设备的方法
CN112130737A (zh) * 2020-09-30 2020-12-25 Oppo广东移动通信有限公司 电子装置、控制方法和存储介质

Also Published As

Publication number Publication date
JP2012094060A (ja) 2012-05-17
EP2634674A1 (en) 2013-09-04
WO2012057179A1 (ja) 2012-05-03
US20130222703A1 (en) 2013-08-29
BR112013010141A2 (pt) 2016-09-06

Similar Documents

Publication Publication Date Title
CN103189831A (zh) 电子装置
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
CN202904550U (zh) 信息处理装置
US8762869B2 (en) Reduced complexity user interface
US20080229254A1 (en) Method and system for enhanced cursor control
KR100636184B1 (ko) 정보 처리 장치의 표시 화면에 표시되는 표시 윈도우의위치 제어 방법 및 위치 제어 장치
CN101727286A (zh) 信息处理装置、信息处理方法及程序
CN104035677A (zh) 提示信息的显示方法和装置
CN101651796A (zh) 遥控方法及装置
CN103270474A (zh) 用于与网络浏览器上的内容交互的方法、装置和系统
CN110531920A (zh) 侧边工具栏的显示方法、装置、终端及存储介质
KR20150069420A (ko) 터치스크린이 장착된 키보드를 이용한 컴퓨터장치의 제어방법
CN104166553A (zh) 一种显示方法及电子设备
CN112114734B (zh) 在线文档的显示方法、装置、终端及存储介质
CN106227449B (zh) 基于触觉-视觉技术的输入控制方法及系统
JPWO2013038541A1 (ja) ラダープログラム作成装置
JP2015035103A (ja) 情報処理装置及びプログラム
JP5382815B2 (ja) リモコンおよびリモコン用プログラム
CN110968227A (zh) 智能交互平板的控制方法和装置
CN103106022A (zh) 触控面板的虚拟按键的设定与检测方法
US20130198675A1 (en) Display with shared control panel for different input sources
CN104238746B (zh) 信息处理方法及电子设备
JP4516224B2 (ja) ラダー図作成プログラム
CN103176726A (zh) 页面触控方法及终端
CN102467313B (zh) 频谱分析仪的读值应用方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130703