Nothing Special   »   [go: up one dir, main page]

JP5746111B2 - 電子装置及びその制御方法 - Google Patents

電子装置及びその制御方法 Download PDF

Info

Publication number
JP5746111B2
JP5746111B2 JP2012173305A JP2012173305A JP5746111B2 JP 5746111 B2 JP5746111 B2 JP 5746111B2 JP 2012173305 A JP2012173305 A JP 2012173305A JP 2012173305 A JP2012173305 A JP 2012173305A JP 5746111 B2 JP5746111 B2 JP 5746111B2
Authority
JP
Japan
Prior art keywords
motion
voice
user
task
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012173305A
Other languages
English (en)
Other versions
JP2013041579A (ja
Inventor
正 根 金
正 根 金
裕 泰 金
裕 泰 金
昇 東 兪
昇 東 兪
尚 珍 韓
尚 珍 韓
煕 渉 柳
煕 渉 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120040995A external-priority patent/KR101311972B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013041579A publication Critical patent/JP2013041579A/ja
Application granted granted Critical
Publication of JP5746111B2 publication Critical patent/JP5746111B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Telephone Function (AREA)

Description

本発明は、電子装置及びその制御方法に関し、より詳細には、音声入力部及びモーション入力部を介して入力された音声及びモーションに応じて制御される電子装置及びその制御方法に関する。
電子技術の発展により、多様な種類の電子装置が開発され普及されている。特に、最近はテレビをはじめとする多様な類型の電子装置が一般家庭でも使われている。
これらの電子装置は、ユーザの要求に応じてより多様な機能を備えるようになっている。特に、テレビの場合、最近はインターネットと接続されてインターネットサービスまでサポートしている。なお、ユーザはテレビを通じて数多くのデジタル放送チャネルも視聴できるようになっている。
よって、電子装置の多様な機能を効率的に使うための多様な入力方法が要求されている。例えば、リモコンを用いた入力方法、マウスを用いた入力方法、及びタッチパッドを用いた入力方法等が電子装置に適用されている。
ところが、このような単純な入力方法だけでは、電子装置の多様な機能を効果的に使いこなすことが困難であった。仮に、電子装置のすべての機能をリモコンだけで制御するように実現できると、リモコンのボタン数を増やさざるを得なかった。この場合、一般のユーザがリモコンの使用法を習得することは決して容易なことではない。
なお、多様なメニューを画面上に表示してユーザが当該メニューを探し出して選択する方法の場合、ユーザが複雑なメニューツリーを一々確認し、自分の望むメニューを選択しなければならないため、不便であった。
従って、電子装置をより便利かつ効果的に制御するための技術が求められるようになった。
韓国特開第１０−２００７−００５５２１０号公報 韓国特開第１０−２０１０−０１０２３５４号公報 韓国特開第１０−２００６−００８４２５１号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、音声入力部及びモーション入力部を介して入力された音声及びモーションに応じて制御される電子装置及びその制御方法を提供することにある。
前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声認識モジュール及びモーション認識モジュールのいずれか一つを通じて、ユーザ音声及びユーザモーションのいずれか一つを認識するステップと、前記音声認識モジュールを通じてユーザ音声が認識されると、遠隔制御装置によって制御可能なタスクの中で、前記認識されたユーザ音声に対応する音声タスクを行い、前記モーション認識モジュールを通じて前記ユーザモーションが認識されると、前記遠隔制御装置で制御可能なタスクの中で、前記認識されたユーザモーションに対応するモーションタスクを行うステップとを含み、前記音声タスク及び前記モーションタスクは前記遠隔制御装置に備えられたボタン毎に区分されてマッピングされてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声認識モジュールを通じて音声開始命令が認識されると、前記音声認識モジュールを通じて認識されたユーザ音声によって前記電子装置が制御される音声タスクモードに切り替えるステップと、モーション認識モジュールを通じてモーション開始命令が認識されると、前記モーション認識モジュールを通じて認識されたユーザモーションによって前記電子装置が制御されるモーションタスクモードに切り替えるステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置の制御方法は、前記音声認識をガイドするための音声アイテムが含まれた音声ガイド情報及び前記モーション認識をガイドするためのモーションアイテムが含まれたモーションガイド情報のいずれか一つをディスプレイするステップと、前記音声ガイド情報に含まれた音声アイテムのいずれか一つに対応する命令語が認識されると、前記認識された命令語に対応する音声タスクを行うステップと、前記モーションガイド情報に含まれたモーションアイテムのいずれか一つに対応するモーションが認識されると、前記認識されたモーションに対応するモーションタスクを行うステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声認識モジュール及びモーション認識モジュールのいずれか一つを通じて、ユーザ音声及びユーザモーションのいずれか一つを認識するステップと、前記音声認識モジュールを通じてユーザ音声が認識されると、チャネル識別子が各々付与された複数のチャネルのうち、前記認識されたユーザ音声に対応するチャネル識別子が付与されたチャネルに変更するチャネルショートカットを行い、前記モーション認識モジュールを通じてユーザのモーションが認識されると、前記ユーザのモーションの方向に対応するように、前記複数のチャネルを段階的に変更するチャネルザッピング（Ｚａｐｐｉｎｇ）を行うステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置の制御方法は、音声認識モジュールを通じて音声開始命令（Ｔｒｉｇｇｅｒ Ｖｏｉｃｅ）を認識するステップと、前記認識された音声開始命令に応答して前記音声認識に応じて制御される音声タスクモードを行うための音声アイテムをディスプレイ部に表示するステップと、モーション認識モジュールを通じてモーション開始命令が認識されると、前記モーション認識に応じて制御されるモーションタスクモードに対応するモーションアイテムを前記ディスプレイ部に表示するステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置の制御方法は、モーション認識モジュールを通じてモーション開始命令（Ｔｒｉｇｇｅｒ Ｍｏｔｉｏｎ）を認識するステップと、前記認識されたモーション開始命令に応答して前記モーション認識に応じて制御されるモーションタスクモードを行うためのモーションアイテムをディスプレイ部に表示するステップと、音声認識モジュールを通じて音声開始命令が認識されると、前記音声認識に応じて制御される音声タスクモードに対応する音声アイテムを前記ディスプレイ部に表示するステップとを含む。
そして、前記音声タスクは、チャネルショートカット及びサウンドオフの少なくともいずれか一つを含み、前記モーションタスクは、チャネルザッピング及び音量レベル調節の少なくともいずれか一つを含んでよい。
なお、前記認識されたユーザ音声にチャネルを選択するためのチャネル識別子が含まれると、前記ユーザ音声に含まれたチャネル識別子に対応するチャネルに変更されるチャネルショートカットを行い、前記チャネル識別子はチャネル番号、チャネル名及び番組名の少なくともいずれか一つを含んでよい。
そして、前記ユーザモーションはスラップを含み、上下方向へのスラップが認識されると、チャネルザッピングを行い、左右方向へのスラップが認識されると、音量レベル調節を行ってよい。
なお、前記認識されたユーザモーションが上方へのスラップモーションである場合、現在出力される放送のチャネル番号より予め設定された番号分だけ増加したチャネルに変更されるようにチャネルザッピングを行い、前記認識されたユーザモーションが下方へのスラップモーションである場合、現在出力される放送のチャネル番号より予め設定された番号分だけ減少したチャネルに変更されるようにチャネルザッピングを行い、前記認識されたユーザモーションが右方へのスラップモーションである場合、現在出力される音量レベルより予め設定されたレベル分だけ増加した音量が出力されるように音量レベル調節を行い、前記認識されたユーザモーションが左方へのスラップモーションである場合、現在出力される音量レベルより予め設定されたレベル分だけ減少した音量が出力されるように音量レベル調節を行ってよい。
そして、前記音声タスクは、前記遠隔制御装置に備えられた数字ボタンによって実行可能なタスクであり、前記モーションタスクは、前記遠隔制御装置に備えられた音量アップ／ダウンボタン及びチャネルアップ／ダウンボタンの少なくともいずれか一つによって実行可能なタスクであってよい。
なお、前記ユーザ音声が認識された場合、前記音声タスクを行うための音声アイテムをディスプレイするステップと、前記ユーザモーションが認識された場合、前記モーションタスクを行うためのモーションアイテムをディスプレイするステップとを含んでよい。
そして、前記音声アイテム及びモーションアイテムは、ディスプレイ画面の同一の領域にディスプレイされてよい。
なお、前記音声タスク及び前記モーションタスクを含む複数のタスクを行うための複数のモジュールを保存部に保存するステップを更に含んでよい。
そして、前記音声タスク及び前記モーションタスクの各々は、互いに異なるタスクが結合することなく単独で前記電子装置の設定を変更してよい。
なお、前記チャネルショートカットを行うステップは、前記ユーザ音声に数字が含まれた場合、前記ユーザ音声に対応するチャネル番号を有するチャネルに直ちに変更されるチャネルショートカットを行ってよい。
そして、前記チャネルザッピングを行うステップは、前記ユーザモーションが上方へのスラップモーション及び下方へのスラップモーションのいずれか一つである場合、前記ユーザモーションに対応する方向にチャネル番号を順次に変更するチャネルザッピングを行ってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザ音声が入力される音声入力部と、ユーザモーションが入力されるモーション入力部と、前記ユーザ音声及び前記ユーザモーションのいずれか一つを認識し、前記ユーザ音声が認識されると、遠隔制御装置によって制御可能なタスクの中で、前記認識されたユーザ音声に対応する音声タスクを行い、前記ユーザモーションが認識されると、前記遠隔制御装置で制御可能なタスクの中で、前記認識されたユーザモーションに対応するモーションタスクを行う制御部とを含み、前記音声タスク及び前記モーションタスクは前記遠隔制御装置に備えられたボタン毎に区分されてマッピングされてよい。
そして、前記音声タスクは、チャネルショートカット及びサウンドオフの少なくともいずれか一つを含み、前記モーションタスクは、チャネルザッピング及び音量レベル調節の少なくともいずれか一つを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令が入力される音声入力部と、モーション開始命令が入力されるモーション入力部と、前記音声開始命令及び前記モーション開始命令のいずれか一つを認識し、前記音声開始命令が認識されると、前記音声入力部に入力されたユーザ音声によって前記電子装置が制御される音声タスクモードに切り替え、前記モーション開始命令が認識されると、前記モーション入力部に入力されたユーザモーションによって前記電子装置が制御されるモーションタスクモードに切り替える制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置は、前記音声認識のためにユーザ音声が入力される音声入力部と、前記モーション認識のためにユーザモーションが入力されるモーション入力部と、前記音声認識をガイドするための音声アイテムが含まれた音声ガイド情報及び前記モーション認識をガイドするためのモーションアイテムが含まれたモーションガイド情報のいずれか一つをディスプレイするディスプレイ部と、前記音声ガイド情報に含まれた音声アイテムに対応する命令語のいずれか一つが認識されると、前記認識された命令語に対応する音声タスクを行い、前記モーションガイド情報に含まれたモーションアイテムのいずれか一つが認識されると、前記認識されたモーションに対応するモーションタスクを行う制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザ音声が入力される音声入力部と、ユーザモーションが入力されるモーション入力部と、前記ユーザ音声及び前記ユーザモーションのいずれか一つを認識し、前記ユーザ音声が認識されると、チャネル識別子が各々付与された複数のチャネルのうち、前記認識されたユーザ音声に対応するチャネル識別子が付与されたチャネルに変更するチャネルショートカットを行い、前記ユーザのモーションが認識されると、前記認識されたユーザモーションの方向に対応するように、前記複数のチャネルを段階的に変更するチャネルザッピングを行う制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置は、ディスプレイ部と、ユーザ音声が入力される音声入力部と、ユーザモーションが入力されるモーション入力部と、前記ディスプレイ部と、前記音声入力部及び前記モーション入力部を制御する制御部とを含み、前記制御部は、前記音声入力部を介して入力された音声開始命令を認識し、前記音声開始命令に応答して音声認識で行われる音声タスクモードに対応する音声アイテムを前記ディスプレイ部に表示するように制御し、前記モーション入力部を介して入力されたモーション開始命令が認識されると、前記モーション開始命令に応答してモーション認識で行われるモーションタスクモードに切り替わるように制御する。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びモーション認識が可能な電子装置は、ディスプレイ部と、ユーザ音声が入力される音声入力部と、ユーザモーションが入力されるモーション入力部と、前記ディスプレイ部と、前記音声入力部及び前記モーション入力部を制御する制御部とを含み、前記制御部は、前記モーション入力部を介して入力されたモーション開始命令が認識されると、前記ユーザモーションで行われるモーションタスクに対応するモーションアイテムをディスプレイするように前記ディスプレイ部を制御し、前記音声入力部を介して入力された音声開始命令が入力されると、前記ユーザ音声で行われる音声タスクモードを行うための音声アイテムを前記ディスプレイ部に表示するように制御してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、認識された音声に応じて音声タスクの少なくともいずれか一つを行うことができる音声タスクモードで、前記音声タスクを行うための音声ガイド情報を表示するステップと、前記音声ガイド情報として表示された少なくともいずれか一つの音声アイテムのうち、第１音声アイテムに対応する第１音声を認識するステップと、前記音声タスクのうち、前記第１音声アイテムに対応するタスクを行うステップと、認識されたモーションに応じてモーションタスクの少なくともいずれか一つを行うことができるモーションタスクモードで、前記モーションタスクを行うためのモーションガイド情報を表示するステップと、前記モーションガイド情報として表示された少なくともいずれか一つのモーションアイテムのうち、第１モーションアイテムに対応する第１モーションを認識するステップと、前記第２タスクのうち、前記第１モーションアイテムに対応するタスクを行うステップとを含む。
そして、前記第１音声アイテムに対応するタスクを行うステップは、前記認識された第１音声に対応する前記第１音声アイテムに関連するアイテム付加情報（Ａｄｄｉｔｉｏｎａｌ Ｉｔｅｍ Ｉｎｆｏｒｍａｔｉｏｎ）を表示するステップを含んでよい。
なお、前記第１音声アイテムに対応するタスクを行うステップは、前記アイテム付加情報に対応する第２音声を認識するステップを更に含んでよい。
そして、前記第１音声アイテムに対応するタスクを行うステップは、前記第１タスクのうち、前記第１音声アイテム及び前記認識された第２音声に対応するタスクを行ってよい。
なお、前記少なくともいずれか一つの音声アイテムの各々は、発話可能な（Ｕｔｔｅｒａｂｌｅ）命令語であってよい。
そして、前記アイテム付加情報は、前記第１音声アイテムに関連する付加命令語と、ガイド語句及び発話（Ｕｔｔｅｒａｎｃｅ）例示の少なくともいずれか一つを含んでよい。
なお、前記少なくともいずれか一つのモーションアイテムの各々は、前記モーションタスクモードで認識可能なモーションを示すモーションイメージ及び前記認識可能なモーションに対応するタスクを示すテキストを含んでよい。
そして、前記音声ガイド情報及び前記モーションガイド情報の少なくともいずれか一つは、前記音声タスクモード及び前記モーションタスクモードのうち、指定されたモードを示すイメージ及びテキストの少なくともいずれか一つを含んでよい。
なお、前記アイテム付加情報は、前記音声タスクモード及び前記モーションタスクモードのいずれか一つの指定されたモードを示すイメージ及びテキストの少なくともいずれか一つを含んでよい。
そして、前記音声タスクモードは、前記モーションタスクモードに移行するための予め設定されたモーションを示すモーション開始命令（Ｔｒｉｇｇｅｒ Ｍｏｔｉｏｎ）が認識される場合、前記モーションタスクモードに切り替えられ、前記モーションタスクモードは、前記音声タスクモードに移行するための予め設定された音声を示す音声開始命令（Ｔｒｉｇｇｅｒ Ｖｏｉｃｅ）が認識される場合、前記音声タスクモードに切り替えられてよい。
なお、前記音声タスク及び前記モーションタスクは互いに異なり、前記音声タスクは、チャネル名、番組名及びチャネル番号の少なくともいずれか一つの識別子に対応する第３音声が認識された場合、前記識別子に対応するチャネルを再生するためのチャネルショートカットを含み、前記モーションタスクは、チャネルアップ及びダウンのいずれか一つに対応する第２モーションが認識された場合、前記チャネルアップ及びダウンのいずれか一つに対応するように、現在のチャネルから前記現在のチャネルの前後のチャネルのいずれか一つにチャネルを変更するためのチャネルザッピングを含んでよい。
そして、前記アイテム付加情報は、前記第１音声アイテムに対応する前記タスクが前記音声タスクのうちのチャネルショートカットの場合、チャネル名、番組名及びチャネル番号の少なくともいずれか一つの識別子の発話に対するガイド語句及び発話例示の少なくともいずれか一つを含んでよい。
なお、前記第１音声アイテムに対応する前記タスクを行うステップは、前記アイテム付加情報に対応する前記識別子に対する第３音声が認識された場合、前記識別子に対応するチャネルを再生するための前記チャネルショートカットを行ってよい。
そして、前記第１モーションアイテムに対応する前記タスクを行うステップは、前記第１モーションアイテムに対応する前記タスクが前記モーションタスクのうちのチャネルザッピングの場合、現在のチャネルから前記現在のチャネルの前後のチャネルのいずれか一つにチャネルを変更してよい。
なお、前記音声タスク及び前記モーションタスクは互いに異なり、前記音声タスクは予め設定されたレベルのいずれか一つのレベルに対応する第４音声が認識された場合、前記認識された第４音声に対応する前記レベルとして音量レベルを指定するための音量レベル指定を含み、前記モーションタスクは音量アップ及びダウンのいずれか一つに対応する第３モーションが認識された場合、前記音量アップ及びダウンのいずれか一つに対応するように、現在の音量から現在の音量レベルより予め設定されたレベル分だけ増加させることと、予め設定されたレベル分だけ減少させることのいずれか一つを示す音量レベル調整を含んでよい。
そして、前記アイテム付加情報は、前記第１音声アイテムに対応する前記タスクが前記音声タスクのうちの電源オフの場合、前記電源オフを行うか否かを問い合わせるガイド語句及び前記問い合わせへの返答に対する発話例示の少なくともいずれか一つを含んでよい。
なお、前記第１音声アイテムに対応する前記タスクを行うステップは、前記第１音声アイテムに対応する前記タスクが前記音声タスクのうちのサウンドオフの場合、前記サウンドオフが行われるように制御し、前記第１音声アイテムの代わりに前記第１タスクのうちのサウンドオンに対応する第２音声アイテムを含む変更された音声ガイド情報を表示するステップを含んでよい。
そして、前記音声ガイド情報として表示された前記少なくともいずれか一つの音声アイテムは、前記音声ガイド情報とともに表示されるアプリケーション、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）及び認識候補（Ｃａｎｄｉｄａｔｅ）の少なくともいずれか一つに応じて、前記音声タスクに対応する音声アイテムの中で少なくともいずれか一つが選択的に構成されたものであり、前記認識候補は前記認識された音声と類似する数字及び文字の少なくともいずれか一つを含む名称、前記認識された音声と類似する命令語、前記類似する命令語に対応するタスク、前記認識されたモーションと類似するモーション、前記類似するモーションに対応するタスクの少なくともいずれか一つを含んでよい。
なお、前記モーションガイド情報として表示された前記少なくともいずれか一つのモーションアイテムは、前記モーションガイド情報とともに表示されるアプリケーション、ＯＳＤ及び認識候補の少なくともいずれか一つに応じて、前記モーションタスクに対応するモーションアイテムの中で少なくともいずれか一つが選択的に構成されたものであり、前記認識候補は前記認識された音声と類似する数字及び文字の少なくともいずれか一つを含む名称、前記認識された音声と類似する命令語、前記類似する命令語に対応するタスク、前記認識されたモーションと類似するモーション、前記類似するモーションに対応するタスクの少なくともいずれか一つを含んでよい。
そして、前記音声タスクモードで前記音声ガイド情報とともに認識候補が表示された後、前記音声タスクモードから前記モーションタスクモードに切り替わる場合、前記認識候補を表示し続け、前記音声ガイド情報を前記モーションタスクモードに相応する前記モーションガイド情報に変更して表示するステップを更に含み、前記認識候補は前記認識された音声と類似する数字及び文字の少なくともいずれか一つを含む名称、前記認識された音声と類似する命令語、前記類似する命令語に対応するタスク、前記認識されたモーションと類似するモーション、前記類似するモーションに対応するタスクの少なくともいずれか一つを含んでよい。
なお、前記認識候補を表示し続け、前記音声ガイド情報を前記モーションガイド情報に変更して表示するステップは、前記表示し続けられる認識候補のうちの一つの認識候補にフォーカスを表示するステップを含んでよい。
そして、前記モーションタスクモードで前記モーションガイド情報とともに認識候補が表示された後、前記モーションタスクモードから前記音声タスクモードに切り替わる場合、前記認識候補を表示し続け、前記モーションガイド情報を前記音声タスクモードに相応する前記音声ガイド情報に変更して表示するステップを更に含み、前記認識候補は前記認識された音声と類似する数字及び文字の少なくともいずれか一つを含む名称、前記認識された音声と類似する命令語、前記類似する命令語に対応するタスク、前記認識されたモーションと類似するモーション、前記類似するモーションに対応するタスクの少なくともいずれか一つを含んでよい。
なお、前記認識候補を表示し続け、前記音声ガイド情報を前記モーションガイド情報に変更して表示するステップは、前記表示され続ける認識候補に対応する数字及び文字の少なくともいずれか一つで構成されたインデックスを表示するステップを含んでよい。
そして、前記第１音声アイテムに対応する前記タスクを行うステップは、前記第１音声アイテムが、前記音声タスクに対応する音声アイテムの中で、前記少なくともいずれか一つの音声アイテムと異なるアイテムを表示するためのアイテムである場合、前記異なるアイテムを表示するステップを含んでよい。
なお、前記異なるアイテムを表示するステップは、表示された音声アイテムのうちいずれか一つが予め設定された時間の間認識されていない場合、前記音声タスクモードを中断するためのタイマーの駆動を省略するステップを更に含んでよい。
そして、前記第１音声アイテムに対応する前記第１音声を認識するステップは、前記第１音声アイテム及び前記第１音声アイテムに対応する前記タスクの少なくともいずれか一つを示す視覚的なフィードバック及び聴覚的なフィードバックの少なくともいずれか一つを提供するステップを含んでよい。
なお、前記第１モーションアイテムに対応する前記第１モーションを認識するステップは、前記第１モーションアイテム及び前記第１モーションアイテムに対応する前記タスクの少なくともいずれか一つを示す視覚的なフィードバック及び聴覚的なフィードバックの少なくともいずれか一つを提供するステップを含んでよい。
そして、前記第１音声アイテムに対応する前記第１音声を認識するステップは、前記第１音声の認識正確度に応じて、前記認識正確度のレベルに対応する視覚的なフィードバック及び聴覚的なフィードバックの少なくともいずれか一つを提供するステップを含んでよい。
なお、前記第１モーションアイテムに対応する前記第１モーションを認識するステップは、前記第１モーションの認識正確度に応じて、前記認識正確度のレベルに対応する視覚的なフィードバック及び聴覚的なフィードバックの少なくともいずれか一つを提供するステップを含んでよい。
そして、認識された音声に応じて第１タスクの少なくともいずれか一つを行うことができる音声タスクモードで、前記第１タスクを行うための音声ガイド情報が表示されるように制御し、認識されたモーションに応じて第２タスクの少なくともいずれか一つを行うことができるモーションタスクモードで前記第２タスクを行うためのモーションガイド情報が表示されるように制御する制御部を含み、前記制御部は、前記音声タスクモードで前記ＵＩとして表示された少なくともいずれか一つの音声アイテムのうち、第１音声アイテムに対応する第１音声を認識し、前記第１タスクのうち、前記第１音声アイテムに対応するタスクを行い、前記モーションタスクモードで前記モーションガイド情報として表示された少なくともいずれか一つのモーションアイテムのうち、第１モーションアイテムに対応する第１モーションを認識し、前記第２タスクのうち、前記第１モーションアイテムに対応するタスクを行ってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、認識された音声に応じて第１タスクの少なくともいずれか一つを行うことができる音声タスクモードで、前記第１タスクを行うための音声ガイド情報を表示するステップと、前記音声ガイド情報として表示された少なくともいずれか一つの音声アイテムのうち、第１音声アイテムに対応する第１音声を認識するステップと、前記認識された第１音声に対応する前記第１音声アイテムに関連するアイテム付加情報を表示するステップと、前記アイテム付加情報に対応する第２音声を認識するステップと、前記第１タスクのうち、前記第１音声アイテム及び前記認識された第２音声に対応するタスクを行うステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、認識された音声に応じて第１タスクの少なくともいずれか一つを行うことができる音声タスクモードで、前記第１タスクを行うための音声ガイド情報を表示するように制御する制御部を含み、前記制御部は、前記音声ガイド情報として表示された少なくともいずれか一つの音声アイテムのうち、第１音声アイテムに対応する第１音声を認識し、前記認識された第１音声に対応する前記第１音声アイテムに関連するアイテム付加情報が表示されるように制御し、前記アイテム付加情報に対応する第２音声を認識し、前記第１タスクのうち、前記第１音声アイテム及び前記認識された第２音声に対応するタスクを行う。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びジェスチャー認識が可能な電子装置のＵＩ提供方法は、音声開始命令を認識するステップと、前記認識された音声開始命令に応答し、音声認識が可能な命令語に対応する音声アイテムを前記電子装置のディスプレイ画面に表示するステップと、第１命令語に対応する第１命令語音声（Ｖｏｉｃｅ）を認識するステップと、前記第１命令語音声に応答し、前記ディスプレイ画面に音声認識を通じて制御可能な第１アプリケーションの第１短縮アイコンを、音声認識を通じて制御不可な第２アプリケーションの第２短縮アイコンと区別できるように表示するステップとを含む。
そして、前記第１短縮アイコンは、前記第１アプリケーションのオリジナル短縮アイコンと前記オリジナル短縮アイコンの一側に表示される追加（Ａｄｄｉｔｉｏａｎａｌ）アイコンとの結合（Ｃｏｍｂｉｎａｔｉｏｎ）であってよい。
なお、前記第１短縮アイコンの名前は、前記第２短縮アイコンの名前と区別できるように表示されてよい。
そして、音声認識を通じて前記第１アプリケーションが制御されると、前記第１短縮アイコンが前記第２短縮アイコンと区別できるように表示されるステップを更に含んでよい。
なお、前記認識された音声開始命令に応答し、前記ディスプレイ画面の一側に第１フィードバック（Ｆｅｅｄｂａｃｋ）を表示するステップを更に含んでよい。
そして、前記ＵＩに表示される前記第１短縮アイコンの名前に対応する第２命令語音声を認識するステップを更に含み、前記第１短縮アイコンの名前は前記第１短縮アイコンの一側に表示されてよい。
なお、前記第２命令語音声に応答し、前記第１アプリケーションが前記ディスプレイ画面に表示されるステップを更に含んでよい。
そして、前記第２命令語音声を受信して認識するステップにおいて、前記第２命令語音声に対応するアプリケーションが複数であれば、前記ＵＩの一側に前記複数のアプリケーションに対応するアプリケーションのリストが表示されてよい。
なお、前記ＵＩには、音声認識を通じて制御可能な第３アプリケーションの第３短縮アイコン及び前記第３短縮アイコンの一側には前記第３短縮アイコンの名前が表示され、前記第３短縮アイコンの名前が定められた長さより長ければ、前記第３短縮アイコンの名前の一部のみ表示されてよい。
そして、前記第３短縮アイコンの名前の一部に対応する第３命令語音声を認識するステップを更に含み、前記第３命令語音声に応答し、前記第３アプリケーションが前記ディスプレイ画面に表示されてよい。
なお、前記音声アイテムは復帰（Ｒｅｔｕｒｎ）を含み、復帰に対応する第４命令語音声を認識すると、前記第４命令語音声に応答して前記ＵＩが表示される前に（Ｐｒｅｖｉｏｕｓ）復帰してよい。
そして、受信される放送信号に対応する映像、音声、制御データは、前記ディスプレイ画面及びスピーカーを通じて出力されるステップを更に含んでよい。
なお、モーション開始命令を認識するステップは、前記認識されたモーション開始命令に応答し、モーション認識を通じて制御可能なモーションに対応するモーションアイテムを前記ディスプレイ画面に表示するステップと、前記第１短縮アイコンを前記第２短縮アイコンと同様の方式で表示するステップとを更に含んでよい。
そして、前記認識されたモーション開始命令に応答し、前記ディスプレイ画面の一側に第２フィードバックを表示するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びジェスチャー認識が可能な電子装置のＵＩ提供方法は、音声開始命令を認識するステップと、前記音声開始命令に応答し、音声認識を通じて制御可能な第１アプリケーションの第１短縮アイコンに関連する命令語を含む音声アイテムを前記電子装置のディスプレイ画面の一側に表示するステップと、前記命令語に対応する命令語音声を認識するステップと、前記命令語音声に応答し、前記ディスプレイ画面に前記第１短縮アイコンを音声認識を通じて制御不可な第２アプリケーションの第２短縮アイコンと区別できるように表示するステップとを含み、前記第１短縮アイコンは、前記第１アプリケーションのオリジナル短縮アイコンと前記オリジナル短縮アイコンの一側に表示される追加アイコンとの結合であってよい。
そして、モーション開始命令が認識されると、前記第１短縮アイコンは前記第２短縮アイコンと同様に表示されるステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る音声認識及びジェスチャー認識が可能な電子装置は、ディスプレイ部と、音声を受信する音声入力部と、前記ディスプレイ部及び前記音声入力部を制御する制御部とを含み、前記制御部は、前記音声入力部を介して受信された音声開始命令を認識して音声認識を通じて制御可能な音声アイテムを前記ディスプレイ部に表示し、前記音声入力部を介して受信された第１命令語音声を認識し、前記ディスプレイ部に音声認識を通じて制御可能な第１アプリケーションの第１短縮アイコンを含むＵＩを表示するように制御し、前記ＵＩには前記第１短縮アイコンと音声認識を通じて制御不可な第２アプリケーションの第２短縮アイコンを区別できるように表示されてよい。
そして、前記制御部は、前記第１アプリケーションのオリジナル短縮アイコンと前記オリジナル短縮アイコンの一側に表示される追加アイコンとの結合である前記第１短縮アイコンが表示されるように制御してよい。
なお、前記制御部は、前記音声入力部を介して受信された前記第１短縮アイコンの名前に対応する第２命令語音声を認識し、前記認識された第２命令語音声に応答し、前記第１アプリケーションを前記ディスプレイ部に表示されるように制御してよい。
そして、ユーザのモーションを受信するモーション入力部を更に含み、前記制御部は、前記モーション入力部を制御し、前記モーション入力部を介して受信されるモーション開始命令を認識し、モーション認識を通じて制御可能なモーションアイテムを前記ディスプレイ部に表示し、前記ＵＩには前記第１短縮アイコンと前記第２短縮アイコンを同様に表示されるように制御してよい。
なお、外部装置と有／無線で接続可能なネットワークインターフェース部を更に含み、前記制御部は、前記ネットワークインターフェース部を制御して音声認識で制御可能な第３アプリケーションを前記外部装置からダウンロードするように制御してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置のＵＩ提供方法は、音声タスクモードに移行するステップと、前記音声タスクモードで、ディスプレイ画面に音声認識を通じて制御可能な第１アプリケーションに対応する第１短縮アイコンを、音声認識を通じて制御不可な第２アプリケーションの第２短縮アイコンと区別できるように表示するステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、認識されたユーザのモーションに応答し、複数の放送信号のいずれか一つの放送信号を選択するステップと、前記選択された放送信号を提供するステップと、前記選択された放送信号の提供を中止し、保存されたコンテンツを提供するステップと、前記認識されたユーザのモーションと同様の形態のユーザのモーションを再認識するステップと、前記再認識されたユーザのモーションに応答し、前記提供されたコンテンツが表示される画面の少なくとも一部を変更するステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、複数の放送信号のいずれか一つの放送信号及び保存されたコンテンツのいずれか一つを提供するステップと、モーション認識を通じてユーザのモーションを認識するステップと、前記認識されたユーザのモーションに応答し、前記放送信号を提供すると、前記提供された放送信号の音量の大きさを調節したり、または前記複数の放送信号の他の一つの放送信号を提供し、前記コンテンツを提供すると、前記提供されたコンテンツが表示される画面に少なくとも一部を変更するステップとを含む。
そして、前記放送信号は、放送受信部から受信した放送信号であり、前記コンテンツは、前記保存部に保存されたコンテンツか、外部端子入力部またはネットワークインターフェースから受信されたコンテンツであってよい。
なお、前記コンテンツは複数のページを含み、前記提供されたコンテンツが表示される画面の少なくとも一部を変更するステップは、前記複数のページのいずれか一つのページが表示される画面を、前記複数のページの他の一つのページが表示される画面に変更するステップであってよい。
そして、前記提供されたコンテンツが表示される画面の少なくとも一部を変更するステップは、前記認識されたユーザのモーションの方向に対応し、前記複数のページのいずれか一つのページが表示される画面を前記複数のページの前記いずれか一つのページの上、下、左または右側に位置したページのいずれか一つのページが表示される画面に変更するステップであってよい。
なお、前記コンテンツは一つのページを含み、前記提供されたコンテンツが表示される画面の少なくとも一部を変更するステップは、前記いずれか一つのページの一部が表示される画面を前記いずれか一つのページの他の一部が表示される画面に変更するステップであってよい。
そして、前記提供されたコンテンツが表示される画面の少なくとも一部を変更するステップは、前記提供されたコンテンツが表示される画面を前記コンテンツと異なるコンテンツが表示される画面に変更するステップであってよい。
なお、音声認識モジュールを通じてユーザの音声を認識するステップと、前記認識されたユーザの音声に応じて前記複数の放送信号の更に他の一つの放送信号を提供するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、第１映像データ及び前記第１映像データのためのオーディオデータとともに提供するステップと、認識されたユーザのモーションに応答し、前記オーディオデータの音量の大きさを調節するステップと、前記第１映像データ及び前記オーディオデータの提供を中止し、第２映像データを提供するステップと、前記認識されたユーザのモーションと実質的に同様の形態のユーザのモーションを再認識するステップと、前記再認識したユーザのモーションに応答し、前記第２映像データが表示される画面の少なくとも一部を変更するステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、複数のソースから各々提供される映像データのうちの第１映像データ、及び一つのソースから提供される複数の映像データのうちの第２映像データのいずれか一つを提供するステップと、モーション認識モジュールを通じてユーザのモーションを認識するステップと、前記認識されたユーザのモーションに応答し、前記第１映像データを提供すると、前記第１映像データを提供するソースと異なるソースから提供される映像データを提供し、前記第２映像データを提供すると、前記一つのソースから提供される複数の映像データのうち、前記第２映像データと異なる映像データを提供するステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、前記電子装置の電源印加時に直ちに再生される第１映像データ及び前記電子装置の電源印加後にユーザによるモード移行後に再生される第２映像データのいずれか一つを提供するステップと、モーション認識モジュールを通じてユーザのモーションを認識するステップと、前記認識されたユーザのモーションに応答し、前記第１映像データを提供すると、前記電子装置の電源印加時に直ちに再生される前記第１映像データと異なる映像データを提供し、前記第２映像データを提供すると、前記ユーザによるモード移行後に再生する前記第２映像データと異なる映像データを提供するステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、複数の動画のいずれか一つの動画、または複数のイメージのいずれか一つのイメージを提供するステップと、モーション認識モジュールを通じてユーザのモーションを認識するステップと、前記認識したユーザのモーションに応答し、前記動画を提供すると、前記複数の動画のうち、前記提供された動画と異なる動画を提供し、前記イメージを提供すると、前記複数のイメージのうち、前記提供されたイメージと異なるイメージを提供するステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、複数の放送信号のいずれか一つの放送信号及び保存されたコンテンツのいずれか一つのコンテンツをディスプレイするディスプレイ部と、ユーザのモーションが入力されるモーション入力部と、前記ユーザのモーションに応答し、前記放送信号を提供すると、前記提供された放送信号の音量の大きさを調節したり、または前記複数の放送信号の他の一つの放送信号を提供し、前記コンテンツを提供すると、前記提供されたコンテンツが表示される画面の少なくとも一部を変更する制御部とを含む。
そして、前記コンテンツは複数のページを含み、前記制御部は、前記提供されたコンテンツが表示される画面の少なくとも一部を変更する場合、前記複数のページのいずれか一つのページが表示される画面を前記複数のページの他の一つのページが表示される画面に変更してよい。
なお、前記制御部は、前記提供されたコンテンツが表示される画面の少なくとも一部を変更する場合、前記モーション入力部を介して認識されたユーザのモーションの方向に対応し、前記複数のページのいずれか一つのページが表示される画面を前記複数のページの前記いずれか一つのページの上、下、左または右側に位置したページのいずれか一つのページが表示される画面に変更してよい。
そして、前記コンテンツは一つのページを含み、前記制御部は、前記提供されたコンテンツが表示される画面の少なくとも一部を変更する場合、前記一つのページの一部が表示される画面を前記一つのページの他の一部が表示される画面に変更してよい。
なお、ユーザの音声が入力される音声入力部を更に含み、前記制御部は、前記ユーザの音声に応じて前記複数の放送信号のうち、他の放送信号を提供してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、第１映像データまたは第２映像データをディスプレイするディスプレイ部と、前記第１映像データのためのオーディオデータを提供するオーディオ出力部と、ユーザのモーションが入力されるモーション入力部と、前記ユーザのモーションに応答し、前記第１映像データを提供すると、前記第１映像データのためのオーディオデータの音量の大きさを調節し、前記第２映像データを提供すると、前記第２映像データが表示される画面の少なくとも一部を変更する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、複数の動画のいずれか一つの動画、または複数のイメージのいずれか一つのイメージをディスプレイするディスプレイ部と、ユーザのモーションが入力されるモーション入力部と、前記ユーザのモーションに応答し、前記動画を提供すると、前記複数の動画のうち、前記提供された動画と異なる動画を提供し、前記イメージを提供すると、前記複数のイメージのうち、前記提供されたイメージと異なるイメージを提供する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、複数のソースから各々提供される映像データのうちの第１映像データ、及び一つのソースから提供される複数の映像データのうちの第２映像データのいずれか一つをディスプレイするディスプレイ部と、ユーザのモーションが入力されるモーション入力部と、前記ユーザのモーションに応答し、前記第１映像データを提供すると、前記第１映像データを提供するソースと異なるソースから提供される映像データを提供し、前記第２映像データを提供すると、前記一つのソースから提供される複数の映像データのうち、前記第２映像データと異なる映像データを提供する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声認識モジュール及びモーション認識モジュールのいずれか一つを通じてユーザ音声及びユーザモーションのいずれか一つを認識するステップと、前記音声認識モジュールを通じてユーザ音声が認識されると、コンテンツ識別子が各々付与された複数のコンテンツのうち、前記認識されたユーザ音声に対応するコンテンツ識別子が付与されたコンテンツを実行し、前記モーション認識モジュールを通じてユーザのモーションが認識されると、前記ユーザのモーションの方向に対応して前記複数のコンテンツを変更するステップとを含む。
そして、前記コンテンツは放送コンテンツであることを特徴とし、前記変更するステップは、前記音声認識モジュールを通じてユーザ音声が認識されると、放送チャネル識別子が各々付与された複数の放送チャネルのうち、前記認識されたユーザ音声に対応する放送チャネル識別子が付与された放送チャネルに変更され、前記モーション認識モジュールを通じてユーザのモーションが認識されると、前記ユーザのモーションの方向に対応するように前記複数の放送チャネルを段階的に変更してよい。
なお、前記チャネル識別子は、チャネル番号、チャネル名及び番組名の少なくともいずれか一つを含んでよい。そして、前記ユーザモーションはスラップを含み、前記変更するステップは、前記認識されたユーザモーションが上方へのスラップモーションである場合、現在出力される放送のチャネル番号より予め設定された番号分だけ増加したチャネルに変更されるようにチャネルザッピングを行い、前記認識されたユーザモーションが下方へのスラップモーションである場合、現在出力される放送のチャネル番号より予め設定された番号分だけ減少したチャネルに変更されるようにチャネルザッピングを行ってよい。
なお、前記コンテンツは、映像コンテンツ、音楽コンテンツ及び写真コンテンツのいずれか一つであってよい。そして、前記コンテンツ識別子は、前記コンテンツの名前であってよい。
なお、前記ユーザのモーションはスラップを含み、前記変更するステップは、前記認識されたユーザモーションが右方へのスラップモーションである場合、再生されるための複数のコンテンツを含むコンテンツリストで、現在出力されるコンテンツの次の順に出力されるコンテンツに変更し、前記認識されたユーザモーションが左方へのスラップモーションである場合、前記コンテンツリストで、現在出力されるコンテンツの前の順に出力されるコンテンツに変更してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザ音声が入力される音声入力部と、ユーザモーションが入力されるモーション入力部と、前記ユーザ音声及び前記ユーザモーションのいずれか一つを認識し、前記ユーザ認識が認識されると、コンテンツ識別子が各々付与された複数のコンテンツのうち、前記認識されたユーザ音声に対応するコンテンツ識別子が付与されたコンテンツを実行し、前記ユーザのモーションが認識されると、前記認識されたユーザモーションの方向に対応するように前記複数のコンテンツを変更する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、リモコンを通じて入力されるリモコン信号で前記電子装置が制御されるリモコンモードで、前記電子装置を制御するステップと、音声認識モジュールを通じて音声開始命令を認識するステップと、前記音声開始命令が認識される場合、前記音声認識モジュールによって認識されたユーザ音声によって制御される音声タスクを行うための音声タスクモードに切り替えるステップとを含む。
そして、前記切り替えるステップは、前記電子装置のモードが音声タスクモードであることを表示するアイコン及び前記音声タスクをガイドする音声アイテムが含まれた音声ガイド情報をディスプレイするステップを含んでよい。
そして、前記リモコンモードに切り替えるために、前記リモコンに備えられたボタンのうちの第１ボタンが選択されると、前記第１ボタンに対応する第１リモコン信号を受信するステップと、前記第１リモコン信号に応答し、前記リモコンモードに切り替えるステップとを含んでよい。
なお、前記第１ボタンは、前記リモコンモードに切り替えるためのリモコンモード切替ボタンであってよい。そして、前記第１ボタンは、前記リモコンに備えられたボタンのうちの任意のボタンであり、前記リモコンモードに切り替えるステップは、前記リモコンモードに切り替えた後、前記第１ボタンに対応するタスクを行うステップを更に含んでよい。
なお、モーション認識モジュールを通じてモーション開始命令を認識するステップと、前記モーション開始命令が認識される場合、前記モーション認識モジュールによって認識されたユーザモーションによって制御されるモーションタスクを行うためのモーションタスクモードに切り替えるステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、リモコンを通じて入力されるリモコン信号で前記電子装置が制御されるリモコンモードで、前記電子装置を制御するステップと、モーション認識モジュールを通じてモーション開始命令を認識するステップと、前記モーション開始命令が認識される場合、前記モーション認識モジュールによって認識されたユーザモーションによって制御されるモーションタスクを行うためのモーションタスクモードに切り替えるステップとを含む。
そして、前記切り替えるステップは、前記電子装置のモードがモーションタスクモードであることを表示するアイコン及び前記モーションタスクをガイドするモーションアイテムの含まれたモーションガイド情報をディスプレイステップを含んでよい。
なお、前記リモコンは、タッチパッドを含んでよい。そして、前記リモコンモードに切り替えるために、前記リモコンに備えられたボタンのうちの第１ボタンが選択されると、前記第１ボタンに対応する第１リモコン信号を受信するステップと、前記第１リモコン信号に応答し、前記リモコンモードに切り替えるステップとを含んでよい。
なお、前記第１ボタンは、前記リモコンモードに切り替えるためのリモコンモード切替ボタンであってよい。そして、前記第１ボタンは、前記リモコンに備えられたボタンのうちの任意のボタンであり、前記リモコンモードに切り替えるステップは、前記リモコンモードに切り替えた後、前記第１ボタンに対応するタスクを行うステップを更に含んでよい。
なお、音声認識モジュールを通じて音声開始命令を認識するステップと、前記音声開始命令が認識される場合、前記音声認識モジュールによって認識されたユーザ音声によって制御される音声タスクを行うための音声タスクモードに切り替えるステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係るリモコンと連動する電子装置は、前記リモコンからリモコン信号を受信するリモコン信号受信部と、音声開始命令が入力される音声入力部と、前記リモコン信号受信部に受信されたリモコン信号に応じて前記電子装置が制御されるリモコンモードで、前記音声入力部を介して入力された音声開始命令が認識される場合、前記音声入力部によって入力されたユーザ音声によって制御される音声タスクを行うための音声タスクモードに切り替える制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係るリモコンと連動する電子装置は、前記リモコンからリモコン信号を受信するリモコン信号受信部と、モーション開始命令が入力されるモーション入力部と、前記リモコン信号受信部に受信されたリモコン信号に応じて前記電子装置が制御されるリモコンモードで、前記モーション入力部を介して入力されたモーション開始命令が認識される場合、前記モーション入力部によって入力されたユーザモーションによって制御されるモーションタスクを行うためのモーションタスクモードに切り替える制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、前記電子装置と連動する携帯機器から、前記携帯機器に備えられたマイクに入力されたユーザ音声が入力されるステップと、前記入力されたユーザ音声を認識するステップと、前記認識されたユーザ音声に応じて前記電子装置の音声タスクを行うステップとを含む。
そして、前記携帯機器は、リモコン、携帯電話、ＰＤＡ及びノートパソコンのいずれか一つであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、外部の携帯機器で音声認識のためのアプリケーションが実行されると、前記携帯機器から制御信号が入力されるステップと、前記携帯機器から入力された制御信号に応じて前記電子装置の音声タスクを行うステップとを含み、前記制御信号は、前記携帯機器が前記携帯機器に備えられたマイクに入力されたユーザ音声を認識して生成されてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、外部の携帯機器で音声認識のためのアプリケーションが実行されると、前記携帯機器に備えられたマイクに入力されたユーザの音声を前記携帯機器から入力されるステップと、前記携帯機器から入力されたユーザの音声を認識するステップと、前記ユーザの音声に応じて前記電子装置の音声タスクを行うステップとを含む。
そして、前記携帯機器に含まれた第１ボタンが選択されると、前記第１ボタンに対応する第１信号を受信するステップと、前記第１信号に応答して前記電子装置のモードを音声タスクモードに切り替えるステップとを更に含んでよい。
なお、前記音声タスクモードは、前記携帯機器に含まれたマイクから入力されたユーザの音声に応じて音声タスクが行われるモードであってよい。
そして、前記音声タスクモードで、前記第１ボタン及び第２ボタンのいずれか一つが選択されると、前記音声タスクモードを解除するステップを更に含んでよい。
なお、前記入力されるステップは、前記携帯機器に備えられた第２ボタンが選択される間、前記携帯機器に備えられたマイクから入力されたユーザの音声を前記携帯機器から入力されてよい。
そして、前記携帯機器に備えられた第２ボタンが選択される間、前記ユーザ音声が入力可能であることを示すＵＩをディスプレイするステップを更に含んでよい。
なお、前記携帯機器に備えられたマイクは、前記携帯機器が電話による通話のために用いられるマイクであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、前記電子装置と連動する携帯機器からユーザ音声が入力される音声入力部と、前記音声入力部を介して前記携帯機器から前記携帯機器に備えられたマイクに入力されたユーザ音声が入力されると、前記入力されたユーザ音声を認識し、前記認識されたユーザ音声に応じて前記電子装置の音声タスクを行う制御部とを含む。
そして、前記携帯機器は、リモコン、携帯電話、ＰＤＡ及びノートパソコンのいずれか一つであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、外部の携帯機器と通信を行う通信部と、前記携帯機器で音声認識のためのアプリケーションが実行され、前記通信部を介して前記携帯機器から制御信号が入力されると、前記携帯機器から入力された制御信号に応じて前記電子装置の音声タスクを行う制御部とを含み、前記制御信号は、前記携帯機器が前記携帯機器に備えられたマイクに入力されたユーザ音声を認識して生成されてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、前記電子装置と連動する携帯機器からユーザ音声が入力される音声入力部と、前記携帯機器で音声認識のためのアプリケーションが実行され、前記携帯機器に備えられたマイクから入力されたユーザの音声が入力されると、前記携帯機器から入力されたユーザの音声を認識し、前記ユーザの音声に応じて前記電子装置の音声タスクを行う制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、アプリケーションを実行するための複数の短縮アイコンが含まれたコンテンツリスト及びウェブページのいずれか一つがディスプレイするステップと、モーション入力部を介してモーション開始命令が入力されるステップと、前記モーション開始命令が認識されると、ポインタを用いて制御されるタスクを行うためのポインティングモードに切り替え、ディスプレイされた画面の中央にポインタをディスプレイするステップとを含む。
そして、前記モーション開始命令が認識されると、前記ディスプレイ画面の下段にモーションタスクを行うためのモーションガイド情報をディスプレイステップを含む。
なお、前記ディスプレイステップにおいて前記コンテンツリストがディスプレイされた場合、前記モーション入力部に入力されるユーザのモーションに応じて前記ポインタが前記第１短縮アイコンに位置すると、前記第１短縮アイコンを他の短縮アイコンと区別できるように表示するステップを更に含んでよい。
そして、前記ポインタが第１短縮アイコンに位置し、前記モーション入力部を介してユーザの第１モーションが入力されると、前記第１短縮アイコンを実行するステップを更に含んでよい。
なお、前記コンテンツリスト画面の終了命令が入力されると、前記コンテンツリスト及び前記ポインタをディスプレイ画面から除去するステップを更に含んでよい。
そして、前記ディスプレイステップにおいて前記ウェブページがディスプレイされた場合、前記モーション入力部に入力されるユーザのモーションに応じて前記ポインタが前記ウェブページに存在する第１ハイパーリンクに位置すると、前記第１ハイパーリンクを他のハイパーリンクを区別できるように表示するステップを更に含んでよい。
なお、前記ポインタが第１ハイパーリンクに位置し、前記モーション入力部を介してユーザの第１モーションが入力されると、前記第１ハイパーリンクを実行するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令が入力されるモーション入力部と、アプリケーションを実行するための複数の短縮アイコンが含まれたコンテンツリストをディスプレイするディスプレイ部と、前記モーション入力部を介してモーション開始命令が認識されると、ポインタを用いて制御されるタスクを行うためのポインティングモードに切り替え、前記コンテンツリストがディスプレイされた画面の中央にポインタがディスプレイされるように前記ディスプレイ部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令が入力されるモーション入力部と、複数のハイパーリンクを含むウェブページをディスプレイするディスプレイ部と、前記モーション入力部を介してモーション開始命令が認識されると、ポインタを用いて制御されるタスクを行うためのポインティングモードに切り替え、前記ウェブページがディスプレイされた画面の中央にポインタがディスプレイされるように前記ディスプレイ部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、アプリケーションを実行するための複数の短縮アイコンが含まれたコンテンツリスト及びウェブページのいずれか一つがディスプレイするステップと、モーション入力部を介してモーション開始命令が入力されるステップと、前記モーション開始命令が認識されると、ポインタを用いて制御されるタスクを行うためのポインティングモードに切り替え、ディスプレイされた画面の中央にポインタをディスプレイするステップと、前記モーション入力部を介して予め設定されたモーションが入力されるステップと、前記ポインタをディスプレイ画面から除去し、前記予め設定されたモーションに対応するモーションタスクを行うステップとを含む。
そして、前記ディスプレイするステップは、前記ポインタが前記コンテンツリストの第１短縮アイコンに位置すると、前記ポインタのための第１短縮アイコンがハイライトされるようにディスプレイすることを特徴とするステップを更に含んでよい。
なお、前記予め設定されたモーションが入力されると、前記ハイライトされるようにディスプレイされた前記第１短縮アイコンのハイライト表示を除去するステップを更に含んでよい。
そして、前記予め設定されたモーションは、前記電子装置のモーションモードを行うためのモーションであり、上下左右の方向へのスラップモーション、グラブモーション及び反時計回りへの回転モーションのいずれか一つであってよい。
なお、前記予め設定されたモーションが上下左右の方向へのスラップモーションである場合、前記電子装置のディスプレイ画面を前記上下左右の方向へのスラップモーションに応じて移動するステップと、前記画面移動後、前記ポインタを前記ユーザの手が位置している地点に再びディスプレイするステップとを含んでよい。
そして、前記予め設定されたモーションがグラブモーションである場合、前記ポインタが位置する第１短縮アイコンを実行するステップと、前記第１短縮アイコン実行後、前記ポインタを前記ユーザの手が位置している地点に再びディスプレイするステップとを含んでよい。
なお、前記予め設定されたモーションが反時計回りへの回転モーションである場合、前記ディスプレイ画面に現在選局されるチャネルの放送番組をディスプレイするステップを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令及びユーザのモーションが入力されるモーション入力部と、アプリケーションを実行するための複数の短縮アイコンが含まれたコンテンツリスト及びウェブページのいずれか一つがディスプレイするディスプレイ部と、前記モーション入力部を介してモーション開始命令が入力されると、ポインタを用いて制御されるタスクを行うためのポインティングモードに切り替え、ディスプレイされた画面の中央にポインタをディスプレイし、前記モーション入力部を介して予め設定されたモーションが入力されると、前記ポインタをディスプレイ画面から除去し、前記予め設定されたモーションに対応するモーションタスクを行う制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、選択可能な複数のアイテムをディスプレイするステップと、音声入力部及びモーション入力部のいずれか一つを介してユーザの音声及びユーザのモーションのいずれか一つが入力されるステップと、前記ユーザの入力によって前記複数のアイテムのうちの第１アイテムが選択されると、前記第１アイテムを他のアイテムを区別できるようにディスプレイするステップとを含み、前記ディスプレイするステップは、前記第１アイテムの名前が予め設定された文字数を超過し、前記電子装置のモードが音声タスクモードである場合、前記第１アイテムの名前の一部のみをディスプレイし、前記第１アイテムの名前が予め設定された文字数を超過し、前記電子装置のモードがモーションタスクモードである場合、前記第１アイテムのフルネームをディスプレイする。
そして、前記選択可能なアイテムは、アプリケーションを実行するためのコンテンツリストに含まれた短縮アイコン及びウェブページに含まれたハイパーリンクのいずれか一つであってよい。
なお、前記ディスプレイするステップは、前記第１アイテム及び前記第１アイテムの名前を、前記他のアイテム及び前記他のアイテムの名前より濃くディスプレイしてよい。
そして、前記電子装置のモードが音声タスクモードである場合、音声入力部を介して入力されたユーザの音声が前記ディスプレイされた第１アイテムの名前の一部と一致していると、前記第１アイテムを実行するステップを更に含んでよい。
なお、前記ディスプレイされた第１アイテムの名前の一部に分かち書きがない場合、前記音声入力部を介して前記ディスプレイされた第１アイテムの名前を構成する複数の綴りに対応するユーザ入力が入力されると、前記第１アイテムを実行するステップを更に含んでよい。
そして、前記電子装置のモードが音声タスクモードである場合、前記ディスプレイされたアイテムの名前のうち、音声入力部を介して入力されたユーザの音声と一致しているアイテムが複数である場合、候補群リストをディスプレイするステップを含む制御方法。
なお、前記候補群リストは、前記入力されたユーザ音声と一致している複数のアイテムのフルネームを表示してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、選択可能な複数のアイテムが含まれた画面をディスプレイするディスプレイ部と、ユーザの音声が入力される音声入力部と、ユーザのモーションが入力されるモーション入力部と、前記音声入力部及び前記モーション入力部のいずれか一つを介してユーザの音声及びユーザのモーションのいずれか一つが入力されると、前記ユーザの入力に応じて前記複数のアイテムのうちの第１アイテムを選択し、前記第１アイテムを他のアイテムを区別できるようにディスプレイするように前記ディスプレイ部を制御する制御部とを含み、前記制御部は、前記第１アイテムの名前が予め設定された文字数を超過し、前記電子装置のモードが音声タスクモードである場合、前記第１アイテムの名前の一部のみをディスプレイし、前記第１アイテムの名前が予め設定された文字数を超過し、前記電子装置のモードがモーションタスクモードである場合、前記第１アイテムのフルネームをディスプレイしてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声タスクをガイドする複数の音声アイテムを含む音声ガイド情報をディスプレイするステップと、音声入力部を介して前記複数の音声アイテムのいずれか一つに対応するユーザ音声が入力されると、前記音声ガイド情報の第１領域に第１彩度を有する音声タスクを行うためのガイド語句をディスプレイし、前記音声ガイド情報の第２領域に第２彩度を有する音声アイテムをディスプレイするステップとを含む。
そして、前記音声ガイド情報は、前記電子装置のモードが音声タスクモードであることを表示するアイコンを含み、前記アイコンは前記音声ガイド情報の中央に位置してよい。
なお、前記第１領域は前記アイコンの左側領域であり、前記第２領域は前記アイコンの右側領域であってよい。そして、前記ユーザ音声がチャネル変更を行うための命令語である場合、前記第１領域にはチャネル変更をガイドするガイド語句がディスプレイされ、前記第２領域にはチャネル変更のための発話可能な命令語の例に対応する音声アイテム及びチャネル変更取消しに対応する音声アイテムがディスプレイされてよい。
なお、前記ユーザ音声が電源終了を行うための命令語である場合、前記第１領域には電源終了を確認するガイド語句がディスプレイされ、前記第２領域には電源終了を行うか否かに対する命令語に対応する音声アイテムがディスプレイされてよい。そして、前記第２彩度は、第１彩度より濃くてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザ音声が入力される音声入力部と、音声タスクをガイドする複数の音声アイテムを含む音声ガイド情報をディスプレイするディスプレイ部と、前記音声入力部を介して前記複数の音声アイテムのいずれか一つに対応するユーザ音声が入力されると、前記音声ガイド情報の第１領域に第１彩度を有する音声タスクを行うためのガイド語句をディスプレイし、前記音声ガイド情報の第２領域に第２彩度を有する音声アイテムをディスプレイするように前記ディスプレイ部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声タスクをガイドする複数の音声アイテムを含む音声ガイド情報をディスプレイするステップと、前記音声入力部を介して入力されたユーザ音声に前記複数の音声アイテムに対応する命令語以外の予め設定された単語が含まれると、前記予め設定された単語に対応する音声タスクを行うステップとを含み、前記予め設定された単語は、前記電子装置と連動するリモコンに含まれた短縮キーに対応する単語であってよい。
そして、前記予め設定された単語は、チャネルリストを生成するための命令語、メニュー生成のための命令語、ソーシャルネットワークを実行するための命令語、番組編成ガイドのための命令語、３Ｄ立体映像への変換のための命令語及び放送ガイドのための命令語のいずれか一つを含んでよい。
なお、前記予め設定された単語は、現在電子装置が行う機能と関連するタスクを提供する命令語に対応する単語を含んでよい。
そして、前記現在電子装置が行う機能が動画再生機能である場合、前記予め設定された単語は、動画の再生のための命令語、動画の一時停止のための命令語、動画の停止のための命令語、前のファイルの再生のための命令語、次のファイルの再生のための命令語、スキップのための命令語及び後へスキップのための命令語のいずれか一つを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザ音声が入力される音声入力部と、音声タスクをガイドする複数の音声アイテムを含む音声ガイド情報をディスプレイするディスプレイ部と、前記音声入力部を介して入力されたユーザ音声に前記複数の音声アイテムに対応する命令語以外の予め設定された単語が含まれると、前記予め設定された単語に対応する音声タスクを行う制御部とを含み、前記予め設定された単語は、前記電子装置と連動するリモコンに含まれた短縮キーに対応する単語であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、両手を用いたモーション開始命令が入力されるステップと、前記両手を用いたモーション開始命令が入力されると、両手を用いたモーションタスクを行う両手モーションタスクモードに切り替えるステップとを含む。
そして、前記両手を用いたモーション開始命令が入力されるステップは、片手を用いたモーション開始命令が入力されるステップと、前記片手を用いたモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替えるステップと、もう一方の手を用いたモーション開始命令が入力されるステップとを含んでよい。
なお、前記両手を用いたモーション開始命令は、前記両手を同時に複数回振るシェイクモーションであってよい。そして、前記両手を用いたモーションタスクは、画面を拡大したり縮小するタスクであってよい。
なお、前記両手を用いたモーションタスクが不可なアプリケーションを実行する場合、前記両手を用いたモーションタスクが不可であるというメッセージを出力するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令が入力されるモーション入力部と、前記モーション入力部を介して両手を用いたモーション開始命令が入力されると、両手を用いたモーションタスクを行う両手モーションタスクモードに切り替える制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、モーション入力部を介してモーション開始命令が入力されるステップと、前記モーション開始命令が入力されると、前記モーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替えるステップとを含み、前記モーションタスクモードは、前記モーション開始命令を入力したユーザが前記モーションタスクモードを解除するまでに、前記モーション開始命令を入力したユーザのモーションのみによって前記モーションタスクが行われてよい。
そして、前記モーションタスクモードは、前記モーション開始命令を入力したユーザを除く他のユーザからモーション開始命令が入力されるとしても維持されてよい。
なお、前記モーションタスクモードは、前記モーション開始命令を入力したユーザの手と前記他のユーザの手とが重なるとしても、前記モーション開始命令を入力したユーザの手に応じて前記モーションタスクを行ってよい。
そして、前記モーションタスクモードが片手を用いたモーション開始命令が入力された場合、前記モーション開始命令を入力したユーザ以外の他のユーザの片手を通じてモーション開始命令が入力されると、両手モーションタスクモードに切り替えるステップを含んでよい。
なお、前記モーション開始命令は、ユーザの手を複数回振る回転モーションであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、モーション入力部を介して複数のユーザによる複数のモーション開始命令が入力されると、前記複数のモーション開始命令のうち、最初に入力されたモーション開始命令を判断するステップと、前記最初に入力されたモーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替えるステップとを含む。
そして、前記モーションタスクモードは、前記最初にモーション開始命令を入力したユーザが前記モーションタスクモードを解除するまでに、前記最初にモーション開始命令を入力したユーザのモーションのみによってモーションタスクが行われてよい。
なお、前記モーションタスクモードは、前記最初にモーション開始命令を入力したユーザを除く他のユーザからモーション開始命令が入力されるとしても維持されてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令が入力されるモーション入力部と、前記モーション入力部を介してモーション開始命令が入力されると、前記モーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替えるステップを含み、前記モーションタスクモードは、前記モーション開始命令を入力したユーザが前記モーションタスクモードを解除するまでに、前記モーション開始命令を入力したユーザのモーションのみによって前記モーションタスクが行われてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、モーション開始命令が入力されるモーション入力部と、前記モーション入力部を介して複数のユーザによる複数のモーション開始命令は入力されると、前記複数のモーション開始命令のうち、最初に入力されたモーション開始命令を判断し、前記最初に入力されたモーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替える制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、映像をディスプレイするステップと、ユーザの第１音声が入力されるステップと、前記ユーザの第１音声が入力されると、前記ユーザの第１音声に応答して少なくとも一つの音声タスクをガイドする第１メニューを前記映像の一領域にディスプレイするステップと、ユーザの第２音声が入力されるステップと、前記少なくとも一つの音声タスクのうち、前記ユーザの第２音声に対応する音声タスクを行うステップとを含む。
そして、前記第１音声がチャネル変更のための命令語である場合、前記第１メニューは前記チャネル変更をガイドする情報が含まれていることを特徴とし、前記第２音声はチャネル番号、チャネル名及び番組名のいずれか一つであってよい。
なお、前記第２音声がチャネル変更をガイドする情報は、前記チャネル番号、チャネル名及び番組名のいずれか一つの命令語の例を含んでよい。
そして、前記第２音声がチャネル番号及びチャネル名である場合、前記音声タスクを行うステップは、前記チャネル番号及びチャネル名のうち入力された一つに対応するチャネルに変更してよい。
なお、前記第２音声が番組名である場合、前記音声タスクを行うステップは、前記予め保存された番組ガイド（ＥＰＧ）から前記入力された番組名を検索するステップと、前記検索結果に応じて、前記入力された番組名が放映されるチャネルに変更されたり、視聴予約を行うステップを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、映像をディスプレイするディスプレイ部と、ユーザの第１音声及び第２音声が入力される音声入力部と、前記ユーザの第１音声が入力されると、前記ユーザの第１音声に応答して少なくとも一つの音声タスクをガイドする第１メニューを前記映像の一領域にディスプレイするように前記ディスプレイ部を制御し、前記ユーザの第２音声が入力されると、前記少なくとも一つの音声タスクのうち、前記ユーザの第２音声に対応する音声タスクを行う制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、認識されたユーザの音声に応じて音声タスクを行う音声タスクモードで、少なくとも一つの短縮アイコン及び各々に対応する短縮アイコンの名前をディスプレイするステップと、ユーザの音声が入力されるステップと、前記少なくとも一つの短縮アイコンのうち、前記ディスプレイされた短縮アイコンの名前が短縮アイコンのフルネームの一部だけディスプレイされた第１短縮アイコンが存在する場合、前記入力されたユーザの音声が前記ディスプレイされた第１短縮アイコンの名前に一部と一致していると、前記第１短縮アイコンを実行するステップとを含む。
そして、前記実行するステップは、前記入力されたユーザの音声が前記ディスプレイされた第１の短縮アイコンに対する名前の一部を構成する複数の綴りと一致していると、前記第１短縮アイコンを実行してよい。
なお、前記実行するステップは、前記短縮アイコンのうち、前記短縮アイコンの名前に特殊文字が含まれた第２短縮アイコンが存在する場合、前記入力されたユーザの音声が前記第２短縮アイコンの名前に含まれた特殊文字を除く発話可能な名前と一致していると、前記第２短縮アイコンを実行してよい。そして、前記特殊文字は、ユーザによって発話不可な記号であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、少なくとも一つのハイパーリンクを含むウェブページをディスプレイするステップと、前記少なくとも一つのハイパーリンクのテキストを抽出するステップと、ユーザの音声が入力されるステップと、前記少なくとも一つのハイパーリンクのうち、前記ディスプレイされたハイパーリンクのテキストが前記抽出されたハイパーリンクのテキストの一部のみディスプレイされた第１ハイパーリンクが存在する場合、前記入力されたユーザの音声が前記ディスプレイされた第１ハイパーリンクの一部テキストと一致していると、前記第１ハイパーリンクを実行するステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザの音声が入力される音声入力部と、前記音声入力部を介して入力されたユーザの音声に応じて音声タスクを行う音声タスクモードで、短縮アイコン及び短縮アイコンの名前をディスプレイするディスプレイ部と、前記短縮アイコンのうち、前記ディスプレイされた短縮アイコンの名前が短縮アイコンのフルネームの一部のみディスプレイされた第１短縮アイコンが存在する場合、前記入力されたユーザの音声が前記ディスプレイされた第１短縮アイコンの名前の一部と一致していると、前記第１短縮アイコンを実行する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザの音声が入力される音声入力部と、前記音声入力部を介して入力されたユーザの音声に応じて音声タスクを行う音声タスクモードで、短縮アイコン及び短縮アイコンの名前をディスプレイするディスプレイ部と、前記短縮アイコンのうち、前記短縮アイコンの名前に特殊文字が含まれた第２短縮アイコンが存在する場合、前記入力されたユーザの音声が前記第２短縮アイコンの名前に含まれた特殊文字を除く発話可能な名前と一致していると、前記第２短縮アイコンを実行する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザの音声が入力される音声入力部と、少なくとも一つのハイパーリンクを含むウェブページをディスプレイするディスプレイ部と、前記少なくとも一つのハイパーリンクのテキストを抽出し、前記音声入力部を介してユーザ音声が入力されると、前記ユーザの音声を認識し、前記少なくとも一つのハイパーリンクのうち、前記ディスプレイされたハイパーリンクのテキストが前記抽出されたハイパーリンクのテキストの一部のみディスプレイされた第１ハイパーリンクが存在する場合、前記入力されたユーザの音声が前記ディスプレイされた第１ハイパーリンクの一部テキストと一致していると、前記第１ハイパーリンクを実行する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、モーション入力部を介してモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替えるステップと、ユーザの操作に応じてアプリケーションを実行するステップと、前記モーション入力部を介してユーザの第１モーション及びユーザの第２モーションのいずれか一つが入力されると、前記ユーザの第１モーション及びユーザの第２モーションのうち認識された一つに対応し、前記アプリケーション実行画面を拡大したり縮小してディスプレイするステップとを含み、前記アプリケーション提供画面は画面拡大または画面縮小が可能であってよい。
そして、前記ユーザの第１モーションは、ユーザの両手を広げるように移動することを特徴し、前記ユーザの第１モーションが認識されると、前記アプリケーション実行画面を拡大してディスプレイしてよい。
なお、前記ユーザの第２モーションは、ユーザの両手を狭めるように移動することを特徴し、前記ユーザの第２モーションが認識されると、前記アプリケーション実行画面を縮小してディスプレイしてよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、モーション入力部を介してモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替えるステップと、ユーザの操作に応じてアプリケーションを実行するステップと、前記モーション入力部を介してユーザのグラブモーションが維持されるまま移動されるモーションが入力されると、前記ユーザのグラブモーションの移動に対応し、前記アプリケーション実行画面を移動してディスプレイするステップとを含み、前記アプリケーション提供画面は前記電子装置のディスプレイ画面内で移動可能であってよい。
一方、前記目定を達成するための本発明の一実施形態に係る電子装置は、ディスプレイ部と、ユーザの第１モーション及びユーザの第２モーションが入力されるモーション入力部と、ユーザの操作に応じてアプリケーションを実行し、前記モーション入力部を介してユーザの第１モーション及びユーザの第２モーションのいずれか一つが入力されると、前記ユーザの第１モーション及びユーザの第２モーションのうち入力された一つに対応して前記ディスプレイ部にディスプレイされたアプリーション実行画面を拡大したり縮小してディスプレイする制御部とを含み、前記アプリケーション提供画面は画面拡大または画面縮小が可能であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ディスプレイ部と、ユーザの第３モーションが入力されるモーション入力部と、ユーザの操作に応じてアプリケーションを実行し、前記モーション入力部を介してユーザの第３モーションが入力されると、前記ディスプレイ部にディスプレイされたアプリケーション実行画面をユーザの第３モーションに応じて移動してディスプレイする制御部とを含み、前記ユーザの第３モーションは、前記ユーザがグラブモーションを取ってからグラブされた手を移動するモーションであり、前記アプリケーション提供画面は前記電子装置のディスプレイ画面内で移動可能であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、前記電子装置に含まれた音声入力部及び前記電子装置と連動する装置の一つから音声開始命令が入力されるステップと、前記電子装置に含まれた音声入力部から前記音声開始命令が入力されると、第１アイコンをディスプレイし、前記電子装置と連動する装置から前記音声開始命令が入力されると、前記第１アイコンと相違する第２アイコンをディスプレイするステップとを含む。
そして、前記電子装置に含まれた音声入力部から前記音声開始命令が入力されると、第１音声タスクモードに切り替わることを特徴とし、前記第１音声タスクモードは、前記電子装置に含まれた音声入力部からユーザ音声が入力されると、前記入力されたユーザ音声に応じて音声タスクを行うモードであってよい。
なお、前記第１アイコンをディスプレイする場合、予め設定された時間の間、前記電子装置に含まれた音声入力部にユーザ音声が入力されていなければ、前記第１音声タスクモードを解除し、リモコンによって制御されるリモコンモードに切り替えるステップとを含んでよい。
そして、前記電子装置と連動する装置から入力された音声開始命令は、前記電子装置と連動する装置に備えられた特定ボタンに対応する信号及び前記電子装置と連動する装置に備えられた音声入力部を介して入力された特定ユーザ音声の一つであってよい。
なお、前記電子装置と連動する装置から入力された音声開始命令が入力されると、第２音声タスクモードに切り替えられることを特徴とし、前記第２音声タスクモードは、前記電子装置と連動する装置に備えられた音声入力部を介してユーザ音声が入力されると、前記入力されたユーザ音声に応じて音声タスクを行うモードであってよい。
そして、前記第２アイコンをディスプレイする場合、予め設定された時間の間、前記電子装置と連動する装置に含まれた音声入力部にユーザ音声が入力されていなければ、前記第２音声タスクモードを解除し、リモコンによって制御されるリモコンモードに切り替えるステップを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令が入力される音声入力部と、電子装置と連動する装置と通信を行う通信部と、ディスプレイ部と、前記音声入力部から音声音声開始命令が入力されると、第１アイコンをディスプレイし、前記電子装置と連動する装置から前記音声開始命令が入力されると、前記第１アイコンと相違する第２アイコンをディスプレイするように前記ディスプレイ部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声認識モジュールを通じて音声開始命令を認識するステップと、前記音声開始命令が認識されると、前記音声認識モジュールを通じて認識されたユーザ音声によって制御される音声タスクを行うための音声ガイド情報をディスプレイするステップと、文字入力が要求されるタスクを行うための第１ユーザ音声が認識されると、テキスト入力ウィンドウをディスプレイするステップと、前記テキスト入力ウィンドウに入力するための第２ユーザ音声が認識されると、前記認識された第２ユーザ音声に対応するテキストを前記テキスト入力ウィンドウにディスプレイし、文字入力メニュー（ＩＭＥ：Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）をディスプレイするステップとを含む。そして、前記文字入力が要求されるタスクは、検索を行うためのタスクであってよい。
なお、前記文字入力メニューをディスプレイするステップは、前記ユーザ音声が認識される間、それまでディスプレイされていた画面をディスプレイし、前記テキスト入力ウィンドウに入力するためのユーザ音声が認識された後、前記文字入力メニューをディスプレイしてよい。
そして、前記テキスト入力ウィンドウに入力されたテキストを含む候補群検索ワードが複数存在する場合、前記文字入力メニューに候補群検索ワードリストをオーバーラッピングしてディスプレイするステップを更に含んでよい。
なお、前記テキスト入力ウィンドウのテキスト入力が完了したり、前記テキスト入力ウィンドウのテキスト入力を取り消す場合、ディスプレイ画面に前記文字入力メニューを除去するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令が入力される音声入力部と、ディスプレイ部と、前記音声入力部を介して文字入力が要求されるタスクを行うための第１ユーザ音声が入力されると、テキスト入力ウィンドウをディスプレイし、前記音声入力部を介して前記テキスト入力ウィンドウに入力するための第２ユーザ音声が入力されると、前記認識された第２ユーザ音声に対応するテキストを前記テキスト入力ウィンドウにディスプレイし、文字入力メニュー（ＩＭＥ：Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）をディスプレイするように前記ディスプレイ部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声入力部を介して入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイするステップと、前記電子装置と連動する外部装置に含まれた音声入力ボタンが選択される場合、前記音声ガイド情報に音声検索をガイドする第１ガイド語句がディスプレイするステップと、前記外部装置に含まれた音声検索ボタンが選択される間、前記音声入力部を介して入力されたユーザ音声を認識するステップとを含む。
そして、前記認識するステップは、前記音声ガイド情報に前記音声入力部を介してユーザ音声が入力されているという情報を含む第２ガイド語句をディスプレイするステップを含んでよい。
なお、前記音声検索ボタンの選択が解除されると、前記音声ガイド情報にユーザ音声の入力が完了しているか否かを確認する第３ガイド語句をディスプレイするステップを含んでよい。
そして、前記第３ガイド語句は、前記ユーザ音声の入力を続けるか否か、前記入力されたユーザ音声が完了しているか否か、及び前記入力されたユーザ音声を取り消すか否かを問うメッセージが含まれてよい。
なお、前記第３ガイド語句がディスプレイされる間、前記音声検索ボタンが再び選択されてユーザ音声が入力されると、前記入力されたユーザ音声を以前に認識されたユーザ音声に認識し続けるステップを含んでよい。そして、前記認識されたユーザ認識に対応するテキストをテキスト入力ウィンドウにディスプレイするステップを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザの音声が入力される音声入力部と、前記電子装置と連動する外部装置から信号を受信する通信部と、ディスプレイ部と、前記音声入力部を介して入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイする間、前記外部装置に含まれた音声入力ボタンが選択される場合、前記音声ガイド情報に音声検索をガイドする第１ガイド語句がディスプレイされ、前記外部装置に含まれた音声検索ボタンが選択される間、前記音声入力部を介して入力されたユーザ音声を認識する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声入力部を介して音声開始命令が入力されるステップと、前記入力された音声開始命令に対応し、音声タスクを行うための音声タスクモードに切り替え、前記音声タスクモードを行うための音声ガイド情報をディスプレイするステップと、前記音声タスクモードで、ディスプレイ画面から選択可能なアイテムのテキストを抽出するステップと、前記音声入力部を介して入力されたユーザ音声が前記抽出されたテキストと一致している場合、前記テキストに対応するアイテムを実行するステップとを含む。
そして、前記選択可能なアイテムは、アプリケーションを実行するためのコンテンツリストに含まれた短縮アイコン及びウェブページに含まれたハイパーリンクのいずれか一つであってよい。
なお、前記テキストが抽出されたアイテムは、テキストが抽出されていない他のアイテムと区別できるようにディスプレイしてよい。
そして、前記テキストを抽出するステップは、前記名前テキストが予め設定された文字数を超過する場合、前記全テキストの前記予め設定された文字数以下のテキストを抽出してよい。
なお、前記実行するステップは、前記音声入力部を介して入力されたユーザ音声が前記抽出された予め設定された文字数以下のテキストと一致している場合、前記予め設定された文字数以下のテキストに対応するアイテムを実行してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令及びユーザの音声が入力される音声入力部と、前記音声入力部を介して音声開始命令が入力されると、音声タスクを行うための音声タスクモードに切り替え、前記音声タスクモードを行うための音声ガイド情報をディスプレイし、前記音声タスクモードで、ディスプレイ画面から選択可能なアイテムのテキストを抽出し、前記音声入力部を介して入力されたユーザ音声が前記抽出されたテキストと一致している場合、前記テキストに対応するアイテムを実行するステップとを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声入力部を介して音声開始命令が入力されるステップと、前記音声開始命令に応答し、前記音声入力部を介して入力されるユーザ音声によって制御される音声タスクモードに切り替えるステップと、前記音声タスクモードで、複数のハイパーリンクを含むウェブページから前記複数のハイパーリンクのテキストを抽出するステップと、音声入力部を介してユーザ音声が入力される途中、前記入力されたユーザ音声が含まれたテキストを含むハイパーリンクが一つのみ存在する場合、前記テキストに対応するハイパーリンクを実行するステップとを含む。
そして、前記実行するステップは、前記音声入力部を介してユーザ音声が入力される途中、前記入力されたユーザ音声と前記テキストの一部が一致している短縮アイコンが一つだけ存在する場合、前記テキストに対応するハイパーリンクを実行してよい。
なお、前記抽出されたテキストは、抽出されていないテキストと区別できるように表示するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令及びユーザ音声が入力される音声入力部と、ディスプレイ部と、前記音声入力部を介して前記音声開始命令が入力されると、前記音声入力部によって制御される音声タスクモードに切り替え、前記音声タスクモードで複数のハイパーリンクが含まれたウェブページから前記複数のハイパーリンクのテキストを抽出し、前記音声入力部を介してユーザ音声が入力される途中、前記入力されたユーザ音声の含まれたテキストを有する短縮アイコンが一つのみ存在する場合、前記テキストに対応するハイパーリンクを実行する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声入力部を介して音声開始命令が入力されるステップと、前記音声開始命令に応答し、前記音声入力部を介して入力されるユーザ音声によって制御される音声タスクモードに切り替えるステップと、前記音声タスクモードで、複数のハイパーリンクを含むウェブページをディスプレイするステップと、前記複数のハイパーリンクに含まれたテキストを抽出するステップと、音声入力部を介してユーザ音声が入力されるステップと、前記入力されたユーザ音声を認識し、前記認識されたユーザ音声と一致しているテキストを有するハイパーリンクが複数存在する場合、前記認識されたユーザ音声と一致しているテキストを有するハイパーリンクを含む候補群リストをディスプレイするステップとを含む。
そして、前記音声入力部を介してユーザ音声が再入力されるステップと、前記再入力されたユーザ音声を認識し、前記再入力されたユーザ音声を反映して前記候補群リストを変更するステップとを含んでよい。
なお、前記再入力されたユーザ音声を反映した結果、前記入力されたユーザ音声及び再入力されたユーザ音声と一致しているテキストを含むハイパーリンクが一つである場合、前記一致しているテキストを含むハイパーリンクを直ちに実行するステップと含んでよい。そして、前記抽出されたテキストは抽出されていないテキストと区別できるように表示するステップを更に含んでよい。
なお、前記ディスプレイするステップは、前記電子装置のモードが音声タスクモードである際、前記候補群リストをディスプレイしてよい。そして、前記音声タスクモードが解除されると、前記候補群リストをディスプレイ画面から除去するステップを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、複数のハイパーリンクを含むウェブページをディスプレイするディスプレイ部と、音声開始命令及びユーザ音声が入力される音声入力部と、前記音声開始命令が入力されると、前記音声入力部を介して入力されるとユーザ音声によって制御される音声タスクモードに切り替え、前記音声タスクモードで、前記複数のハイパーリンクに含まれたテキストを抽出し、前記音声入力部に入力されたユーザ音声を認識し、前記認識されたユーザ音声と一致しているテキストを有するハイパーリンクが複数存在する場合、前記認識されたユーザ音声と一致しているテキストと有するハイパーリンクを含む候補群リスクをディスプレイするように前記ディスプレイ部を制御する制御部とを含む。
そして、前記制御部は、前記音声入力部を介してユーザ音声が再入力されると、前記再入力されたユーザ音声を認識し、前記再入力されたユーザ音声を反映して前記候補群リストを変更するように前記ディスプレイ部を制御してよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、音声入力部を介して音声開始命令が入力されるステップと、前記音声開始命令に応答し、前記音声入力部を介して入力されるユーザ音声によって制御される音声タスクモードに切り替えるステップと、前記音声タスクモードで、前記音声入力部を介して入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイするステップと、前記音声入力部を介してユーザ音声を入力するステップと、前記音声入力部を介して入力されたユーザ音声の大きさが予め設定された大きさより小さい場合、前記音声ガイド情報の第１領域に前記ユーザ音声を認識できないとするフィードバックＵＩをディスプレイするステップとを含む。
そして、前記フィードバックＵＩは、前記予め設定された大きさ及び前記音声入力部を介して入力されたユーザ音声の大きさをバー形態で表現したＧＵＩであってよい。
なお、前記ディスプレイするステップは、前記予め設定された大きさ以上のユーザ音声が入力されなければならないというメッセージを併せてディスプレイしてよい。そして、前記第１領域は前記音声ガイド情報の下段領域であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、音声開始命令及びユーザの音声が入力される音声入力部と、前記音声入力部を介して入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイするディスプレイ部と、前記音声開始命令が入力されると、前記音声入力部を介して入力されるユーザ音声によって制御される音声タスクモードに切り替え、前記音声タスクモードで、前記音声入力部を介してユーザ音声が入力され、前記音声入力部を介して入力されたユーザ音声の大きさが予め設定された大きさより小さい場合、前記音声ガイド情報の第１領域に前記ユーザ音声を認識できないとするフィードバックＵＩがディスプレイされるように前記ディスプレイ部を制御する制御部とを含む。
以上説明したように本発明によれば、ユーザはモーション及び音声を用いて電子装置をより直観的にかつ効率的に制御することができるようになる。
本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 音声タスク及びモーションタスクに対応する遠隔制御装置のボタンに対する図である。 音声タスク及びモーションタスクに対応する遠隔制御装置のボタンに対する図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 音声タスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 モーションタスクの実行方法の多様な例を説明するための図である。 本発明の多様な実施形態に係る全タスクをモーションタスク及び音声タスクに区分して制御する電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係る全タスクをモーションタスク及び音声タスクに区分して制御する電子装置の制御方法を説明するためのフローチャートである。 本発明の一実施形態に係る電子装置の音声タスクに対する音声ＵＩを示す図である。 本発明の一実施形態に係る電子装置の音声タスクに対する音声ＵＩを示す図である。 本発明の一実施形態に係る電子装置のモーションタスクに対するモーションＵＩを示す図である。 本発明の一実施形態に係る音声認識またはモーション認識による視覚的フィードバックを示す図である。 本発明の一実施形態に係る音声認識またはモーション認識による視覚的フィードバックを示す図である。 本発明の一実施形態に係る音声認識またはモーション認識による視覚的フィードバックを示す図である。 本発明の多様な実施形態に係る音声ＵＩ及びモーションＵＩを提供する電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係る音声ＵＩ及びモーションＵＩを提供する電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係る音声ＵＩ及びモーションＵＩを提供する電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の多様な実施形態に係る音声アプリケーション専用アイコンを説明するための電子装置のＵＩ表示方法を説明するための図である。 本発明の実施形態に係る電子装置のＵＩ表示方法を説明するためのフローチャートである。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な実施形態に係る上、下、左、右方向へのユーザのモーションに応答して変更される画面を示す図である。 本発明の多様な一実施形態に係るユーザのモーションに応答して画面が変更される電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な一実施形態に係るユーザのモーションに応答して画面が変更される電子装置の制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係るリモコンモード、モーションタスクモード、音声タスクモードを行う方法を説明するための図及びフローチャートである。 本発明の多様な実施形態に係るリモコンモード、モーションタスクモード、音声タスクモードを行う方法を説明するための図及びフローチャートである。 本発明の多様な実施形態に係るリモコンモード、モーションタスクモード、音声タスクモードを行う方法を説明するための図及びフローチャートである。 本発明の多様な実施形態に係るリモコンモード、モーションタスクモード、音声タスクモードを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る携帯機器を用いた音声認識を説明するためのフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモードを説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモード時にモーションが入力された場合、ディスプレイ方法を説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモード時にモーションが入力された場合、ディスプレイ方法を説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモード時にモーションが入力された場合、ディスプレイ方法を説明するための図及びフローチャートである。 本発明の一実施形態に係るポインティングモード時にモーションが入力された場合、ディスプレイ方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声タスクモードにおけるアイテム表示方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声タスクモードにおけるアイテム表示方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声タスクモードにおけるアイテム表示方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る互いに異なる彩度を有するＵＩを説明するための図及びフローチャートである。 本発明の一実施形態に係る互いに異なる彩度を有するＵＩを説明するための図及びフローチャートである。 本発明の一実施形態に係る互いに異なる彩度を有するＵＩを説明するための図及びフローチャートである。 本発明の一実施形態に係る互いに異なる彩度を有するＵＩを説明するための図及びフローチャートである。 本発明の一実施形態に係るディスプレイ音声アイテム以外の命令語に対応するタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係るディスプレイ音声アイテム以外の命令語に対応するタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係るディスプレイ音声アイテム以外の命令語に対応するタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る両手モーションタスクモードに切り替わるためのモーション開始命令を説明するための図及びフローチャートである。 本発明の一実施形態に係る両手モーションタスクモードに切り替わるためのモーション開始命令を説明するための図及びフローチャートである。 本発明の一実施形態に係る両手モーションタスクモードに切り替わるためのモーション開始命令を説明するための図及びフローチャートである。 本発明の一実施形態に係る複数のユーザによってモーション開始命令が入力された場合、モーションタスクモードを行う方法を説明するためのフローチャートである。 本発明の一実施形態に係る音声認識を用いてステップ別に移行してタスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声認識を用いてステップ別に移行してタスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声認識を用いてステップ別に移行してタスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声認識を用いてステップ別に移行してタスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る名前の一部がディスプレイされた短縮アイコン実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る名前の一部がディスプレイされた短縮アイコン実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る名前の一部がディスプレイされた短縮アイコン実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る特殊ジェスチャーによるタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る特殊ジェスチャーによるタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る特殊ジェスチャーによるタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る特殊ジェスチャーによるタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る特殊ジェスチャーによるタスク実行を説明するための図及びフローチャートである。 本発明の一実施形態に係る音声入力方法によって異なるようにディスプレイされるアイコンを説明するための図及びフローチャートである。 本発明の一実施形態に係る音声入力方法によって異なるようにディスプレイされるアイコンを説明するための図及びフローチャートである。 本発明の一実施形態に係る音声入力方法によって異なるようにディスプレイされるアイコンを説明するための図及びフローチャートである。 本発明の一実施形態に係る文字入力メニューをディスプレイする方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る文字入力メニューをディスプレイする方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る文字入力メニューをディスプレイする方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る文字入力メニューをディスプレイする方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る文字入力メニューをディスプレイする方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る外部機器を用いた音声タスク実行方法を説明するためのフローチャートである。 本発明の一実施形態に係るディスプレイ画面に発話可能な命令語が表示された場合、音声タスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係るディスプレイ画面に発話可能な命令語が表示された場合、音声タスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係るディスプレイ画面に発話可能な命令語が表示された場合、音声タスクを行う方法を説明するための図及びフローチャートである。 本発明の一実施形態に係る自動音声認識方法を説明するためのフローチャートである。 本発明の一実施形態に係る候補群リストをディスプレイする方法を説明するためのフローチャートである。 本発明の一実施形態に係る音声認識エラーをガイドするためのＵＩを説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る電子装置を示す概略的なブロック図である。図１によると、電子装置１００は、音声入力部１１０と、モーション入力部１２０と、保存部１３０及び制御部１４０を含む。電子装置１００は、外部のネットワークと接続可能なスマートテレビ、セットトップボックス、ＰＣで、またはデジタルテレビ等で実現されてよいが、これらに限られるものではない。
音声入力部１１０には、ユーザが発話（Ｕｔｔｅｒａｎｃｅ）した音声が入力される。音声入力部１１０は、入力された音声信号を電気信号に変換して制御部１４０に出力する。例えば、音声入力部１１０は、マイクロフォンで実現されてよい。なお、音声入力部１１０は、電子装置１００と一体型（Ａｌｌ−ｉｎ−ｏｎｅ）だけでなく、分離された形で実現されてよい。分離された音声入力部１１０は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。
モーション入力部１２０は、ユーザのモーションを撮像した映像信号（例えば、連続するフレーム）が受信して制御部１４０に提供する。例えば、モーション入力部１２０は、レンズ及びイメージセンサで構成されるモーション入力部１２０ユニットで実現されてよい。なお、モーション入力部１２０は、電子装置１００と一体型だけでなく、分離された形で実現されてよい。分離されたモーション入力部１２０は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。
保存部１３０は、電子装置１００を駆動して制御するための多様なデータ及びプログラムを保存する。保存部１３０は、音声入力部１１０を介して入力された音声を認識するための音声認識モジュール及びモーション入力部１２０を介して入力されたモーションを認識するためのモーション認識モジュールを保存する。
保存部１３０は、音声データベース及びモーションデータベースを含んでよい。音声データベースは、予め設定された音声及び予め設定された音声にマッチする音声タスクが記録されたデータベースのことを意味する。モーションデータベースとは、予め設定されたモーション及び予め設定されたモーションにマッチするモーションタスクが記録されたデータバースのことを意味する。
制御部１４０は、音声入力部１１０と、モーション入力部１２０及び保存部１３０を制御する。制御部１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び電子装置１００を制御するためのモジュール及びデータを保存するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでよい。
音声入力部１１０を介して音声が入力される場合、制御部１４０は音声認識モジュール及び音声データベースを用いて音声を認識する。音声認識（Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）は入力される音声の形態によって、各々の単語を区分して発話した音声を認識する孤立単語認識（Ｉｓｏｌａｔｅｄ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ）連続単語、連続文章及び会話体音声を認識する連続音声認識（Ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）及び孤立単語認識と連続音声認識との中間形態で、予め定められたキーワードを検出して認識するキーワード検出（Ｋｅｙｗｏｒｄ Ｓｐｏｔｔｉｎｇ）で区分されてよい。ユーザ音声が入力される場合、制御部１４０は入力された音声信号内でユーザが発話した音声の始めと終わりを検出して音声区間を判断する。制御部１４０は、入力された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類し、動的プログラミングを通じて音声区間を検出することができる。制御部１４０は、検出された音声区間内の音声信号に音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ）に基づいて、音声の最小単位である音素を検出して音素データを生成する。制御部１４０は、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）確率モデルを適用してテキスト情報を生成する。しかし、上述のように、ユーザの音声を認識する方法は一実施形態に過ぎず、他の方法を用いてユーザ音声を認識することができる。それにより、制御部１４０は、音声信号の中に含まれたユーザの音声を認識することができる。
モーション入力部１２０を介してモーションが入力される場合、制御部１４０はモーション検知モジュール及びモーションデータベースを用いてモーションを認識する。モーション認識（Ｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ）はモーション入力部１２０を介して入力されるユーザのモーションに対応する映像（例えば、連続するフレーム）をモーション認識モジュールを用いて周囲の背景と手（例えば、指を伸ばしたり指を曲げて拳を作る）領域に分離し、連続する手の動きを認識することができる。ユーザモーションが入力される場合、制御部１４０は受信された映像をフレーム単位で保存し、保存されたフレームを用いてユーザモーションの対象であるオブジェクト（例えば、ユーザの手）を検知する。制御部１４０は、フレームに含まれたオブジェクトの形態、色、動きのうち、少なくともいずれか一つを検知してオブジェクトを検出する。制御部１４０は、複数のフレームに含まれた各々のオブジェクトの位置を用いて検出されたオブジェクトの動きを追跡することができる。
制御部１４０は、追跡されたオブジェクトの形態及び動きに応じてモーションを判断する。例えば、制御部１４０は、オブジェクトの形態の変化、速度、位置、方向のうち、少なくともいずれか一つを用いてユーザのモーションを判断する。ユーザのモーションは、手を握るモーションであるグラブ（Ｇｒａｂ）、表示されたカーソルを手で移動させるモーションであるポインティング移動（Ｐｏｉｎｔｉｎｇ ｍｏｖｅ）、手を一定速度以上で一方向に動かすモーションであるスラップ（Ｓｌａｐ）、手を左／右または上／下に振るモーションであるシェイク（Ｓｈａｋｅ）及び手を回転させるモーションである回転を含む。上述の実施形態以外の他のモーションにも本発明の技術的思想が適用されてよい。例えば、握られた手を開くスプレッド（Ｓｐｒｅａｄ）モーション等が更に含まれてよい。
制御部１４０は、ユーザのモーションがポインティング移動であるか、スラップであるかを判断するために、オブジェクトが決定された時間（例えば、８００ｍｓ）内に決定された領域（例えば、４０ｃｍ×４０ｃｍの四角形）から外れているかを判断する。オブジェクトが決定された時間内に決定された領域から外れていない場合、制御部１４０はユーザのモーションをポインティング移動と判断してよい。オブジェクトが決定された時間内に決定された領域から外れている場合、制御部１４０はユーザのモーションをスラップと判断してよい。別の一例として、オブジェクトの速度が予め設定された速度（例えば、３０ｃｍ／ｓ）以下であると判断された場合、制御部１４０はユーザのモーションをポインティング移動と判断する。オブジェクトの速度が予め設定された速度超過であると判断される場合、制御部１４０はユーザのモーションをスラップと判断する。
制御部１４０は、上述のように、認識された音声及びモーションを用いて、電子装置１００のタスク（Ｔａｓｋ）を行う。電子装置１００のタスクは、チャネル変更、音量調節、コンテンツ（例えば、動画や音楽、写真等）の再生またはインターネットブラウジング等のように、電子装置１００によって実行可能な機能の少なくとも一つを含む。制御部１４０が、電子装置１００を制御する具体的な方法については、詳細に後述する。
図２は、本発明の別の実施形態に係る電子装置１００の構成を示すブロック図を示す図である。図２によると、電子装置１００は、音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０、外部端子入力部１６０と、リモコン信号受信部１７０と、ネットワークインターフェース部１８０及び映像出力部１９０を含む。図２に示された電子装置１００は、セットトップボックス（Ｓｅｔ−ｔｏｐ ｂｏｘ）で実現されてよい。
一方、図２に示された音声入力部１１０と、モーション入力部１２０と、保存部１３０及び制御部１４０に対する説明は、図１において説明した音声入力部１１０と、モーション入力部１２０と、保存部１３０及び制御部１４０に対する説明と同じであるため、詳細な説明は省略する。
放送受信部１５０は、有／無線で外部から放送信号を受信する。放送信号は、映像（Ｖｉｄｅｏ）、オーディオ（Ａｕｄｉｏ）及び付加データ（例えば、ＥＰＧ）を含む。放送受信部１５０は、地上波放送、ケーブル放送、衛星放送、インターネット放送等のような多様なソースから放送信号を受信することができる。
外部端子入力部１６０は、電子装置１００の外部から映像データ（例えば、動画や写真等）、オーディオデータ（例えば、音楽等）等を受信する。外部端子１６０は、ＨＤＭＩ入力端子（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ Ｉｎｐｕｔ）、コンポーネント入力端子、ＰＣ入力端子、またはＵＳＢ入力端子の少なくとも一つを含んでよい。リモコン信号受信部１７０は、外部のリモコンから入力されるリモコン信号を受信する。リモコン信号受信部１７０は、電子装置１００が音声タスクモードかモーションタスクモードでも、リモコン信号を受信することができる。ネットワークインターフェース部１８０は、制御部１４０の制御によって電子装置１００と外部装置（例えば、サーバ）を接続することができる。制御部１４０は、ネットワークインターフェース部１８０を介して接続された外部装置からアプリケーションをダウンロードしたり、ウェブブラウジングをすることができる。ネットワークインターフェース部１８０は、イーサネット（Ｅｔｈｅｒｎｅｔ（登録商標））、無線ＬＡＮ１８２及びブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））の少なくとも一つを提供することができる。
映像出力部１９０は、放送受信部１５０を介して受信される外部の放送信号、または外部端子入力部１６０で入力される映像データ、または保存部１３０に保存された映像データを外部のディスプレイ装置（例えば、モニタやテレビ）に出力する。
図３は、本発明の更に別の実施形態に係る電子装置１００のブロック図を示す図である。図３に示すように、電子装置１００は、音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０と、ネットワークインターフェース部１８０と、ディスプレイ部１９３及びオーディオ出力部１９６を含む。このとき、電子装置１００は、デジタルテレビであってよいが、これに限られるものではない。
一方、図３において音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０及びネットワークインターフェース部１８０に対する説明は、図１及び図２で同じ参照番号を有する構成に対する説明と同様であるため、詳細な説明は省略する。
ディスプレイ部１９３は、放送受信部１５０を介して受信された放送信号に対応する映像を表示する。ディスプレイ部１９３は、外部端子１６０を介して入力される映像データ（例えば、動画）を表示することができる。ディスプレイ部１９３は、制御部１４０の制御に応じて音声タスクを行うための音声ガイド情報及びモーションタスクを行うためのモーションガイド情報を表示することができる。
オーディオ出力部１９６は、制御部１４０の制御によって放送信号に対応する音声を出力する。オーディオ出力部１９６は、スピーカ１９６ａ、ヘッドホン出力端子１９６ｂまたはＳ／ＰＤＩＦ出力端子１６３ｃの少なくともいずれか一つを含んでよい。一方、保存部１３０は、図３に示すように、電源制御モジュール１３０ａ、チャネル制御モジュール１３０ｂ、音量制御モジュール１３０ｃ、外部入力制御モジュール１３０ｄ、画面制御モジュール１３０ｅ、オーディオ制御モジュール１３０ｆ、インターネット制御モジュール１３０ｇ、アプリケーションモジュール１３０ｈ、検索制御モジュール１３０ｉ、ＵＩ処理モジュール１３０ｊ、音声認識モジュール１３０ｋ、モーション認識モジュール１３０ｌ、音声データベース１３０ｍ及びモーションデータベース１３０ｎを含む。これらのモジュール（１３０ａないし１３０ｎ）は、それぞれ、電源制御機能、チャネル制御機能、音量制御機能、外部入力制御機能、画面制御機能、オーディオ制御機能、インターネット制御機能、アプリケーション実行機能、検索制御機能、ＵＩ処理機能を行うためにソフトウェアで実現されてよい。制御部１４０は、保存部１３０に保存されたこれらのソフトウェアを実行させて当該機能を行うことができる。
制御部１４０は、音声認識モジュール１３０ｋを介してユーザ音声を認識すると、遠隔制御装置によって制御可能なタスクの中で認識されたユーザ音声に対応する音声タスクを行う。制御部１４０は、モーション認識モジュール１３０ｌを介してユーザモーションを認識すると、遠隔制御装置で制御可能なタスクの中で認識されたユーザモーションに対応するモーションタスクを行う。このとき、音声タスク及びモーションタスクは、前記遠隔制御装置に備えられたボタン別で区分されてマッピングされている。
ここで、音声タスクとは、音声認識モジュールを介して認識された音声に応じて制御可能なタスクのことを意味する。一例として、音声タスクで電子装置１００の電源制御、チャネルショートカット、サウンドオフ、外部端子変更、音量レベル指定、文字入力及び映像再生／停止機能の少なくともいずれか一つが含まれてよい。即ち、ユーザが音声で発話可能な名称または識別子を有する各種タスクまたは文字入力が要求されるタスクが音声タスクに設定されてよい。
なお、モーションタスクとは、モーション認識モジュールを介して認識されたモーションに応じて制御可能なタスクのことを意味する。一例として、モーションタスクでチャネルザッピング、音量レベル調節、画面ナビゲーション、スライドバーコントロール及びカーソルポインティング等が含まれてよい。即ち、ユーザモーションの種類及び方向等に応じて段階的に制御可能な各種タスク及びカーソルが使われるタスクがモーションタスクに設定されてよい。
音声認識モジュールを介してユーザの音声が認識される場合、制御部１４０はユーザの音声に含まれた発話内容に直接的に対応する音声タスクを行う。
例えば、制御部１４０は、ユーザが発話した音声の中でチャネル識別子を認識する。チャネル識別子は、チャネルを区分するための識別子として、チャネル名、チャネル番号、番組名の少なくともいずれか一つを含んでよい。
上述のように、保存部１３０に音声データベースが保存されている場合、制御部１４０は、音声データベースを用いて認識されたチャネル識別子に対応するチャネルへショートカットを行うことができる。即ち、ユーザが“１１”と発話した場合、制御部１４０は音声データベースに“１１”に該当する音声タスクが記録されているかを確認する。このとき、“１１”に該当する音声タスクが１１番チャネルを選局するようにするチャネルショートカット機能であれば、制御部１４０は１１番チャネルにショートカット動作を行う。
なお、モーション認識モジュールを介してユーザのモーションが認識される場合、制御部１４０はユーザのモーションの方向に応じてユーザのモーションに対応するモーションタスクを行う。
例えば、上方へのスラップ動作がモーション認識モジュールを介して認識される場合、制御部１４０はモーションデータベースから上方へのスラップモーションに対応するモーションタスクを確認し、現在のチャネルを基準に予め設定された番号（例えば、１）分だけ増加したチャネルに変更するチャネルザッピングを行うことができる。なお、下方へのスラップ動作がモーション認識モジュールを介して認識される場合、制御部１４０はモーションデータベースから下方へのスラップモーションに対応するモーションタスクを確認し、現在ディスプレイ中のチャネルを基準に予め設定された番号（例えば、１）分だけ減少したチャネルに変更するチャネルザッピングを行うことができる。
一方、音声タスク及びモーションタスクは、図４及び図５に示すように、遠隔制御装置に備えられたボタン別に区分されてマッピングされてよい。
図４は、少なくとも一つの音声タスクを行うための命令語に対応する遠隔制御装置のボタンを示している。即ち、音声入力が認識された場合に行われるタスクは、遠隔制御装置のボタンの一つによって行われるタスクに対応してよい。例えば、図４に示すように、遠隔制御装置の電源ボタン４０１によって行われるタスクは、“呼び出し語（例えば、ジニ）”または“電源”という音声が認識された場合に行われるタスクに対応する。これにより、外部入力ボタン４０２は、“外部入力”という音声に対応する。なお、数字ボタン４０３は発話した数字に対応する。なお、前のチャネルボタン４０４は“前のチャネル”という音声に対応する。なお、サウンドオフ（Ｍｕｔｅ）ボタン４０５は、“サウンドオフ”または“サウンドオン”という音声に対応する。なお、チャネルリストボタン４０６は、“チャネルリスト”という音声に対応する。なお、スマートハブ／メニュー／検索／簡単メニュー／情報表示ボタン４０７、終了ボタン４０９と、ソーシャルネットワーク／３Ｄ映像提供ボタン４１０と、ヘルプボタン４１１及び再生／一時停止／停止／録画ボタン（４１２）は、それぞれのボタン名称に該当する音声に対応する。
図５は、少なくとも一つのモーションタスクを行うためのモーションに対応する遠隔制御装置のボタンを示している。即ち、モーション入力が認識された場合に行われるタスクは、遠隔制御装置のボタンの一つによって行われるタスクに対応してよい。例えば、図５に示すように、音量アップ／ダウンボタン及びチャネルアップ／ダウンボタン４２１によって行われるタスクは、上−下−左−右へのスラップモーションが認識された場合に行われるタスクに対応する。これにより、上、下、左、右方向ボタン４２２は、上−下−左−右へのスラップモーションに対応する。なお、選択ボタン４２３は、グラブモーションに対応する。なお、機能ボタン４２５は、ＯＳＤにキーガイドがある場合、当該キーのポインティングモーションに対応する。
このとき、音声タスク及び前記モーションタスクの各々は、互いに異なるタスクの結合なしに単独で電子装置１００の設定を変更することができる。即ち、音声タスクは、音声認識モジュール１３０ｋによって認識されたユーザ音声を用いて電子装置１００の設定を変更することができ、モーションタスクはモーション認識モジュール１３０ｌによって認識されたユーザモーションを用いて電子装置１００の設定を変更することができる。
制御部１４０は、音声認識モジュール１３０ｋ及びモーション認識モジュール１３０ｌのいずれか一つを介してユーザ音声及びユーザモーションのいずれか一つを認識する。そして、音声認識モジュール１３０ｋを介してユーザ音声が認識されると、制御部１４０はコンテンツ識別子がそれぞれ付与された複数のコンテンツのうち、認識されたユーザ音声に対応するコンテンツ識別子が付与されたコンテンツを実行する。そして、モーション認識モジュール１３０ｌを介してユーザのモーションが認識されると、制御部１４０はユーザのモーションの方向に対応して複数のコンテンツを変更する。
ここで、コンテンツは放送コンテンツであってよい。特に、音声認識モジュール１３０ｋを介してユーザ音声が認識されると、制御部１４０は現在の放送チャネルで放送チャネル識別子がそれぞれ付与された複数の放送チャネルのうち、認識されたユーザ音声に対応する放送チャネル識別子が付与された放送チャネルに変更する。このとき、チャネル識別子は、チャネル番号、チャネル名及び番組名の少なくともいずれか一つを含んでよい。
そして、モーション認識モジュール１３０ｌを介してユーザのモーションが認識されると、制御部１４０はユーザのモーションの方向に対応するように複数の放送チャネルを段階的に変更する。このとき、ユーザモーションはスラップを含んでよい。例えば、認識されたユーザモーションが上方へのスラップモーションであれば、制御部１４０は現在出力される放送のチャネル番号より予め設定された番号分だけ増加したチャネルに変更されるようにチャネルザッピングを行う。そして、認識されたユーザモーションが下方へのスラップモーションであれば、制御部１４０は現在出力される放送のチャネル番号より予め設定された番号分だけ減少したチャネルに変更されるようにチャネルザッピングを行う。
ここで、コンテンツは映像コンテンツ、音楽コンテンツ及び写真コンテンツのいずれか一つであってよい。コンテンツが、映像コンテンツ、音楽コンテンツ及び写真コンテンツのいずれか一つであれば、コンテンツ識別子はコンテンツの名前であってよい。
なお、コンテンツが映像コンテンツ、音楽コンテンツ及び写真コンテンツのいずれか一つであれば、ユーザのモーションはスラップを含んでよい。例えば、認識されたユーザモーションが右方へのスラップモーションであれば、制御部１４０は、再生されるための複数のコンテンツを含むコンテンツリストで現在出力されるコンテンツの次の順に出力されるコンテンツに変更し、認識されたユーザモーションが左方へのスラップであれば、制御部１４０はコンテンツリストで現在出力されるコンテンツの前の順に出力されるコンテンツに変更してよい。
音声認識モジュール１３０ｋを介して音声開始命令が認識されると、制御部１４０は電子装置１００のモードを音声認識モジュール１３０ｋを介して認識されたユーザ音声によって電子装置１００が制御される音声タスクモードに切り替える。モーション認識モジュール１３０ｌを介してモーション開始命令が認識されると、制御部１４０は電子装置１００のモードをモーション認識モジュール１３０ｌを介して認識されたユーザモーションによって電子装置１００が制御されるモーションタスクモードに切り替える。
具体的に、制御部１４０は、遠隔制御装置（例えば、リモコン）によって制御されるリモコンモード、音声によって制御される音声タスクモード、モーションによって制御されるモーションタスクモードのいずれか一つで動作してよい。制御部１４０は、他モードを開始するための開始命令が入力されると、当該モードに切り替えてよい。
制御部１４０は、リモコンモードまたはモーションタスクモード下で、音声認識モジュールを介して音声開始命令（Ｔｒｉｇｇｅｒ Ｖｏｉｃｅ）が認識されると、電子装置１００のモードを音声タスクモードに切り替える。ここで、音声開始命令は、音声タスクモードに移行する動作にマッチする単語が含まれた命令である。例えば、“ジニ”という単語が音声開始命令に設定された場合なら、制御部１４０は“ジニ”が認識された際、電子装置１００のモードを音声タスクモードに切り替える。このような音声開始命令に関する単語は、ユーザが電子装置１００の環境設定モードを通じて直接変更してよく、電子装置１００の製造時にデフォルトで定義された固定命令語であってよい。
音声タスクモードで動作する間、制御部１４０は音声データベースを用いてユーザが発話した音声に含まれた単語に対応する音声タスクを行う。
制御部１４０は、通常モードに復帰するための開始命令やモード解除命令、モーションタスクモードに切り替えるためのモーション開始命令が認識されるまでには音声タスクモードを維持することができる。または、音声タスクモードに切り替えた後、予め設定された時間（例えば、５分）以上何の音声も認識されていない場合、制御部１４０は自動的にリモコンモードに復帰してよい。
制御部１４０は、通常モードまたは音声タスクモード下で、モーション認識モジュール介してモーション開始命令（Ｔｒｉｇｇｅｒ Ｍｏｔｉｏｎ）が認識される場合には、モーションタスクモードに切り替えてよい。ここで、モーション開始命令とは、モーションタスクモードに移行するために予め設定されたモーションである。例えば、手を左右方向に３〜４回振るモーションがモーション開始命令に設定されていれば、このようなモーションが認識された際、制御部１４０は電子装置１００のモードをモーションタスクモードに切り替える。このようなモーション開始命令に関するモーションは、ユーザが電子装置１００の環境設定モードを通じて直接変更してよく、電子装置１００の製造時にデフォルトで定義された固定モーションであってよい。
モーションタスクモードで動作する間、制御部１４０はモーションデータベースを用いてユーザのモーションに対応するモーションタスクを行う。
制御部１４０は、リモコンモードに復帰するための開始命令やモード解除命令、音声タスクモードに切り替えるための音声開始命令が認識されるまでにはモーションタスクモードを維持することができる。または、モーションタスクモードに切り替えた後、予め設定された時間（例えば、５分）以上何のモーションも認識されていない場合、制御部１４０は自動的に通常モードに復帰してよい。
制御部１４０は、音声認識をガイドするための音声アイテムが含まれた音声ガイド情報及びモーション認識をガイドするためのモーションアイテムが含まれたモーションガイド情報のいずれか一つをディスプレイする。そして、音声ガイド情報に含まれた音声アイテムに対応する命令語の一つが認識されると、制御部１４０は認識された命令語に対応する音声タスクを行う。そして、モーションガイド情報に含まれたモーションアイテムに対応するモーションの一つが認識されると、制御部１４０は認識されたモーションに対応するモーションタスクを行う。
具体的に、制御部１４０は音声認識モジュール１３０ｋを介して音声開始命令が認識された場合、ユーザの音声によって制御可能な音声タスクに対する音声アイテムがディスプレイされるように処理することができる。音声アイテムには、各種音声タスクに対応する命令語が表示されてよい。これにより、ユーザがある命令語を発話すると、どのような音声タスクが行われるかを容易に認識することができ、ユーザは音声タスクをより便利に行うことができるようになる。
なお、制御部１４０は、モーション認識モジュール１３０ｌを介してモーション開始命令が認識された場合、ユーザのモーションによって制御可能なモーションタスクに対するモーションアイテムがディスプレイされるようにする。モーションアイテムには、各種モーションタスクに対応するモーションが表示されてよい。これにより、ユーザのあるモーションをとると、どのようなモーションタスクが行われるかを容易に認識することができ、ユーザはモーションタスクをより便利に行うことができるようになる。
このような音声アイテムまたはモーションアイテムは、ディスプレイ画面の同じ領域（例えば、画面の下段）にディスプレイされてよい。なお、音声アイテムまたはモーションアイテムがディスプレイされる領域は、ディスプレイされる映像とオーバーラップされてよい。しかし、それは一実施形態に過ぎず、他の位置及び方法によって音声アイテム及びモーションアイテムがディスプレイされてよい。例えば、音声アイテムまたはモーションアイテムは、ディスプレイ画面の右側または左側にディスプレイされてよい。
電子装置１００のタスクは、ユーザの音声によって制御される音声タスク及びユーザのモーションによって制御されるモーションタスクを以下の表１にように区分することができる。
Figure 0005746111
 表１に示す音声タスクは、音声開始命令によって実行される音声タスクモードで行われてよく、表１に示されたモーションタスクはモーション開始命令によって実行されるモーションタスクモードで行われてよい。
以下では、図６ないし図３２を参照して、ユーザの音声によって制御される音声タスクについて説明し、図３３ないし図５８を参照して、ユーザのモーションによって制御されるモーションタスクについて説明する。
図６及び図７は、本発明の一実施形態に係る音声認識を用いた電源オンを説明するための図である。図６に示すように、映像が出力されてはいないが、音声入力部１１０及び制御部１４０には電源が供給される待ち受けモードで音声認識モジュール１３０ｋを介して“電源オフ”が認識された場合、電子装置１００は図７に示すように、電源がオンされる。
図８ないし図１０は、本発明の一実施形態に係る音声認識を用いた電源オフを説明するための図である。図８に示すように、音声タスクモードに移行してディスプレイ画面の下段に音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して音声アイテム８１１に対応する“電源オフ”が認識された場合、電子装置１４０は、図９に示すように、音声ガイド情報に電子装置１００の電源をオフにするか否かをもう一度確認するガイド領域９２０をディスプレイする。音声認識モジュール１３０ｋを介して音声アイテム９２２に対応する“はい”が認識された場合、電子装置１００は図１０に示すように、電源をオフとする。
図１１及び図１２は、本発明の一実施形態に係る音声認識を用いたスマート電源オンを説明するための図である。ここで、スマート電源オンは電子装置１００の電源がオンとなると同時にユーザが望むチャネルに直ちに変更される機能である。図１１に示すように、映像が出力されてはいないが、音声入力部１１０及び制御部１４０には、電源が供給される待ち受けモードで音声認識モジュール１３０ｋを介して“ジニ”と“チャネル６”が連続して認識された場合、電子装置１００は、図１２に示すように、電源をオンとし、６番チャネルをディスプレイする。
図１３ないし図１６は、本発明の一実施形態に係るチャネル番号が含まれた音声認識を用いたチャネルショートカットを説明するための図である。図１３に示すように、音声タスクモードに移行してディスプレイ画面の下段に音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して音声アイテム８１２に対応する“チャネル”が認識された場合、図１４に示すように、電子装置１００はディスプレイ画面の下段の音声ガイド情報にチャネル番号とチャネル名をガイドするガイド領域８３０をディスプレイする。ガイド領域８３０がディスプレイされ、音声認識モジュール１３０ｋを介して“なな”という音声が認識された場合、図１６に示すように、電子装置１００はチャネル７番が選局されるようにチャネル変更する。
音声認識モジュール１３０ｋを介して認識された“なな”を含んでいたり、“なな”と類似する候補群がある場合、図１５に示すように、電子装置１００は音声候補群リスト１１００及び音声候補群の入力方法をガイドする候補群選択ガイド１５１０をディスプレイする。
音声候補群リスト１１００がディスプレイされ、音声認識モジュール１３０ｋを介して候補群リストの１番アイテム１１０１に対応する“１番”が認識された場合、電子装置１００は図１６に示すように、７番チャネルが選局されるようにする。
図１７ないし図２０は、本発明の一実施形態に係るチャネル名が含まれた音声認識を用いたチャネルショートカットを説明するための図である。図１７に示すように、音声タスクモードに移行してディスプレイ画面の下段に音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して音声アイテム８１２に対応する“チャネル”が認識された場合、図１８に示すように、電子装置１００は音声ガイド情報にチャネル番号とチャネル名をガイドするガイド領域８３０をディスプレイする。ガイド領域８３０がディスプレイされ、音声認識モジュール１３０ｋを介して“エムビーシー”という音声が認識された場合、電子装置１００は、図２０に示すように、“エムビーシー”というチャネル名を有する１１番チャネルが選局されるようにする。
音声認識モジュール１３０ｋを介して認識された“エムビーシー”を含んでいたり、“エムビーシー”と類似する候補群がある場合、図１９に示すように、電子装置１００は音声候補群リスト１９００及び音声候補群の入力方法をガイドする候補群選択ガイド１９１０をディスプレイする。音声候補群リスト１９００がディスプレイされ、音声認識モジュール１３０ｋを介して候補群リスト１９００に含まれた１番１９１０に対応する音声である“１１番”が認識された場合、図２０に示すように、電子装置１００は“エムビーシー”というチャネル名を有する１１番チャネルが選局されるようにする。
図２１ないし図２３は、本発明の一実施形態に係る音声認識を用いたサウンドオフ（Ｍｕｔｅ）を説明するための図である。図２１に示すように、ディスプレイ画面の下段に音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して音声アイコン８１３に対応する“サウンドオフ”が認識された場合、電子装置１００は、オーディオ出力部１９６を制御してオーディオが出力されないようにする。なお、図２２に示すように、電子装置１００はディスプレイ画面にサウンドオフアイコン２２００をディスプレイする。なお、このとき、ガイド領域１２１０にはサウンドオフ８１３の命令語の代わりにサウンドオン２２１３の命令語がディスプレイされる。
音声認識モジュール１３０ｋを介して“サウンドオン”が認識された場合、電子装置１００は、オーディオ出力部１９６でサウンドオフ前の音量レベルにオーディオが出力されるようにする。なお、図２３に示すように、電子装置１００はディスプレイ画面にサウンドオフアイコン２２００を削除する。
図２４ないし図２６は、本発明の一実施形態に係る音声認識を用いた外部入力変更を説明するための図である。図２４に示すように、音声タスクモードに移行してディスプレイ画面の下段に音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して音声アイテム８１４に対応する“外部入力”が認識された場合、図２５に示すように、電子装置１００は外部入力リスト２５００及び外部入力選択をガイドするガイド２５１０をディスプレイする。このとき、外部入力リスト２５００には外部端子入力部１６０に接続された外部端子であるＵＳＢ外部端子、ＡＶ１外部端子、ＰＣ外部端子は鮮明に表示され、接続されていない外部端子である“ＨＤＭＩ １”及び“ＨＤＭＩ ２”は薄く表示される。外部入力リスト２５００がディスプレイされ、ユーザの音声モジュール１３０ｋを介して“ピーシー”が認識された場合、電子装置１００は図２６に示すように、ディスプレイ画面を外部入力“ＰＣ”と接続された状態に変更する。
図２７ないし図２９は、本発明の一実施形態に係る発話対象名称が明確な機能実行タスクを説明するための図である。図２７に示すように、スマート機能（例えば、インターネット接続、アプリケーション実行、動画再生、音楽鑑賞等）を行うためのコンテンツリストをディスプレイするユーザ命令が入力される場合、スマートハブ２７００がディスプレイされる。スマートハブ２７００は、電子装置１００からサポートする機能の中心となるＵＩであり、電子装置１００からサポートする複数の機能（例えば、ビデオを見る、音楽を聴く、インターネット接続等）に対応する短縮アイコンが表示されるＵＩである。なお、スマートハブ２７００は、電子装置１００の保存部１３０に保存されたコンテンツ（例えば、フォトや音楽、ビデオ等）に対応する短縮アイコン及び外部と接続可能なアプリケーション（例えば、インターネットブラウザ等）に対応する短縮アイコンが表示されるＵＩである。
音声タスクモードに移行するために音声認識モジュール１３０ｋを介して“ジニ”が認識される場合、電子装置１００は図２８に示すように、ディスプレイ画面の下段に音声ＧＵＩを生成し、音声タスクモードに移行する。このとき、音声タスクモードに移行される場合、電子装置１００はスマートハブ２７００でユーザの音声によって選択可能な短縮アイコンを表示できるように、スマートハブ２７００の短縮アイコンの名前に下線を引く。
図２８に示すように、音声ガイド情報がディスプレイされ、音声認識モジュール１３０ｋを介して“ユアビデオ”というユーザの音声が認識される場合、電子装置１００は、図２９に示すように、スマートハブ２７００の“ユアビデオ”に含まれた動画を実行させる。ここで、“ユアビデオ”に含まれた動画が１つである場合には、動画が直ちに実行され、“ユアビデオ”に含まれた動画が複数である場合には、“ユアビデオ”に含まれた動画リストを表示する。
図３０ないし図３２は、本発明の一実施形態に係る音声認識を用いて映像再生機能及び映像停止機能を説明するための図である。図３０に示すように、映像（例えば、保存部１３０に保存された動画）が再生され、音声タスクモードに移行するために音声認識モジュール１３０ｋを介して“ジニ”が認識される場合、図３１に示すように、電子装置１００は、音声タスクモードに移行し、音声ガイド情報をディスプレイ画面の下段にディスプレイする。
音声ガイド情報がディスプレイされた状態で、音声認識モジュール１３０ｋを介して“一時停止”が認識される場合、電子装置１００が現在再生される映像を一時停止し、図３２に示すように、ディスプレイ画面に一時停止アイコンをディスプレイし、映像を一時停止する。音声認識モジュール１３０ｋを介して“再生”が認識される場合、図３１に示すように、電子装置１００は一時停止された映像を再び再生する。
一方、映像再生中には、音声ガイド情報に一時停止／停止命令語が表示されてよく、映像一時停止中には音声ガイド情報に再生命令語が表示されてよい。
上述のように、音声認識モジュール１３０ｋを介して認識されたユーザの音声によって制御される音声タスクは発話可能な識別子が付与されたタスクまたは文字入力が必要なタスクとして、ユーザは音声を通じて音声タスクをより容易にかつ便利に制御することができるようになる。
図３３及び図３４は、本発明の一実施形態に係るモーション認識を用いたチャネルザッピングを説明するための図である。図３３に示すように、モーションタスクモードに移行してディスプレイ画面の下段にモーションガイド情報がディスプレイされ、モーション認識モジュール１３０ｌを介してモーションアイテム３３１３に対応するユーザの手が右方に移動するスラップモーションが認識される場合、電子装置１００は、図３４に示すように、現在のチャネル（６番）に１チャネルが増加した次のチャネル（７番）が選局されるようにする。逆に、図３４に示すように、７番チャネルがディスプレイされ、モーション認識モジュール１３０ｌを介してモーションアイテム３３１３に対応するユーザの手が現在の位置から左方に移動するスラップモーションが認識される場合、電子装置１００は、図３３に示すように、現在のチャネル（７番）に１チャネルが減少した前のチャネル（６番）が選局されるようにする。
図３５ないし図３７は、本発明の一実施形態に係るモーション認識を用いた音量レベル調節を説明するための図である。図３５に示すように、モーションタスクモードに移行してディスプレイ画面の下段にモーションガイド情報がディスプレイされ、モーション認識モジュール１３０ｌを介してモーションアイテム３３１２に対応するユーザの手が上方に移動するスラップモーションが認識される場合、電子装置１００は、図３６に示すように、音量レベルを表示する音量レベル調節バー３６００をディスプレイし、現在の音量レベル（９）から１レベル増加した次のレベルの音量（１０）を出力する。音量レベル調節バー３６００がディスプレイされた後、予め設定された時間（例えば、５秒）以上ユーザのモーションが認識されていない場合、電子装置１００は、図３７に示すように、音量レベル調節バー３６００をディスプレイ画面から除去し、調節された音量レベルに応じてオーディオを出力する。
図３８ないし図４１は、本発明の一実施形態に係るユーザのポインティング動作を用いたチャネル変更を説明するための図である。図３８に示すように、ユーザがチャネルを選択するためにチャネルリスト３８００の生成命令（例えば、リモコンのチャネルリストボタン）を入力してディスプレイ画面にチャネルリスト３８００がディスプレイされ、モーションタスクモードに移行するためにモーション認識モジュール１３０ｌを介して手を３〜４回振るモーションが認識される場合、図３９に示すように、電子装置１００はカーソル３９１０を生成し、モーションガイド情報をディスプレイ画面の下段にディスプレイする。
モーションガイド情報がディスプレイされ、カーソル３９１０を移動させるためにモーション認識モジュール１３０ｌを介して現在の手の位置から左下方に移動させるモーションが認識される場合、図４０に示すように、電子装置１００はカーソル２０１０をモーションに応じて移動させて“１１−１ ＭＢＣ”に位置させる。
モーション認識モジュール１３０ｌを介してモーションアイテム３３１４に対応するグラブモーションが認識される場合、図４１に示すように、電子装置１００は“１１−１ ＭＢＣ”を選局して“チャネル１１−１ ＭＢＣ”をディスプレイする。
図４２ないし図４５は、本発明の一実施形態に係るユーザのポインティング動作を用いたアプリケーションの実行を説明するための図である。図４２に示すように、ディスプレイ画面にスマートハブがディスプレイされ、モーションタスクモードに移行するためにモーション認識モジュール１３０ｌを介して手を３〜４回振るシェイクモーションが認識される場合、図４３に示すように、電子装置１００はカーソル４３０５を生成して表示し、モーションガイド情報４３１０をディスプレイ画面の下段にディスプレイする。
モーション認識モジュール１３０ｌを介して現在の手の位置から右下方に移動させるモーションが認識される場合、図４４に示すように、電子装置１００はカーソル４３０５をモーションに応じて移動させて“ＡＰＰ ２”に位置させる。
モーション認識モジュール１３０ｌを介してモーションアイテム４３１１に対応するグラブモーションが認識される場合、図４５に示すように、電子装置１００は“ＡＰＰ ２”を実行する。このとき、電子装置１００は、図４５に示すように、スマートハブが現れる画面の代わりに選択されたアプリケーションを実行する画面を出力してよい。しかし、これは一実施形態に過ぎず、電子装置１００は、スマートハブ内にスマートハブより小さい画面でアプリケーションを実行することができる。
図４６ないし図４８は、本発明の一実施形態に係るユーザのモーションを用いたスマートハブのアプリケーション表示領域におけるナビゲーションを説明するための図である。図４６に示すように、ディスプレイ画面にスマートハブがディスプレイされ、モーションタスクモードに移行するためにモーション認識モジュール１３０ｌを介して手を３〜４回振るモーションが認識される場合、図４７に示すように、電子装置１００はカーソル４７１０を生成し、モーションガイド情報をディスプレイ画面の下段にディスプレイする。
カーソル４７１０がナビゲーションが可能な領域（例えば、左右移動方向キー４７１３、４７１６が表示された領域）に位置し、モーション認識モジュール１０３ｌを介して現在の手の位置から右方に移動されるスラップが認識される場合、図４８に示すように、電子装置１００はカーソル４７１０が位置したアプリケーション表示領域４７２０を左方に移動させる。
図４９ないし図５２は、本発明の一実施形態に係るモーション認識を用いた対象名称が明確でないアイコンの実行を説明するための図である。図４９に示すように、ディスプレイ画面にウェブページ画面がディスプレイされ、モーションタスクモードに移行するためにモーション認識モジュール１３０ｌを介して手を３〜４回振るモーションが認識される場合、図５０に示すように、電子装置１００はカーソル５００５を生成し、モーションガイド情報５０１０をディスプレイ画面の下段にディスプレイする。
カーソル５００５を移動させるためにモーション認識モジュール１３０ｌを介して現在の手の位置を左上方に移動させるモーションが認識される場合、電子装置１００は、図５１に示すように、カーソル５００５をモーションに応じて“ブックマークアイコン４９１０”に位置する。
モーション認識モジュール１３０ｌを介してグラブが認識される場合、図５２に示すように、電子装置１００は現在のディスプレイ画面上にウェブページをブックマークしたことを示すブックマーク５２２０を表示する。
図５３ないし図５５は、本発明の一実施形態に係るモーション認識を用いた再生コントロールタスクを説明するための図である。図５３に示すように、コンテンツ映像（例えば、保存部１３０に保存された動画または外部から受信された動画）がディスプレイ画面にディスプレイされ、モーションタスクモードに移行するために、モーション認識モジュール１３０ｌを介して手を３〜４回振るモーションが認識される場合、図５４に示すように、電子装置１００は再生コントロールバー５４１０を生成し、モーションガイド情報をディスプレイ画面の下段にディスプレイする。このとき、再生コントロールバー５４１０は、モーション開始命令が認識される場合、ディスプレイ画面に表示される。なお、再生コントロールバー５４１０は別途のユーザ入力（例えば、リモコンボタン）がある場合、ディスプレイ画面に表示されてよい。
モーション認識モジュール１３０ｌを介して左方へのスラップモーションが認識される場合、図５５に示すように、電子装置１００は現在の映像で予め設定された時間（例えば、１０分）だけ後へ移動して、再生する。このとき、予め設定された時間は、環境設定を通じて変更されてよい。
図５６ないし図５８は、本発明の一実施形態に係る更に別のモーション認識を用いた再生コントロールタスクを説明するための図である。図５６に示すように、映像（例えば、保存部１３０に保存された動画または外部から受信された動画）がディスプレイ画面にディスプレイされ、モーションタスクモードに移行するためにモーション認識モジュール１３０ｌを介して手を３〜４回振るモーションが認識される場合、図５７に示すように、電子装置１００は再生コントロールバー５７１０を生成し、モーションガイド情報をディスプレイ画面の下段にディスプレイする。このとき、再生コントロールバー５７１０を生成し、モーションガイド情報をディスプレイ画面の下段にディスプレイする。このとき、再生コントロールバー５７１０はモーション開始命令が認識される場合、ディスプレイ画面に表示される。なお、再生コントロールバー５７１０は、別途のユーザ入力（例えば、リモコンボタン）がある場合、ディスプレイ画面を通じて表示されてよい。
モーション認識モジュール１３０ｌを介してグラブモーションが認識される場合、電子装置１００は現在の再生位置を示すアイコン５７１５を選択し、その後、モーション認識モジュール１３０ｌを介して左方への移動モーションが認識される場合、電子装置１００は左方への移動モーションに対応する時間分だけ後へ移動して再生する。そして、アイコン５７１５も左方への移動モーションに対応する分だけ後へ移動される。モーション認識モジュール１３０ｌを介してグラブが解除（例えば、手を開くスプレッド（Ｓｐｒｅａｄ）動作）される場合、図５８に示すように、電子装置１００は、後へ移動した時点から映像を再び再生する。しかし、これは一実施形態に過ぎず、グラブの後、右方への移動モーションが認識される場合、電子装置１００は右方への移動モーションに対応する時間だけ前へ移動して再生する。そして、アイコン５７１５も右方への移動モーションに対応する分だけ前へ移動される。
上述のように、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションによって制御されるモーションタスクは設定値が段階的に変更されるタスクまたはカーソルが用いられるタスクとして、ユーザはモーションを通じてモーションタスクをより容易にかつ便利に制御できるようになる。
図５９及び図６０は、本発明の一実施形態に係る全タスクをモーションタスク及び音声タスクに区分して制御する電子装置の制御方法を説明するためのフローチャートである。
図５９は、本発明の一実施形態に係る電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、ユーザの音声またはモーションを認識する（Ｓ５９１０）。ユーザ音声はマイクを通じて入力されて音声認識モジュールによって認識されてよく、ユーザモーションはカメラによって撮像されてモーション認識モジュールによって認識されてよい。
このように、電子装置１００は、音声認識モジュール及びモーション認識モジュールのいずれか一つを通じてユーザ入力が認識されると（Ｓ５９１０）、受信されたユーザ入力によって音声タスク及びモーションタスクのいずれか一つを行う（Ｓ５９２０）。このとき、音声タスクは、電子装置１００を制御するためのタスクのうち、ユーザの音声に対応する識別子を含むタスクであり、モーションタスクは電子装置１００を制御するためのタスクのうち、ユーザのモーションのい方向に応じて段階的に行われるタスクである。
上述の方法のように、ユーザは音声及びモーションを併せて使用して、より効果的に電子装置１００を制御することができるようになる。
図６０は、本発明の一実施形態に係る電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、音声認識モジュール及びモーション認識モジュールのいずれか一つを通じて開始命令を認識する（Ｓ６００５）。このとき、開始命令には音声認識モジュールを通じて認識された音声開始命令またはモーション認識モジュールを通じて認識されたモーション開始命令が含まれる。
このとき、認識された開始命令が音声開始命令であれば（Ｓ６０１０−Ｙ）、電子装置１００は、電子装置１００のモードを音声タスクモードに切り替える（Ｓ６０１５）。このとき、音声タスクモードは、音声認識モジュールを通じて認識されたユーザの音声によってタスクが行われるモードである。
音声タスクモードに切り替えられる場合、電子装置１００は音声アイテムを含む音声ガイド情報を生成する（Ｓ６０２０）。例えば、図６１に示すように、音声タスクを行うための音声アイテムが含まれた音声ガイド情報が表示される。
音声タスクモードに切り替えられた状態で、電子装置１００はユーザの音声が認識されているか否かを判断し（Ｓ６０３０）、ユーザの音声が認識されていると判断される場合（Ｓ６０３０−Ｙ）、電子装置１００は認識されたユーザの音声に対応する音声タスクを行う（Ｓ６０３５）。例えば、図６ないし図３２において説明したような音声タスクを行うことができる。
このとき、音声タスクとしては、電子装置の電源制御、チャネルショートカット、音量レベル指定、サウンドオフ、外部入力変更、文字入力及び再生／停止機能のうち少なくとも一つを含んでよい。
音声タスクモードでモーション開始命令が認識されているか否かを判断し（Ｓ６０４０）、モーション開始命令が認識される場合（Ｓ６０４０−Ｙ）、電子装置１００は電子装置１００のモードをモーションタスクモードに切り替える（Ｓ６０４５）。例えば、音声タスクモードでモーション開始命令が認識される場合、電子装置１００はモーションタスクモードに切り替えて、図６２に示すようなモーションアイテムが含まれたモーションガイド情報を表示する。
モーション開始命令が認識されていない場合（Ｓ６０４０−Ｎ）、電子装置１００は従来のタスクモードである音声タスクモードを維持する（Ｓ６０７０）。最初に認識された開始命令が音声開始命令でないモーション開始命令である場合（Ｓ６０１０−Ｎ）、電子装置１００は電子装置１００のモードをモーションタスクモードに切り替える（Ｓ６０４５）。このとき、モーションタスクモードは、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションのみによってタスクが行われるモードである。
モーションタスクモードに切り替えられる場合、電子装置１００はモーションアイテムを含むモーションガイド情報を生成する（Ｓ６０５０）。例えば、図６２に示すように、モーションタスクを行うためのモーションアイテムが含まれたモーションガイド情報が表示される。
電子装置１００は、ユーザのモーションが認識されているか否かを判断し（Ｓ６０５５）、ユーザのモーションが認識されていると判断される場合（Ｓ６０５５−Ｙ）、電子装置１００は認識されたユーザのモーションに対応するモーションタスクを行う（Ｓ６０６０）。例えば、図３３ないし図５８で説明したようなモーションタスクを行うことができる。
このとき、音声タスクとしては、チャネルザッピング、音量レベル調節、画面ナビゲーション、スライドバーコントロール及びカーソルポインティングのうち、少なくともいずれか一つを含んでよい。
モーションタスクモードで、音声開始命令があるか否かを判断し（Ｓ６０６５）、音声開始命令が認識される場合（Ｓ６０６５−Ｙ）、電子装置１００は、電子装置１００のモードを音声タスクモードに切り替える（Ｓ６０１０）。例えば、モーションタスクモードで音声開始命令が認識される場合、電子装置１００は音声タスクモードに切り替えて、図６０に示すように、音声アイテムが含まれた音声ガイド情報を表示する。
音声ガイド命令が認識されていない場合（Ｓ６０４０−Ｎ）、電子装置１００は従来のタスクモードであるモーションタスクモードを維持する（Ｓ６０７０）。
以上のように、電子装置１００は、ユーザのモーション及び音声に応じて多様なタスクを行うことができるようになり、これにより、ユーザの便宜性が高まる。
制御部１４０は、認識された音声によって音声タスクの少なくとも一つを行うことができる音声タスクモードで、音声タスクを行うための音声ガイド情報（Ｖｏｉｃｅ Ａｓｓｉｓｔａｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が表示されるように制御することができる。例えば、制御部１４０は、音声認識モジュールを通じて音声開始命令が認識された場合、ユーザの音声によって制御可能な音声タスクを行うための音声ガイド情報がディスプレイされるように制御することができる。音声ガイド情報として、各種音声タスクに対応する少なくとも一つの音声アイテムが表示されてよい。ここで、少なくとも一つの音声アイテムの各々は、発話可能な命令語であってよい。これにより、ユーザは音声タスクモードで、認識可能な命令語を便利に認識することができる。なお、当該命令語を発話すると、どのような音声タスクが行われるか否かを容易に認識することができる。
なお、制御部１４０は、音声タスクモードで音声ガイド情報として表示された少なくとも一つの音声アイテムのうち、第１音声アイテムに対応する第１音声を認識することができる。制御部１４０は、認識された第１音声に対応する第１音声アイテムに関連したアイテム付加情報（Ａｄｄｉｔｉｏｎａｌ Ｉｔｅｍ Ｉｎｆｏｒｍａｔｉｏｎ）が存在するか否かを判断することができる。アイテム付加情報が存在していない場合、制御部１４０は、第１音声アイテムに対応するタスクを行うことができる。なお、音声ガイド情報の変更が必要な場合、制御部１４０は変更された音声ガイド情報が表示されるようにディスプレイ部（図示せず）を制御することができる。アイテム付加情報が存在している場合、制御部１４０は認識された第１音声に対応する第１音声アイテムに関連するアイテム付加情報が表示されるように制御することができる。制御部１４０は、音声タスクのうち、第１音声アイテム及び認識された第２音声に対応するタスクを行うことができる。
なお、制御部１４０は、認識されたモーションに応じて、モーションタスクの少なくとも一つを行うことができるモーションタスクモードで、モーションタスクを行うためのモーションガイド情報が表示されるように制御することができる。例えば、制御部１４０は、モーション認識モジュールを通じてモーション開始命令が認識された場合、ユーザのモーションによって制御可能なモーションタスクを行うためのモーションガイド情報がディスプレイされるようにする。モーションガイド情報として、各種モーションタスクに対応する少なくとも一つのモーションアイテムが表示されてよい。ここで、少なくとも一つのモーションアイテムの各々は、モーションタスクモードで認識可能なモーションを表すモーションイメージ及び認識可能なモーションに対応するタスクを含んでよい。これにより、ユーザはモーションタスクモードで認識可能なモーションを簡単に認識することができ、あるモーションをとると、どのようなモーションタスクが行われるか容易に認識することができるため、ユーザはモーションタスクをより便利に行うことができるようになる。
なお、制御部１４０は、モーションタスクモードでモーションガイド情報として表示された少なくとも一つのモーションアイテムのうち、第１モーションアイテムに対応する第１モーションを認識することができる。制御部１４０は、認識された第１モーションに対応する第１モーションアイテムに関連するアイテム付加情報が存在しているか否かを判断することができる。アイテム付加情報が存在していない場合、制御部１４０は、第１モーションアイテムに対応するタスクを行うことができる。なお、モーションガイド情報の変更が必要な場合、制御部１４０は変更されたモーションガイド情報が表示されるようにディスプレイ部（図示せず）を制御することができる。アイテム付加情報が存在している場合、制御部１４０は認識された第１モーションに対応する第１モーションアイテムに関連するアイテム付加情報が表示されるように制御することができる。制御部１４０は、アイテム付加情報に対応する第２モーションを認識することができる。制御部１４０は、モーションタスクのうち、第１モーションアイテム及び認識された第２モーションに対応するタスクを行うことができる。音声ガイド情報、モーションガイド情報、音声アイテムに関連するアイテム付加情報、またはモーションアイテムに関連するアイテム付加情報等は、ディスプレイ画面の同じ領域（例えば、画面の下段）にディスプレイされてよい。なお、前記情報は、予め設定された領域または動的に変更される領域上にディスプレイされることができる。例えば、音声ガイド情報またはモーションガイド情報は、ディスプレイ画面の上段、下段、右側または左側にディスプレイされてよく、画面に同時に表示されるイメージに応じて動的に変更されてよい。
なお、音声ガイド情報、モーションガイド情報、音声アイテムに関連するアイテム付加情報またはモーションアイテムに関連するアイテム付加情報等は、ディスプレイされたり再生される映像、アプリケーション、ＯＳＤまたは認識候補等と同時に表示されたり、単独に表示されてよい。なお、前記情報が表示される領域は、映像、アプリケーション、ＯＳＤまたは認識候補が表示される領域とオーバーラップされて表示されてよい。このような音声ガイド情報またはモーションガイド情報は、少なくとも一部が透明に表示されてよい。このような透明度（Ｔｒａｎｓｐａｒｅｎｃｙ）はユーザの選択により調節されてよい。
一方、上述の音声ガイド情報及びモーションガイド情報は、多様な形態でユーザに提供されてよい。以下では、図６１ないし図６３を参照して、音声ガイド情報、音声アイテムに関連するアイテム付加情報及びモーションガイド情報がより詳細に説明される。
図６１は、本発明の一実施形態に係る音声タスクモードである場合、ディスプレイ部１９３にディスプレイされる音声ガイド情報を示す図である。図６１に示すように、音声タスクモードで、ディスプレイ部１９３は音声ガイド情報として少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８を表示することができる。ここで、少なくとも一つの音声アイテムの各々は、発話可能な命令語であってよい。なお、音声ガイド情報は、音声タスクモードを表すモードイメージまたはテキスト等を含んでよい。音声ガイド情報は、少なくとも一つの音声アイテムを含むガイド領域８１０または電子装置１００の指定されたモード（例えば、音声タスクモードまたはモーションタスクモード）を表示するモード表示領域８２０を含んでよい。モード表示領域８２０には、音声タスクモード及びモーションタスクモードのうち指定されたモードを表すモードイメージ及びテキストの少なくとも一つが含まれてよい。なお、ガイド領域８１０及びモード表示領域８２０は、図６１に示すように、区分されて表示されてよく、両領域の境界が区分なく表示されてよい。なお、モーション表示領域８２０が省略されてよい。ガイド領域８１０及びモード表示領域８２０の各々の位置は、電子装置１００の製造時に設定されたり、ユーザによって任意に設定されたり、ＵＩとともに表示される映像によって動的に位置してよい。例えば、ガイド領域８１０またはモード表示領域８２０の位置は、ＯＳＤが表示される場合、ＯＳＤの表示が目立つようにＯＳＤの表示された領域外の任意の位置に変更されてよい。ガイド領域８１０は、ディスプレイ画面の下段にディスプレイされてよく、モード表示領域８２０はディスプレイ画面の下段の中央にディスプレイされてよい。なお、モーション表示領域８２０の位置は、ガイド領域８１０に独立的に環境設定に応じて、下段右側のように他の位置に変更されてよい。
音声タスクモードで、ガイド領域８１０は少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８を含む。例えば、少なくとも一つの音声アイテムの各々は、音声タスクを行うための命令語であってよい。ガイド領域８１０に含まれた少なくとも一つの命令語は、電源オフ８１１、チャネル８１２、サウンドオフ８１３、外部入力８１４、スマートハブ８１５、アップス８１６、検索８１７または全て８１８等を含んでよい。このとき、電源オフ８１１は、電子装置１００の電源オフを行うための命令語である。チャネル８１２は、チャネルショートカットを行うための命令語である。サウンドオフ８１３は、サウンドオフを行うための命令語である。外部入力８１４は、外部入力変更を行うための命令語である。スマートハブ８１５は、電子装置１００のインターネット機能、アプリケーション提供機能、マルチメディア（例えば、動画や音楽、写真等）提供機能のようなスマート機能に移行するタスクを行うための命令語である。アップス８１６は、電子装置１００のアプリケーションを検索するタスクを行うための命令語である。検索８１７は、電子装置１００が提供するコンテンツ、アプリケーション機能、ウェブ検索を行うための命令語である。全て８１８は、全ての命令語を表示するための命令語である。なお、ガイド領域８１０は、全て８１８１に代わって命令語として、「更に見る」（Ｍｏｒｅ）を含んでよい。即ち、全て８１８及び「更に見る」は、音声タスクに対応する音声アイテムのうち、少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８と他のアイテムを表示するための音声アイテムであってよい。なお、電子装置１００が前記他のアイテムを表示する場合、予め設定されたタイマーの駆動を省略してよい。ここで、予め設定されたタイマーは、表示された音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８のいずれかが、予め設定された時間の間認識されていない場合、音声タスクモードを中断するためのタイマーであってよい。音声タスクモードが中断される場合、音声ガイド情報の表示が消え、一般的な遠隔制御装置によって制御されるモードに変更されてよい。なお、音声タスクモードが中断される場合、音声開始命令に応じて音声タスクモードに再移行するまでに、音声タスクの実行が制限されてよい。なお、画面に音声ガイド情報、モーションガイド情報、アイテム付加情報等とともにＯＳＤまたは認識候補が表示された場合、指定されたモードによらず指定されたモードの中断のための予め設定されたタイマーの駆動が省略されてよい。なお、ガイド領域８１０には、上述の命令語と異なる命令語が含まれてよい。
音声ガイド情報として表示された少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８は、現在行われる機能によって相違に構成されてよい。即ち、ガイド領域８１０にディスプレイされる少なくとも一つの命令語は、電子装置１００の現在行われる機能によって相違に構成されてよい。例えば、少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８は、音声ガイド情報とともに表示されるアプリケーション、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）及び認識候補（Ｃａｎｄｉｄａｔｅ）の少なくともいずれか一つに応じて、音声タスクに対応する音声アイテムのうち、少なくとも一つが選択的に構成されたものであってよい。例えば、現在電子装置１００にスマート機能が行われる場合、放送受信状態に復帰するための命令語である“復帰”が含まれた音声ガイド情報がディスプレイされてよい。ここで、認識候補は認識された音声と類似する数字及び文字の少なくとも一つを含む名称、認識された音声と類似する命令語、類似する命令語に対応するタスク、認識されたモーションと類似するモーション、類似するモーションに対応するタスクのうち、少なくとも一つを含んでよい。例えば、認識された音声に対する類似候補は、認識された音声と類似するチャネル識別子のリストがポップアップウィンドウ内に表示されてよい。ＯＳＤは、電子装置１００の現在の設定情報、認識候補を除く電子装置１００の設定メニュー等を含んでよい。例えば、ＯＳＤとして、現在再生中のチャネルの識別子（チャネル番号、チャネル名）が表示されたり、外部入力リストまたはチャネルリストが表示されてよい。
制御部１４０は、音声ガイド情報として表示された少なくとも一つの音声アイテム８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８のうちの第１音声アイテムに対応する第１音声を認識することができる。制御部１４０は、認識された第１音声に対応する第１音声アイテムに関連するアイテム付加情報が表示されるように制御することができる。第１音声アイテムに関連するアイテム付加情報は、第１音声アイテムと関連する付加命令語、ガイド語句または発話例示等を含んでよい。例えば、音声認識モジュール１３０ｋを介してガイド領域８１０に表示された音声アイテム８１２に対応する音声として“チャネル”が認識され、音声アイテム８１２に対応するタスクが音声タスクのチャネルショートカットである場合、ディスプレイ部１９３は、図６２に示すように、チャネル名、番組名及びチャネル番号の少なくともいずれか一つの識別子の発話に対するガイド語句、発話例示、または付加命令語（一例として、「前へ」）を含むアイテム付加情報を表示することができる。ここで、「前へ」は、図６１のガイド領域８１０を含むＵＩが再び表示されるようにするための命令語であってよい。アイテム付加情報は、付加命令語、ガイド語句または発話例示等を含むガイド領域８３０及びモード表示領域８２０を含んでよい。一例として、ガイド領域８３０の左側にはガイド語句が表示され、ガイド領域８３０の右側には付加命令語または発話例示等が表示されてよい。
なお、制御部１４０は、アイテム付加情報に対応する第２音声を認識することができる。制御部１４０は、音声タスクのうちの第１音声アイテム及び認識された第２音声に対応するタスクを行うことができる。例えば、第１音声アイテムが音声アイテム８１２であり、図６０のアイテム付加情報に対応する第２音声として「ＭＢＣ」が認識される場合、制御部１４０は「ＭＢＣ」を含むチャネル識別子に対応するチャネルに変更するチャネルショートカットを行うことができる。このように、第１音声アイテムに関連するアイテム付加情報は第１音声アイテムに対応するタスクを行ううえで、当該タスクの実行有無を問い合わせたり、当該タスクの実行に必要な情報を更に獲得するために、第２音声の発話をガイドするための情報であってよい。
図６３は、本発明の一実施形態に係る電子装置で、モーションタスクモードである場合、ディスプレイ部１９３にディスプレイされるモーションガイド情報を示す。図６３に示すように、モーションタスクモードで、ディスプレイ部１９３はモーションガイド情報として少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４を表示することができる。ここで、少なくとも一つのモーションアイテムの各々は、モーションタスクモードで認識可能なモーションを表すモーションイメージまたは認識可能なモーション（または、モーションイメージ）に対応するタスクを示すテキストを含んでよい。なお、モーションガイド情報は、モーションタスクモードを表すモードイメージまたはテキスト等を含んでよい。モーションガイド情報は、少なくとも一つのモーションアイテムを含むガイド領域３３１０及び電子装置１００のモードを表示するモード表示領域３３２０を含んでよい。モード表示領域３３２０には、音声タスクモード及びモーションタスクモードのうち、指定されたモードを表すモードイメージ及びテキストの少なくともいずれか一つが含まれてよい。なお、ガイド領域３３１０及びモード表示領域３３２０は、図６３に示すように、区分して表示されてよく、両領域の境界が区分なく表示されてよい。なお、モード表示領域３３２０が省略されてよい。例えば、ガイド領域３３１０は、ディスプレイ画面の下段にディスプレイされてよく、モード表示領域３３２０は、ディスプレイ画面の下段中央にディスプレイされてよい。ここで、モード表示領域３３２０の位置は、環境設定によって変更（例えば、下段右側）されてよい。
モーションタスクモードで、ガイド領域３３１０は少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４を含む。例えば、少なくとも一つのモーションアイテムの各々は、モーションイメージ及びモーションイメージに対応するタスクを示すテキストを含んでよい。ガイド領域３３１０に含まれた少なくとも一つのモーションアイテムは、反時計回りへの回転モーションは、前の設定に戻る機能を行うための「戻る」に対応することを示すモーションアイテム３３１１、上／下へのスラップモーションは、音量レベル調節を行うための音量アップ／ダウンに対応することを示すモーションアイテム３３１２、左／右へのスラップモーションは、チャネルザッピングを行うためのチャネルアップ／ダウンに対応することを示すモーションアイテム３３１３、グラブモーションは、映像再生を行うための再生に対応することを示すモーションアイテム３３１４等を含んでよい。なお、ガイド領域３３１０には、上述のモーションアイテムと異なるモーションアイテムが含まれてよい。なお、上述の少なくとも一つのモーションアイテムの各々に含まれたモーションイメージ及びモーションイメージに対応するテキストは、認識可能なモーション及び認識可能なモーションに対応するタスクのマッピング設定に応じて変更されてよい。例えば、ガイド領域３３１０には、上／下へのスラップモーションがチャネルザッピングを行うためのチャネルアップ／ダウンに対応することを示すモーションアイテム及び左／右へのスラップモーションが音量レベル調節を行うための音量アップ／ダウンに対応することを示すモーションアイテムを含んでよい。
モーションガイド情報として表示された少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４は、現在行われる機能に応じて異なるように構成されてよい。即ち、ガイド領域３３１０にディスプレイされる少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４は、電子装置１００の現在行われる機能に応じて異なるように構成されてよい。例えば、少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４は、モーションガイド情報とともに表示されるアプリケーション、ＯＳＤ及び認識候補の少なくともいずれか一つに応じて、モーションタスクに対応するモーションアイテムの少なくともいずれか一つが選択的に構成されたものであってよい。
なお、制御部１４０は、モーションガイド情報として表示された少なくとも一つのモーションアイテム３３１１、３３１２、３３１３、３３１４のうちの第１モーションアイテムに対応する第１モーションを認識することができる。アイテム付加情報が存在する場合、制御部１４０は、認識された第１モーションに対応する第１モーションアイテムに関連するアイテム付加情報が表示されるように制御することができる。例えば、モーションアイテム３３１４に対応するグラブモーションが認識された場合、選択されたアイテムまたは映像ファイルを再生するか否かを問い合わせるガイド語句、または、左／右へのスラップモーションが、はい（Ｙｅｓ）／いいえ（Ｎｏ）に対応することを示すモーションアイテム等を含むアイテム付加情報が表示されてよい。
なお、制御部１４０は、アイテム付加情報に対応する第２モーションを認識することができる。制御部１４０は、モーションタスクのうちの第１モーションアイテム及び認識された第２モーションに対応するタスクを行うことができる。例えば、第１モーションアイテムがモーションアイテム３３１４であり、指定された映像ファイルを再生するか否かを問い合わせるガイド語句及び左／右へのスラップモーションが、「はい／いいえ」に対応することを示すモーションアイテムを含むアイテム付加情報に対応する第２モーションとして左方へのスラップモーションが認識された場合、指定された映像ファイルが再生されてよい。このように、第１モーションアイテムに関連するアイテム付加情報は、第１モーションアイテムに対応するタスクを行ううえで、当該タスクの実行有無を問い合わせたり、当該タスクの実行に必要な情報を更に獲得するために、第２モーションをガイドするための情報であってよい。
なお、モーション認識にエラーが生じた場合、エラーガイドを示すモーションガイド情報が表示されてよい。例えば、モーションガイド情報は、“ジェスチャーを認識することができませんでした。もう一度入力してください”というガイド語句、または、再び入力を示すテキストとマッピングされた掌のイメージ等を含んでよい。なお、モーションガイド情報は、“今は両手認識ができません”というガイド語句、または、“「ウェブブラウザ」、「写真を見る」、「グーグルマップＡｐｐ」のみでご利用頂けます”というガイド語句を含んでよい。ここで、両手認識は両手を狭める、両手を広げる等のモーションに対応して画面の拡大または縮小等のタスクを行うためのものであってよい。なお、モーションガイド情報の一部として、モード表示領域にエラーガイドを現すイメージまたはテキスト等が表示されてよい。
以下では、図６４ないし図６６を参照し、電子装置１００で音声認識またはモーション認識によるフィードバックを提供するユーザインターフェースについて説明する。
図６４に示すように、音声タスクモードで、ガイド領域８１０及びモード表示領域８２０等を含む音声ガイド情報がディスプレイされてよい。このとき、ガイド領域８１０及びモード表示領域８２０は、画面の下段から湧き上るような視覚的効果が適用されて表示されてよい。例えば、ガイド領域８１０及びモード表示領域８２０が、一定時区間の間（一例として、３秒間）アニメーション形態で表示されてよい。一例として、ガイド領域８１０及びモード表示領域８２０の一部が下段から早いスピードで湧き上って表示されてから、だんだん遅い速度で湧き上り、図６４に示されたガイド領域８１０及びモード表示領域８２０の形態が完成しつつ、湧き上るアニメーションが終了してよい。なお、モーションタスクモードに移行する場合にも、モーションガイド情報が上述のアニメーション形態で表示されてよい。なお、特定モードに対するＵＩが表示されてから消える場合、特定モードに切り替わる場合等にも、上述の視覚的効果の他にも多様な視覚的、聴覚的効果が出力されてよい。
電子装置１００は、第１音声アイテムに対応する第１音声を認識する場合、第１音声の認識正確度に応じて、認識正確度のレベルに対応する視覚的フィードバック及び聴覚的フィードバックの少なくともいずれか一つを提供することができる。なお、電子装置１００は、第１モーションアイテムに対応する第１モーションを認識する場合、第１モーションの認識正確度に応じて、認識正確度のレベルに対応する視覚的フィードバック及び聴覚的フィードバックの少なくともいずれか一つを提供することができる。ここで、認識正確度は、第１音声（または、第１モーション）が電子装置１００で認識可能な音声（または、モーション）であるか否かを判断することができるレベルを示したり、または、認識された音声（または、モーション）が予め設定された命令語（または、予め設定されたモーション）の一つに該当するかを識別できるレベルを示すものであってよい。なお、認識正確度は、音声またはモーションを認識して当該音声またはモーションに対応するタスクを識別するのにかかる時間に応じて示す指標であってよい。
例えば、電子装置１００が音声アイテム８１５に対応する音声として“スマートハブ”を認識する場合、電子装置１００はガイド領域８１０に含まれた少なくとも一つの命令語８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８のいずれか一つで識別可能なレベルを確率的に計算して認識正確度を決定することができる。電子装置１００は、認識正確度と予め設定された閾値とを比較し、認識正確度が閾値より大きい場合と認識正確度が低い場合の各々に対応する視覚的効果を互いに異なるように表示することができる。一例として、図６５に示すように、音声認識が正確度に応じて、モード表示領域６５２０に音声タスクモードを表すイメージの背景に時計回りに回転するアニメーションが表示されてよい。このとき、アニメーションは、認識正確度が閾値より低い場合はイメージ回転速度が遅い場合であり、認識正確度が閾値より高い場合はイメージ回転速度が速い場合であってよい。なお、認識正確度に応じて上述の視覚的フィードバックが提供される際、各視覚的フィードバックとともに聴覚的フィードバックが提供されてよい。
なお、モード表示領域８２０に表示される視覚的フィードバックとしてのアニメーションは、音声アイテムに対応する音声が認識された後、図６６のスマートハブ６６００が駆動されて表示されるまでの時区間の間表示され、認識正確度によるものでなくてよい。
なお、電子装置１００は、第１音声アイテムに対応する第１音声を認識する場合、第１音声アイテム及び第１音声アイテムに対応するタスクの少なくともいずれか一つを示す視覚的フィードバックまたは聴覚的フィードバックを提供することができる。なお、電子装置１００は、第１モーションアイテムに対応する第１モーションを認識する場合、第１モーションアイテム及び第１モーションアイテムに対応するタスクの少なくともいずれか一つを示す視覚的フィードバックまたは聴覚的フィードバックを提供することができる。
例えば、図６５に示すように、音声アイテム８１５に対応する音声として“スマートハブ”が認識された場合、音声アイテム８１５または音声アイテム８１５に対応するタスクとしてフィードバック領域６５３０に“スマートハブ”が表示されてよい。なお、フィードバック領域６５３０に対する制限なく、画面の任意の位置に視覚的フィードバックが表示されてよい。なお、フィードバック領域６５３０に表示される視覚的フィードバックとともに、“Ｙｏｕ ｓａｉｄ、スマートハブ”という聴覚的フィードバックが出力されてよい。
なお、アイテム８１３に対応するモーションとして右方へのスラップが認識された場合、電子装置１００はフィードバック領域６５３０にモーションアイテムの一つに対応するタスクを示すフィードバック（例えば、“Ｙｏｕ ｄｉｄ、Ｃｈａｎｎｅｌ ＵＰ”）という視覚的フィードバックを表示したり、電子装置１００のＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）モジュール（図示せず）等を用いて聴覚的フィードバックが出力されるように制御することもできる。
図６７ないし図６９は、本発明の多様な実施形態に係る音声ガイド情報及びモーションガイド情報を提供する電子装置の制御方法を説明するためのフローチャートである。
図６７は、本発明の一実施形態に係る電子装置１００の制御方法を説明するためのフローチャートである。ステップＳ６７１０において、電子装置１００は音声認識モジュール及びモーション認識モジュールのいずれか一つを用いてユーザの入力（音声またはモーション）を認識することができる。ユーザ音声は、マイクを通じて入力され、音声認識モジュールによって入力された音声が認識されてよく、ユーザモーションはカメラによって撮像され、モーション認識モジュールによって撮像されたモーションが認識されてよい。
ステップＳ６７２０において、電子装置１００は受信されたユーザ入力に応じて音声タスク及びモーションタスクのいずれか一つを行うことができる。即ち、電子装置１００は、音声タスクモード及びモーションタスクモードのいずれか人との指定されたモードによって動作することができる。例えば、音声開始命令またはモーション開始命令が認識される場合、認識された開始命令に対応するモードが指定されてよい。
音声タスクモードは、認識された音声に応じて第１タスク（即ち、音声タスク）の少なくともいずれか一つを行うことができるモードであり、モーションタスクモードは認識されたモーションに応じて第２タスク（即ち、モーションタスク）の少なくともいずれか一つを行うことができるモードである。音声タスクは、認識された音声に応じて行われるタスクを示し、モーションタスクは認識されたモーションに応じて行われるタスクを示してよい。音声タスク及びモーションタスクは相違してよい。
図６８及び図６９は、本発明の一実施形態に係る電子装置１００の制御方法を説明するためのフローチャートである。
ステップＳ６８０５において、電子装置１００は指定されたモードが音声タスクモード及びモーションタスクモードのうちいずれかを識別することができる。ここでは、音声タスクモード及びモーションタスクモードのみを表示しているが、識別可能なモードは、遠隔制御装置によって制御されるモード等を更に含んでよい。モーションタスクモードである場合、電子装置１００は図６９のステップＳ６９１０に移行して、本発明の一実施形態に係る電子装置１００の制御動作を続けることができる。
音声タスクモードである場合、ステップＳ６８１０で電子装置１００は認識された音声に応じて、第１タスクの少なくともいずれか一つを行うことができる音声タスクモードで第１タスクを行うための音声ガイド情報を表示してよい。
ステップＳ６８１５において、電子装置１００は音声ガイド情報として表示された少なくとも一つの音声アイテムのうちの第１音声アイテムに対応する第１音声を認識することができる。
ステップＳ６８２０において、電子装置１００は認識された第１音声に対応する第１音声アイテムに関連するアイテム付加情報が存在するか否かを判断することができる。第１音声アイテムに関連するアイテム付加情報が存在していない場合、ステップＳ６８２５において電子装置１００は、第１音声アイテムに対応するタスクを行うことができる。なお、音声ガイド情報の変更が必要な場合、電子装置１００は変更された音声ガイド情報を表示することができる。例えば、音声アイテム８１３に対応する音声としてサウンドオフが認識された場合、電子装置１００はサウンドオフを行い、図２２に示すように、音声アイテム８１３を音声アイテム２２１３に変更し、変更された音声ガイド情報を表示することができる。
第１音声アイテムに関連するアイテム付加情報を存在している場合、ステップＳ６８３０で、電子装置１００は認識された第１音声に対応する第１音声アイテムと関連するアイテム付加情報を表示することができる。例えば、音声アイテムに対応する音声として“チャネル”が認識された場合、ガイド語句、発話例示等を含むアイテム付加情報が表示されてよい。
ステップＳ６８３５において、電子装置１００はアイテム付加情報に対応する第２音声を認識することができる。
ステップＳ６８４０において、電子装置１００は第１タスクのうちの第１音声アイテム及び認識された第２音声に対応するタスクを行うことができる。例えば、第１音声アイテムが音声アイテム８１２であり、第２音声が“なな”である場合、電子装置１００は、チャネル識別子が７であるチャネルに変更するチャネルショートカットを行うことができる。
なお、モーションタスクモードである場合、図６９のステップＳ６９１０で電子装置１００は認識されたモーションに応じて第２タスクの少なくともいずれか一つを行うことのできるモーションタスクモードで、第２タスクを行うためのモーションガイド情報を表示することができる。
ステップＳ６９１５において、電子装置１００はモーションガイド情報として表示された少なくとも一つのモーションアイテムのうちの第１モーションアイテムに対応する第１モーションを認識することができる。
ステップＳ６９２０において、電子装置１００は認識された第１モーションに対応する第１モーションアイテムに関連するアイテム付加情報が存在しているか否かを判断することができる。第１モーションアイテムに関連するアイテム付加情報が存在していない場合、ステップＳ６９２５で電子装置１００は第１モーションアイテムに対応するタスクを行うことができる。例えば、図３３において、モーションアイテム３３１３に対応するモーションとして右方へのスラップが認識された場合、電子装置１００はチャネルアップに対応して現在のチャネル（６番）から予め設定された順に応じて現在のチャネル（６番）の後に位置する次のチャネルとしてチャネル（７番）が選局されるようにすることができる。なお、モーションガイド情報の変更が必要な場合、電子装置１００は変更されたモーションガイド情報を表示することもできる。
第１モーションアイテムに関連するアイテム付加情報が存在している場合、ステップＳ６９３０で、電子装置１００は認識された第１モーションに対応する第１モーションアイテムに関連するアイテム付加情報を表示することができる。例えば、モーションアイテムに対応するグラブモーションが認識された場合、選択されたアイテムまたは映像ファイルを再生するか否かを問い合わせるガイド語句、または左／右スラップモーションが、はい（Ｙｅｓ）／いいえ（Ｎｏ）に対応することを示すモーションアイテム等を含むアイテム付加情報が表示されてよい。
ステップＳ６９３５において、電子装置１００はアイテム付加情報に対応する第２モーションを認識することができる。
ステップＳ６９４０において、電子装置１００は第２タスクのうちの第１モーションアイテム及び認識された第２モーションに対応するタスクを行うことができる。例えば、第１モーションアイテムが映像再生のためのモーションアイテムであり、第２モーションが左方へのスラップモーションである場合、電子装置１００は指定された映像ファイルを再生することができる。
制御部１４０は、ＵＩ処理モジュール１３０ｊを用いて音声認識を通じて制御可能なコンテンツの短縮アイコンと音声認識を通じて制御不可なコンテンツの短縮アイコンとを区分できるように表示することができる。
制御部１４０は、電子装置１００に保存されたコンテンツのヘッダ（Ｈｅａｄｅｒ、図示せず）またはコンテンツに含まれた別途の環境設定ファイル（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｆｉｌｅ、図示せず）を用いてコンテンツの音声認識のサポート有無を判断することができる。
判断の結果に応じて、音声認識を通じて制御可能なコンテンツの場合、制御部１４０は、ＵＩ処理モジュール１３０ｊを用いて保存部に保存された追加アイコンとコンテンツのオリジナル短縮アイコンを組み合わせてディスプレイ部に表示することができる。ディスプレイ画面に表示される追加アイコンの有無を通じてユーザは音声認識を通じて当該コンテンツを制御できるということが分かる。
保存部１３０には、多様な複数の追加アイコンが保存されてよい。ユーザは、環境設定を通じてオリジナル短縮アイコンと組み合わせられる追加アイコンを変更することができる。
なお、制御部１４０は、ＵＩ処理モジュール１３０ｊを用いて音声認識を通じて制御可能なコンテンツの名前（例えば、下線及び太く表示）を音声認識を通じて制御不可なコンテンツの名前と区別できるようにディスプレイ画面に表示することができる。下線及び太く表示された短縮アイコンの名前を通じてユーザは音声認識を通じて当該コンテンツを制御できるということが分かる。
なお、制御部１４０は、ＵＩ処理モジュール１３０ｊを用いて音声認識を通じて制御可能なコンテンツの短縮アイコンと短縮アイコンの名前を音声認識を通じて制御不可なコンテンツの短縮アイコンと短縮アイコンの名前と区別できるように表示することができる。
なお、制御部１４０またはコンテンツは実行されたコンテンツのＵＩに表示されるツールバーのメニュー（例えば、次のページ（Ｎｅｘｔ）、前のページ（Ｐｒｅｖｉｏｕｓ）または開く（Ｏｐｅｎ）等）の中で、音声認識を通じて制御可能なメニューを音声認識を通じて制御不可なメニューと区別できるように表示することができる。
以下では、図７０ないし図７９を参照して、音声認識を通じて制御可能なアプリケーションの短縮アイコン及び短縮アイコンの名前を音声認識を通じて制御不可なアプリケーションの短縮アイコン及び短縮アイコンの名前と区別できるように表示する方法の多様な実行形態について説明する。
図７０によると、電子装置１００の制御部１４０は、放送受信部１１０で受信された放送信号に対応する映像（Ｖｉｄｅｏ）、音声（Ａｕｄｉｏ）及び制御データ（例えば、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ））をオーディオ出力部１６０及びディスプレイ部１５０のディスプレイ画面７０００を通じて出力する。
制御部１４０は、音声入力部１１０、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザから発話される音声開始命令（Ｔｒｉｇｇｅｒ Ｖｏｉｃｅ）を認識する。制御部１４０は、認識された音声開始命令（例えば、“ジニ”）によって音声認識を通じて制御可能な音声タスクモード（Ｖｏｉｃｅ Ｔａｓｋ Ｍｏｄｅ）に切り替わる。制御部１４０は、音声データベース１３０ｍに予め保存された音声開始命令と音声入力部１１０及び音声認識モジュール１３０ｋを介して認識された音声開始命令を比較する。比較の結果に応じて、音声開始命令に認識される場合、電子装置１００は、制御部１４０によって音声タスクモードに切り替わる。音声データベース１３０ｍには、音声入力部１１０及び音声認識モジュール１３０ｋを介して認識可能な音声に対応する第１命令語（例えば、“音声タスクモードへの切替”に対応する命令語または“チャネル変更に対応する命令語）が保存されてよい。制御部１４０は、第１命令語に対応する電子装置１００の音声タスクを行うことができる。音声データベース１３０ｍに予め保存された音声開始命令または命令語は、環境設定（Ｃｏｎｆｉｇｕｒａｔｉｏｎ）を通じて変更（例えば、追加、変更または削除）されてよい。入力される音声開始命令の認識は、当該技術分野において通常の知識を有する者に容易に理解できるだろう。
図７１に示すように、制御部１４０は、映像が表示されるディスプレイ画面４００に音声タスクモードを行うための音声ガイド情報７１１０を表示する。制御部１４０は、音声ガイド情報７１１０を表示する映像上にオーバーラップされるようにする。制御部１４０は、音声ガイド情報７１１０をディスプレイ画面４００の下段に表示することができる。音声ガイド情報７１１０は、命令語／ガイド表示領域（ｃｏｍｍａｎｄ／ｇｕｉｄｅ ｄｉｓｐｌａｙ ａｒｅａ、７１１１）、モード表示領域（ｍｏｄｅ ｄｉｓｐｌａｙ ａｒｅａ、７１１２）及び第１フィードバック表示領域（ｆｅｅｄｂａｃｋ ｄｉｓｐｌａｙ ａｒｅａ、図７２における７２１３）を含んでよい。なお、図７２によると、モード表示領域７１１２の一側には第１フィードバック表示領域７２１３が表示されてよい。第１フィードバック表示領域７２１３は、第１視覚的フィードバック（図７２の７２１３ａ）を含んでよい。なお、制御部１４０は、認識された第１命令語を電子装置１００のスピーカ１６１から出力し、ユーザに第１聴覚的フィードバック（図示せず）を提供することができる。なお、電子装置１００は、ユーザに視覚的フィードバック及び聴覚的フィードバックのいずれか一つを提供したり、視覚的フィードバック及び聴覚的フィードバックを同時に提供することができる。
図７３に示すように、制御部１４０は第１命令語が認識される場合、第１命令語に対応するコンテンツリスト（以下では、スマートハブ７３００という）を表示する。スマートハブ７３００は、電子装置１００からサポートする多様な機能の中央（Ｈｕｂ）となるＵＩである。スマートハブ７３００は、電子装置１００でサポートする多様な機能（例えば、「動画をみる」、「音楽を聴く」、「インターネット接続」等）に対応する短縮アイコンが表示されるＵＩである。なお、スマートハブ７３００は、電子装置１００の保存部１３０に保存されたコンテンツ（例えば、フォトや音楽、動画等）の短縮アイコン、外部から受信可能なコンテンツ（例えば、フォトや音楽、動画等）に対応する短縮アイコンおよび実行可能なアプリケーション（例えば、ウェブブラウザ等）の短縮アイコンが表示されるＵＩである。
スマートハブ７３００は、多様なコンテンツ、アプリケーションまたはインターネット情報を音声（例えば、音声タスクモード）またはモーション（例えば、モーションタスクモード）で検索可能な検索領域７３１０、検索領域（ｓｅａｒｃｈ ａｒｅａ、７３１０）の一側に位置し、視聴中の放送映像が縮小表示される放送領域（ｂｒｏａｄｃａｓｔｉｎｇ ａｒｅａ、７３２０）、検索領域７３１０の下段に位置し、保存部１３０に保存された動画に対応する短縮アイコンが表示される相手のビデオ領域（your video area、７３３０）、検索領域７３１０の下段に位置し、電子装置１００の製造メーカーからの公示（Ｎｏｔｉｃｅ）または広告を表示する情報表示領域（ｉｎｆｏｒｍａｔｉｏｎ ｄｉｓｐｌａｙ ａｒｅａ、７３４０）、検索領域７３１０の下段に位置し、電子装置１００の製造メーカーから有料または無料で提供される多様なサービスに対応するアプリケーションの短縮アイコンが表示されるアップス領域（Ａｐｐｓ ａｒｅａ、７３５０）、検索領域７３１０の下段に位置し、電子装置１００の製造メーカーから提供されるお薦めサービスが表示されるお薦め領域（Ｒｅｃｏｍｍｅｎｄｅｄ ａｒｅａ、７３６０）及び検索領域７３１０の多段に位置し、電子装置１００に実行可能なアプリケーションに対応する短縮アイコンが表示されるアプリケーション領域（Ａｐｐｌｉｃａｔｉｏｎ ｌｉｓｔ ａｒｅａ、７３７０）中の複数の領域を含んでよい。スマートハブ５００に表示される複数の領域７３１０ないし７３７０は、電子装置１００の性能または機能によって追加されたり削除されることができることは、当該技術分野において通常の知識を有する者に容易に理解できるだろう。
スマートハブ７３００には、音声タスクモードに対応する音声ガイド情報７１１０が表示されてよい。なお、スマートハブ７１００には、モーションタスクモードに対応するモーションガイド情報が表示されてよい。音声ガイド情報７１１０またはモーションガイド情報７７２０は、スマートハブ７１１０上にオーバーラップされてよい。図７３に示すように、スマートハブ７１００には、音声タスクモードに対応する音声ガイド情報７１１０が表示される。
音声タスクモードで、スマートハブ７１００には音声認識を通じて制御可能なコンテンツ（例えば、アプリケーションや動画等）に対応する短縮アイコン（例えば、７３７１）と音声認識を通じて制御不可なコンテンツに対応する短縮アイコン（例えば、７３７２）とが区別できるように表示される。音声認識を通じて制御可能なコンテンツに対応する短縮アイコン７３７１は、音声認識が可能なコンテンツに対応するオリジナル短縮アイコン７３７１ａの一側に表示される追加（Ａｄｄｉｔｉｏｎａｌ）アイコン（例えば、停止イメージ、動画またはテキストのいずれか一つ、７３７１ｂ）との組み合わせであってよい。追加アイコン７３７１ｂは、オリジナル短縮アイコン７３７１ａとオーバーラップされるように表示されたり、オリジナル短縮アイコン７３７１ａと離隔して表示されてよい。音声認識の有無によって、コンテンツに対応する短縮アイコンの一側に追加アイコンを付加することは一つの実施形態であり、多様に音声認識の有無によってコンテンツに対応する短縮アイコンを区分（例えば、追加アイコン７３７１ｂの位置または大きさを変更）できるように表示することができることは、当該技術分野において通常の知識を有する者に容易に理解できるだろう。
音声認識を通じて制御可能なコンテンツに対応する短縮アイコンの名前７３７１ｃは、音声認識を通じて制御不可なコンテンツに対応する短縮アイコンの名前７３７２ａと区別（例えば、下線及び太く（Ｕｎｄｅｒｌｉｎｅｄ ａｎｄ ｂｏｌｄ））できるように表示される。音声認識の有無によってコンテンツに対応する短縮アイコンの名前を下線及び太く表示して区別することは一実施形態であり、多様に音声認識の有無によってコンテンツに対応する短縮アイコンの名前を区分（例えば、フォントまたはカラー変更等）して表示することは、当該技術分野において通常の知識を有する者に容易に理解できるだろう。
スマートハブ７３００で決定された長さ（例えば、英語１５字、ハングル語８字）より長い短縮アイコンの名前７３７３ｃは、短縮アイコンの名前は一部のみ表示されてよい。例えば、短縮アイコンの表示されない名前の残りは、省略符号（Ｅｌｌｉｐｓｉｓ）で表示されてよい。
スマートハブ７３００で音声ガイド情報７１１０に表示される命令語は変更されてよい。第１命令語音声に応答してスマートハブ７３００が表示される場合、スマートハブ７３００が表示される前の映像に復帰するための命令語（例えば、復帰（Ｒｅｔｕｒｎ、７１１１ｉ）が表示される。復帰は、音声ガイド情報７１１０に追加（例えば、計９つの命令語が表示）されたり、表示される命令語（例えば、全命令語）中の一つと代替（例えば、計８つの命令語が表示）されてよい。
制御部１４０は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザから発話される第２命令語音声（例えば、アプリケーションの名前であるＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ７３７１ｃ）を認識する。制御部１４０は、音声データベース１３０ｍに予め保存された第２命令語と音声入力部１１０及び音声認識モジュール１３０ｋを介して認識された第２命令語を比較する。比較の結果によって、第２命令語に認識される場合、制御部１４０は第１フィードバック表示領域４１３に認識された第２命令語に対応する第３視覚的フィードバック（例えば、Ｙｏｕ ｓａｉｄ “Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ”、図示せず）を表示することができる。第３視覚的フィードバック（図示せず）は決定された時間（例えば、５００ｍｓｅｃ）の間提供されてよい。決定された時間は環境設定を通じて変更されてよい。
なお、制御部１４０は、認識された第２命令語を電子装置１００のスピーカ１６１から出力してユーザに第３聴覚的フィードバック（図示せず）を提供することができる。
比較の結果によって、第２命令語に認識されていない場合、制御部１４０は第１フィードバック表示領域７２１３に第４視覚的フィードバック（例えば、もう一度話してください（ｐｌｅａｓｅ、ｓａｙ ｉｔ ａｇａｉｎ）、図示せず）を提供することができる。なお、制御部１４０は、第２命令語音声を認識するために、第４聴覚的フィードバック（例えば、もう一度話してください（ｐｌｅａｓｅ、ｓａｙ ｉｔ ａｇａｉｎ）、図示せず）を提供することができる。
なお、認識された第２命令語に対応するアプリケーションの名前が複数である場合、制御部１４０は、複数のアプリケーションの名前が表示される候補群ポップアップウィンドウ（ｃａｎｄｉｄａｔｅｓ ｐｏｐ−ｕｐ、７３１４）をスマートハブ７３００に表示することができる。
図７４によると、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して第２命令語（例えば、アプリケーションの名前の一部である“Ｅｘｃｉｔｉｎｇ”を含む）が認識される場合、制御部１４０は、第２命令語に対応する複数のアプリケーションのリストを候補群ポップアップウィンドウ７４１４に表示する。例えば、候補群ポップアップウィンドウ７４１４には、（１）ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ７４１４ａ、（２）ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌ７４１４ｂが表示される。スマートハブ７３００に候補群ポップアップウィンドウ７４１４が表示される場合、スマートハブ７３００の下段に表示される命令語／ガイド表示領域７１１１の命令語は変更される。例えば、命令語／ガイド表示領域７１１１でモード表示領域７１１２を基準に左側領域に“Ｓａｙ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｈｅ ｉｔｅｍ ｙｏｕ ｗｉｓｈ ｔｏ ｓｅｌｅｃｔ７１１１ｊ”が表示され、右側領域に“Ｅｘａｍｐｌｅｓ）１、２（７１１１ｋ） Ｒｅｔｕｒｎ７１１１ｉ”が表示されてよい。音声入力部１１０、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して番号（例えば、１（ｏｎｅ））に対応する音声が認識される場合、制御部１４０は、候補群ポップアップウィンドウ７４１４で（１）ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ７４１４ａを選択する。制御部は１４０は、候補群ポップアップウィンドウ７４１４で選択されたアプリケーションの名前７４１４ａと選択されていないアプリケーションの名前７４１４ｂを区別できるように表示することができる。
なお、候補群ポップアップウィンドウ７４１４に表示されるアプリケーションのフルネーム（Ｆｕｌｌ ｎａｍｅ）に対応する音声が認識される場合、制御部１４０は表示される候補群ポップアップウィンドウ７４１４で（１）ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋを区別できるように表示することができる。
図７５によると、制御部１４０は、音声入力部１１０、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して認識された第２命令語（例えば、“Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ”）に対応するアプリケーションのＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋを実行する。制御部１４０は、実行されるＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋのＵＩ７５００を表示する。制御部１４０は、Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋのＵＩ７５００をスマートハブ７３００上にオーバーラップされるように表示する。なお、制御部１４０は、Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋのＵＩ７５００をスマートハブ７３００と代替して全画面のサイズで表示することができる。
表示されるＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋのＵＩ７５００には、電子装置１００の保存部に保存された複数のｅ−ｂｏｏｋに対応する短縮アイコン７５０１ないし７５０４及び短縮アイコンの名前（７５０１ａないし７５９４ａ）が表示される。制御部１４０は、複数のｅ−ｂｏｏｋに対応する短縮アイコンの名前（７５０１ａないし７５９４ａ）は、音声認識有無によって区別できるように表示されてよい。例えば、制御部１４０は、音声認識を介して制御可能なｅ−ｂｏｏｋに対応する短縮アイコンの名前７５０１ａは、音声認識を通じて制御不可なｅ−ｂｏｏｋに対応する短縮アイコンの名前７５０２ａないし７５０４ａと区別できるように表示される。なお、制御部１４０またはアプリケーション（Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ）は、Ｅｘｃｉｔｉｎｇ ｅ−ｂｏｏｋのツール領域（図示せず）のメニュー（例えば、次のページ（Ｎｅｘｔ）、前のページ（ｐｒｅｖｉｏｕｓ）または開く（ｏｐｅｎ）、図示せず）の中で音声認識を通じて制御可能なメニューを音声認識を通じて制御不可なメニューと区別できるように表示することができる。音声認識を通じて制御可能なｅ−ｂｏｏｋに対応する短縮アイコンの名前７５０１ａに下線及び太く表示して区別することは一実施形態であり、多様に音声認識有無によってｅ−ｂｏｏｋに対応する短縮アイコンの名前を区分（例えば、フォントまたはカラー変更等）して表示することは、当該技術分野において通常の技術を有する者にとって容易に理解できるだろう。なお、制御部１４０は、ネットワークインターフェース部１８０を介して音声認識が可能なｅ−ｂｏｏｋを外部のサーバからダウンロードすることができる。
音声認識を通じて制御可能なｅ−ｂｏｏｋに対応する短縮アイコンの名前７５０１ａが音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して認識される場合、制御部１４０はｅ−ｂｏｏｋ７５０１を実行して表示することができる。ユーザは表示されるｅ−ｂｏｏｋを音声認識を通じて制御（例えば、ページ移動等）することができる。
制御部１４０は、モーション入力部１２０と、モーション認識モジュール１３０ｌ及びモーションデータベース１３０ｎを用いてユーザのモーション開始命令７００を認識する。図７６によると、モーション開始命令７６００は、ユーザが指を開いてモーション入力部１２０に向かって左／右に振ることである。制御部１４０は、電子装置１００のモードを認識されたモーション開始命令によって音声タスクモードをモーション認識を通じて制御可能なモーションタスクモードに切り替える。制御部１４０は、モーションデータベース１３０ｎに予め保存されたモーション開始命令とモーション入力部１２０及びモーション認識モジュール１３０ｌを介して認識されたモーション開始命令とを比較する。比較の結果に応じて、モーション開始命令に認識される場合、電子装置１００は制御部１４０によって音声タスクモードからモーションタスクモードに切り替える。モーションデータベース１３０ｎにはモーション入力部１２０及びモーション認識モジュール１３０ｌを介して認識可能なモーションに対応する第２命令語（例えば、「前へ」に対応する命令語または「再生」に対応する命令語）が保存されてよい。制御部１４０は、第２命令語に対応する電子装置１００のモーションタスクを行うことができる。モーションデータベース１３０ｎに予め保存されたモーション開始命令は、環境設定を通じて変更（例えば、追加、変更または削除）されてよい。
スマートハブにモーションガイド情報を表示し、音声認識を通じて制御可能なアプリケーションの短縮アイコンと音声認識を通じて制御不可なアプリケーションの短縮アイコンとを同様に表示する。
図７７によると、制御部１４０は、表示されるスマートハブ５００にモーションタスクモードに対応するモーションガイド情報７７２０及びカーソル７７２５を表示する。制御部１４０は、モーションガイド情報７７２０をスマートハブ７３００上にオーバーラップされるようにする。制御部１４０は、モーションガイド情報７７２０をスマートハブ７３００の下段に表示することができる。モーションガイド情報７７２０は、モーション／ガイド表示領域（ｍｏｔｉｏｎ／ｇｕｉｄｅ ｄｉｓｐｌａｙ ａｒｅａ、７７２１）、モード表示領域（ｍｏｄｅ ｄｉｓｐｌａｙ ａｒｅａ、７７２２）及び第２フィードバック表示領域（図示せず）を含んでよい。
制御部１４０は、スマートハブ７３００にモーションガイド情報７７２０を表示し、音声認識を通じて制御可能なアプリケーションの短縮アイコンと音声認識を通じて制御不可なアプリケーションの短縮アイコンとを同様に表示する。
図７４によると、制御部１４０は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザより発話される第３命令語音声（例えば、アプリケーションの名前である“Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌ”の全てまたは一部）を認識する。制御部１４０は、音声データベース１３０ｍに予め保存された第３命令語と音声入力部１１０及び音声認識モジュール１３０ｋを通じて認識された第３命令語とを比較する。比較の結果によって、第３命令語に認識される場合、制御部１４０は第１フィードバック表示領域７４１３には認識された第３命令語に対応する第６視覚的フィードバック（例えば、Ｙｏｕ ｓａｉｄ “Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌ”、図示せず）を表示することができる。提供される第６視覚的フィードバック（図示せず）は決定された時間（例えば、５００ｍｓｅｃ）の間提供されてよい。
第３命令語を認識していない場合、制御部１４０は、第１フィードバック表示領域７４１３に第７視覚的フィードバック（例えば、もう一度話してください（ｐｌｅａｓｅ、ｓａｙ ｉｔ ａｇａｉｎ）、図示せず）を表示することができる。なお、制御部１４０は、第３命令語音声を認識するために、第６聴覚的フィードバック（例えば、もう一度話してください（ｐｌｅａｓｅ、ｓａｙ ｉｔ ａｇａｉｎ））を提供することができる。
図７４を参照すると、認識された第３命令語（例えば、選択対象であるアプリケーションの名前の一部である“Ｅｘｃｉｔｉｎｇ”を含む）に対応するアプリケーションの名前が複数である場合、制御部１４０は複数のアプリケーションの名前が表示される候補群ポップアップウィンドウ７４１４をスマートハブ７４００に表示することができる。音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを通じて番号（例えば、２（ｔｗｏ））に対応する音声が認識される場合、制御部１４０は候補群ポップアップウィンドウ７４１４で（２）ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌ４１４ｂを選択する。
図７８を参照すると、制御部１４０は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して認識された第３命令語（例えば、“Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌ”）に対応するアプリケーションであるＥｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌを実行する。制御部１４０は、実行されるＥｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌのＵＩ７８００を表示する。制御部１４０は、Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌのＵＩ７８００をスマートハブ７３００上にオーバーラップされるように表示する。なお、制御部１４０は、Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌのＵＩ７８００をスマートハブ７３００と代替して全画面のサイズで表示することができる。
Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌのＵＩ７８００に表示されるドラム７８０１ないし７８０９は、ユーザの音声認識またはリモコンを通じて演奏されてよい。なお、Ｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌは、モーションタスクモードでモーション認識（例えば、グラブ）を通じてドラム７８０１ないし７８０９が演奏されてよい。
図７９は、本発明の一実施形態に係る電子装置のＵＩ表示方法を説明するためのフローチャートである。図７９のステップＳ７９０１において、電子装置を点ける。例えば、電子装置１００に配置された電源ボタン（図示せず）が押される場合、またはリモコンに配置された電子装置１００の電源キー（図示せず）が選択（例えば、キープッシュ）される場合、または電子装置１００の音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介してユーザの音声（例えば、電源オン）が認識された場合、電子装置１００は、電子装置１００をオンにすることできる。
図７９のステップＳ７９０２において、放送を出力する。例えば、図７０に示すように、電子装置１００は放送受信部１５０から受信された放送信号に対応する映像を出力する。図７９のステップＳ７９０３において、音声開始命令を認識する。即ち、電子装置１００は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザより発話される音声開始命令を認識する。そして、電子装置１００は認識された音声開始命令に対応して電子装置１００のモードを音声認識を通じて制御可能な音声タスクモードに切り替わる。
図７９のステップＳ７９０４において、命令語セットを表示する。例えば、図７１に示すように、電子装置１００は映像が表示されるディスプレイ画面７０００に音声タスクモードに対応する命令語セット７１１０を表示する。図７９のステップＳ７９０５において、第１命令語音声を認識する。具体的に、電子装置１００は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザより発話される第１命令語音声（例えば、スマートハブ）を認識する。そして、図７２に示すように、第１命令語に認識される場合、電子装置１００は第１フィードバック表示領域７２１３に認識された第１命令語に対応する第１視覚的フィードバックを表示する。
図７９のステップＳ７９０６において、ＵＩを表示する。例えば、図７３に示すように、電子装置１００は第１命令語が認識される場合、第１命令語に対応するスマートハブ７３００を表示する。図７９のステップＳ７９０７において、第２命令語のヴォイスを認識する。具体的に、電子装置１００は、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザより発話される第２命令語音声（例えば、アプリケーションの名前であるＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋ７３７１ｃ）を認識する。なお、認識された第２命令語に対応するアプリケーションの名前が複数である場合、図７４に示すように、電子装置１００は複数のアプリケーションの名前が表示される候補群ポップアップウィンドイ７４１４をスマートハブ７３００に表示することができる。
図７９のステップＳ７９０８において、第１アプリケーションが実行される。例えば、図７５に示すように、電子装置１００は第２命令語に対応するアプリケーションのＥｘｃｉｔｉｎｇ ｅ−ｂｏｏｋを実行する。図７９のステップＳ７９０９において、音声開始モーションを認識する。具体的に、電子装置１００は、モーション入力部１２０と、モーション認識モジュール１３０ｌ及びモーションデータベース１３０ｎを用いてユーザのモーション開始命令７６００を認識する。例えば、モーション開始命令７６００は、図７６に示すように、ユーザが指を開いてモーション入力部１２０に向かって左／右に３〜４振ることである。
図７９のステップＳ７９１０において、スマートハブにモーションアイテムを表示し、音声認識を通じて制御可能なアプリケーションの短縮アイコンと音声認識を通じて制御不可なアプリケーションの短縮アイコンを同様に表示する。例えば、電子装置１００は、図７７に示すように、スマートハブ７３００にモーションタスクモードに対応するモーションガイド情報７７２０及びカーソル７７２５を表示する。
図７９のステップＳ７９０７に戻り、第２命令語が認識されていない場合、ステップＳ７９１１に進む。図７９のステップＳ７９１１において、第３命令語を認識する。制御部１４０は、音声入力部１１０、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを用いてユーザより発話される第３命令語音声を認識する。このとき、認識された第３命令語に対応するアプリケーションの名前が複数である場合、制御部１４０は、図７４に示すように、複数のアプリケーションの名前が表示される候補群ポップアップウィンドウ７４１４をスマートハブ５００に表示することができる。
図７９のステップＳ７９１２において、第３アプリケーションが実行される。例えば、電子装置１００は、図７８に示すように、音声入力部１１０と、音声認識モジュール１３０ｋ及び音声データベース１３０ｍを介して認識された第３命令語に対応するアプリケーションであるｅｘｃｉｔｉｎｇ ｄｒｕｍ ｆｅｓｔｉｖａｌを実行する。図７９のステップＳ７９１１に戻り、第３命令語音声が認識されていない場合、終了する。
制御部１４０は、放送受信部１５０を介して入力された複数の放送信号の一つの放送信号及び保存されたコンテンツの一つを、映像出力部１９０またはディスプレイ部１９３に提供することができる。ディスプレイ部１９３は、提供された一つの放送信号または保存されたコンテンツをディスプレイすることができる。このとき、保存されたコンテンツは、電子装置１００に永久的、一時的または臨時的に保存されるコンテンツをすべて含む。例えば、保存されたコンテンツは、電子装置１００の保存部１３０にユーザの削除要請があるまで、永久的に保存されることができる。なお、保存されたコンテンツは、電子装置１００の保存部１３０の一部がバッファとして動作する場合、一時的にまたは臨時的に前記保存部１３０に保存されてよい。具体的に、外部端子入力部１６０またはネットワークインターフェース部１８０から入力されるコンテンツがリアルタイムで映像出力部１９０またはディスプレイ部１９３に提供される場合、制御部１４０は、コンテンツの入力される速度と提供される速度がほぼ同一になるように、保存部１３０の一部にコンテンツを一時的にまたは臨時的に保存することができる。
制御部１４０は、モーション認識モジュール１３０ｌを用いてユーザのモーションを認識し、認識されたユーザのモーションに応答し、提供された放送信号またはコンテンツの提供状態を変更することができる。もし、制御部１４０が放送信号を提供する場合、制御部１４０は認識されたユーザのモーションに応答して放送信号の音量の大きさを調節したり、または複数の放送信号のうちのもう一つの放送信号を提供することができる。または、制御部１４０がコンテンツを提供する場合、制御部１４０は認識されたユーザのモーションに応答して提供されたコンテンツが表示される画面の少なくとも一部を変更することができる。
一例として、コンテンツ（例えば、複数のページで構成されたイメージまたは複数のページで構成された文書）が複数のページを含み、複数のページのうちの一つが画面に表示された場合、制御部１４０は複数のページのうちの一つが表示される画面を複数のページのうちのもう一つのページが表示される画面に変更してよい。特に、制御部１４０は、認識されたユーザのモーションの方向に対応し、複数のページのうちの一つが表示される画面を複数のページのうちの一つのページの上、下、左または右側に位置したページのうちの一つのページが表示される画面に変更してよい。
もう一つの例として、コンテンツ（例えば、ウェブページ）が一つのページを含む場合、制御部１４０は一つのページの一部が表示される画面を前記一つのページの他の一部が表示される画面に変更してよい。
更に別の一例として、制御部１４０は提供されるコンテンツ（例えば、イメージまたは動画）が表示される画面を前記コンテンツと異なるコンテンツが表示される画面に変更してよい。
一方、制御部１４０は、音声認識モジュール１３０ｋを用いてユーザの音声を認識し、認識されたユーザの音声に応じて複数の放送信号のうちの一つを提供することができる。例えば、音声認識モジュール１３０ｋを用いてチャネル識別子が認識された場合、制御部１４０はチャネル制御モジュール１３０ｂを用いて、前記複数の放送信号のうち、認識されたチャネル識別子を有する放送信号を提供することができる。
更に別の実施形態で、制御部１４０はモーション認識モジュール１３０ｌを用いて認識されたユーザのモーションに応答し、複数の放送信号のうちの一つを選択することができる。制御部１４０は、選択された放送信号を映像出力部１９０またはディスプレイ部１９３に提供することができる。ディスプレイ部１９３は、提供された一つの放送信号をディスプレイすることができる。次に、制御部１４０は、映像出力部１９０またはディスプレイ部１９３に提供中の放送信号の提供を中止することができる。例えば、制御部１４０は、モーション認識モジュール１３０ｌ、音声認識モジュール１３０ｋまたはリモコンを通じたユーザの入力に応答し、放送信号の提供を中止することができる。そして、制御部１４０は、電子装置１００に保存されたコンテンツを提供することができる。
制御部１４０は、保存されたコンテンツをディスプレイ部１９３に提供する場合、複数の放送信号のうちの一つを選択するユーザのモーションと同じ形態のユーザのモーションを再認識することができる。ここで、同じ形態のユーザのモーションは、実質的に同じ形態のユーザのモーションを含む。例えば、複数のユーザモーションの各々のオブジェクトの形態及び前記各々のオブジェクトの形態が動く方向が同じであり、前記各々のオブジェクトの形態が動く速度のいずれもが、予め設定された速度以上である場合、制御部１４０は、前記複数のユーザのモーションを互いに同じ形態のユーザモーションに認識することができる。一例として、一つの放送信号を選択するユーザのモーションと再認識されたユーザのモーションのいずれもがスラップモーションであり、スラップモーションのいずれもが移動する方向が同じである場合、制御部１４０は、一つの放送信号を選択するユーザのモーションと再認識されたユーザのモーションを同じ形態のユーザのモーションに認識することができる。他の一例として、一つの放送信号を選択するユーザのモーションが上方へのスラップモーションであり、提供されたコンテンツが表示される画面の少なくとも一部を変更するユーザのモーションまたは上方へのスラップモーションである場合、制御部１４０は、上記２つのモーションを同じ形態のユーザのモーションに認識することができる。
次に、制御部１４０は、再認識されたユーザのモーションに応答し、前記提供されたコンテンツが表示される画面の少なくとも一部を変更することができる。
更に別の実施形態において、制御部１４０は、第１映像データを映像出力部１９０またはディスプレイ部１９３に提供することができる。そして、第１映像データのためのオーディオデータをオーディオ出力部１９６に提供することができる。このとき、例えば、第１映像データは放送信号の映像データであり、第１映像データのためのオーディオデータは前記放送信号のオーディオデータであってよい。そして、制御部１４０は、認識されたユーザのモーションに応答し、オーディオデータの音量の大きさを調節することができる。例えば、制御部１４０は、第１映像データのためのオーディオデータの音量の大きさを調節することができる。次に、制御部１４０は、第１映像データおよび第１映像データのためのオーディオデータの提供を中止し、第２映像データを提供することができる。このとき、例えば、第２映像データは、電子装置１００に保存されたコンテンツの映像データであってよい。次に、制御部１４０は、オーディオデータの音量の大きさを調節するために認識されたユーザのモーションと実質的に同じ形態のユーザのモーションを再認識することができる。そして、制御部１４０は、再認識されたユーザのモーションに応答し、第２映像データが表示される画面の少なくとも一部を変更することができる。
更に別の実施形態で、制御部１４０は複数のソースからそれぞれ提供される映像データのうちの第１映像データ及び一つのソースから提供される複数の映像データのうちの第２映像データのうちの一つを映像出力部１９０またはディスプレイ部１９３に提供することができる。ディスプレイ部１９３は、提供された第１映像データまたは第２映像データをディスプレイすることができる。例えば、複数のソースから提供される映像データのうちの第１映像データは、複数のチャネルに受信される複数の放送信号の各々の映像データのうち、放送受信部２１０に含まれたチューナによって選択されたチャネルに受信される放送信号の映像データであってよい。なお、例えば、一つのソースから提供される複数の映像データのうちの第２映像データは、電子装置１００に保存部１３０と、外部端子入力部２００と接続された外部機器またはネットワークインターフェース部１８０と接続されたサーバから提供される複数のコンテンツの各々の映像データの一つのコンテンツの映像データであってよい。次に、制御部１４０は、モーション認識モジュール１３０ｌを介してユーザのモーションを認識することができる。そして、認識されたユーザモーションに応答し、制御部１４０が第１映像データを提供すると、前記第１映像データのソースと異なるソースから提供される映像データを提供することができる。なお、制御部１４０が第２映像データを提供すると、前記一つのソースから提供される複数の映像データのうちの第２映像データと異なる映像データを提供することができる。
更に別の実施形態で、制御部１４０は、電子装置１００の電源印加時に直ちに再生される第１映像データ及び電子装置１００の電源印加後にユーザによるモード移行後に再生される第２映像データのうちの一つを映像出力部１９０またはディスプレイ部１９３に提供することができる。ディスプレイ部１９３は、提供された第１映像データまたは第２映像データをディスプレイすることができる。このとき、電源印加時に直ちに再生される第１映像データは、例えば、電子装置１００がテレビである場合、テレビの電源を印加する場合に直ちに再生される放送信号であってよい。なお、電子装置１００の電源印加後にユーザによるモード移行後に再生される第２映像データは、例えば、電子装置１００がテレビである場合、テレビの電源を印加した後に音声入力部１１０と、モーション入力部１２０またはリモコンを通じたユーザの入力による別途のモードへの移行後に再生可能なコンテンツであってよい。次に、制御部１４０は、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションに応答し、第１映像データを提供すると、電源印加時に直ちに再生される他の映像データ（例えば、他のチャネルの放送信号の映像データ）を提供することができる。なお、制御部１４０は、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションに応答し、第２映像データを提供すると、ユーザモードへの移行後に再生する他の映像データ（例えば、保存部１３０に保存されたコンテンツの映像データ、外部端子入力部１６０またはネットワークインターフェース部１８０から受信されたコンテンツの映像データ）を提供することができる。
更に別の実施形態で、制御部１４０は複数の動画の一つの動画または複数のイメージの一つのイメージを映像出力部１９０またはディスプレイ部１９３に提供することができる。ディスプレイ部１９３に、提供された動画またはイメージをディスプレイすることができる。例えば、複数の動画のうちの一つの動画は、複数の放送信号のうちの一つの放送信号として、時間の流れに応じて変化する映像を示してよい。なお、複数のイメージのうちの一つは、複数の保存されたイメージのうちの一つであってよい。次に、制御部１４０は、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションに応答し、動画を提供すると、前記複数の動画のうち、前記提供された動画と異なる動画（例えば、他のチャネルの放送信号）を提供することができる。なお、制御部１４０は、モーション認識モジュール１３０ｌを介して認識されたユーザのモーションに応答し、イメージを提供すると、前記複数のイメージのうち、前記イメージと異なるイメージを提供することができる。
以下では、図８０ないし図９１を参照して、ユーザモーションに応答して変更される画面について説明する。
図８０及び図８１は、本発明の多様な一実施形態に係る上方へのユーザのモーションに応答して変更される画面を示す図である。
図８０において、制御部１４０は、ユーザのモーションとして上方へのスラップモーションを認識することができる。図８０の８０１０ないし８０２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は上方へのスラップモーションに応答し、画面上に放送信号の提供を中止し、中止された放送信号のチャネル番号より増加したチャネル番号を有する放送信号を提供することができる。例えば、チャネル番号が「７」である放送信号はチャネルの番号が「８」である放送信号に変更されてよい。図８０の８０３０ないし８０４０を参照すると、制御部１４０が複数のページを含むコンテンツを提供する場合、制御部１４０は上方へのスラップモーションに応答し、画面上に複数のページのうちの一つのページが表示された画面を、前記複数のページのうちの前記一つのページの下側に位置したページが表示される画面に変更することができる。例えば、図８０の８０３０に第２ページが表示された画面は、図８０の８０４０に第３ページが表示された画面に変更されてよい。
図８１において、制御部１４０はユーザのモーションとして上方へのスラップモードンを認識することができる。図８１の８１１０ないし８１２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は上方へのスラップモーションに応答し、画面上に放送信号の提供を中止し、中止された放送信号のチャネル番号より増加したチャネル番号を有する放送信号を提供することができる。図８１の８１３０ないし８１４０を参照すると、制御部１４０が一つのページを含むコンテンツを提供する場合、制御部１４０は上方へのスラップモーションに応答し、画面上に一つのページのうちの一部をを前記一つのページで、前記一部の下側に位置した他の一部に変更することができる。
図８２及び図８３は、本発明の多様な実施形態に係る下方へのユーザモーションに応答して変更される画面を示す図である。
図８２において、制御部１４０はユーザのモーションとして下方へのスラップモーションを認識することができる。図８２の８２１０ないし８２２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は下方へのスラップモーションに応答して、画面上に放送信号の提供を中止し、中止された放送信号のチャネル番号より減少したチャネル番号を有する放送信号を提供することができる。例えば、チャネル番号が「８」である放送信号はチャネルの番号が「７」である放送信号に変更されてよい。図８２の８２３０ないし８２４０を参照すると、制御部１４０が複数のページを含むコンテンツを提供する場合、制御部１４０は上方へのスラップモーションに応答し、画面上に複数のページのうちの一つのページが表示された画面を、前記複数のページのうちの前記一つのページの上側に位置したページが表示される画面に変更することができる。例えば、図８０の８２３０に第２ページが表示された画面は、図８２の８２４０に第１ページが表示された画面に変更されてよい。
図８３において、制御部１４０はユーザのモーションとして下方へのスラップモードンを認識することができる。図８３の８３１０ないし８３２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は下方へのスラップモーションに応答し、画面上に放送信号の提供を中止し、中止された放送信号のチャネル番号より増加したチャネル番号を有する放送信号を提供することができる。図８３の８３３０ないし８３４０を参照すると、制御部１４０が一つのページを含むコンテンツを提供する場合、制御部１４０は下方へのスラップモーションに応答し、画面上に一つのページのうちの一部をを前記一つのページで、前記一部の上側に位置した他の一部に変更することができる。
図８４ないし図８７は、本発明の多様な実施形態に係る左方へのユーザモーションに応答して変更される画面を示す図である。
図８４において、制御部１４０はユーザのモーションとして左方へのスラップモーションを認識することができる。図８４の８４１０ないし８４２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は左方へのスラップモーションに応答して、提供中の放送信号の音量の大きさを減少させることができる。例えば、放送信号の音量の大きさは「１４」から「１３」に減少してよい。図８４の８４３０ないし８４４０を参照すると、制御部１４０が複数のページを含むコンテンツを提供する場合、制御部１４０は左方へのスラップモーションに応答し、複数のページのうちの一つのページが表示される画面を前記複数のページのうちの前記一つのページの右側に位置したページが表示される画面に変更してよい。例えば、図８４の８４３０に第２ページが表示された画面は、図８４の８４４０に第３ページが表示された画面に変更されてよい。
図８５において、制御部１４０はユーザのモーションとして左方へのスラップモーションを認識することができる。図８５の８５１０ないし８５２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は左方へのスラップモーションに応答し、提供中の放送信号の音量の大きさを減らすことができる。図８５の８５３０ないし８５４０を参照すると、制御部１４０が一つのページを含むコンテンツを提供する場合、制御部１４０は左方へのスラップモーションに応答し、一つのページの一部が表示される画面を前記一部の右側に位置した他の一部が表示される画面に変更してよい。
図８６において、制御部１４０はユーザのモーションとして左方へのスラップモーションを認識することができる。図８６の８６１０ないし８６２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は左方へのスラップモーションに応答して、提供中の放送信号の音量の大きさを減少させることができる。図８６の８６３０ないし８６４０を参照すると、制御部１４０は左方へのスラップモーションに応答し、第２コンテンツが表示される画面を前記第２コンテンツの次の順のコンテンツである第３コンテンツが表示される画面に変更してよい。
図８７において、制御部１４０はユーザのモーションとして左方へのスラップモーションを認識することができる。図８７の８７１０ないし８７２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は左方へのスラップモーションに応答し、提供中の放送信号の音量の大きさを減らすことができる。図８７の８７３０ないし８７４０を参照すると、制御部１４０が画面上に第１領域８７３１及び第２領域８７３５の各々に少なくとも一つ以上のコンテンツを提供する場合、制御部１４０は、左方へのスラップモーションに応答し、第２領域８７３５上にコンテンツ８７５１を除去し、第２領域８７３５上に前記除去されたコンテンツ８７５１と異なるコンテンツ８７５２を表示することができる。
図８８において、制御部１４０は、ユーザのモーションとして右方へのスラップモーションを認識することができる。図８８の８８１０ないし８８２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は右方へのスラップモーションに応答して、提供中の放送信号の音量の大きさを増加させることができる。例えば、放送信号の音量の大きさは、「１４」から「１５」に増加することができる。図８８の８８３０ないし８８４０を参照すると、制御部１４０が複数のページを含むコンテンツを提供する場合、制御部１４０は右方へのスラップモーションに応答し、複数のページのうちの一つのページが表示される画面を前記複数のページのうちの前記一つのページの左側に位置したページが表示される画面に変更することができる。例えば、図８８の８８３０に第２ページが表示された画面は、図８８の８８４０に第１ページ画面に変更されてよい。
図８９において、制御部１４０はユーザのモーションとして右方へのスラップモーションを認識することができる。図８９の８９１０ないし８９２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は右方へのスラップモーションに応答し、提供中の放送信号の音量の大きさを増加させることができる。図８９の８９３０ないし８９４０を参照すると、制御部１４０が一つのページを含むコンテンツを提供する場合、制御部１４０は右方へのスラップモーションに応答し、一つのページの一部が表示される画面を前記一部の左側に位置した他の一部が表示される画面に変更することができる。
図９０において、制御部１４０はユーザのモーションとして右方へのスラップモーションを認識することができる。図９０の９０１０ないし９０２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は右方へのスラップモーションに応答し、提供中の放送信号の音量の大きさを増加させることができる。図９０の９０３０ないし９０４０を参照すると、制御部１４０が第２コンテンツを提供する場合、制御部１４０は右方へのスラップモーションに応答し、第２コンテンツが表示される画面を前記第２コンテンツの前の順のコンテンツである第３コンテンツが表示される画面に変更してよい。
図９１において、制御部１４０はユーザのモーションとして右方へのスラップモーションを認識することができる。図９１の９１１０ないし９１２０を参照すると、制御部１４０が放送信号を提供する場合、制御部１４０は右方へのスラップモーションに応答し、提供中の放送信号の音量の大きさを増加させることができる。図９１の９１３０ないし９１４０を参照すると、制御部１４０が画面上に第１領域９１３１及び第２領域９１３５の各々に少なくとも一つ以上のコンテンツを提供する場合、制御部１４０は、右方へのスラップモーションに応答し、第２領域９１３５上にコンテンツ９１５１を除去し、第２領域９１３５上に前記除去されたコンテンツと異なるコンテンツ９１５２を表示することができる。
図９２及び図９３は、本発明の多様な実施形態に係るユーザのモーションに応答して画面が変更される電子装置の制御方法を説明するためのフローチャートである。
図９２において、電子装置１００は認識されたユーザのモーションに応答し、複数の放送信号のうちの一つを選択する（Ｓ９２１２）。このとき、認識されたユーザのモーションは、モーション入力部１２０を介して入力されてモーション認識モジュール１３０ｌによって認識されてよい。電子装置１００は、選択された放送信号を提供する（Ｓ９２１４）。このとき、放送信号は、映像出力部１９０またはディスプレイ部１９３に提供されてよい。再び、電子装置１００は選択された放送信号の提供を中止し、保存されたコンテンツを提供する（Ｓ９２１６）。このとき、保存されたコンテンツは、保存部１３０に保存されたり、外部端子入力部１６０またはネットワークインターフェース部１８０から受信されてよい。電子装置１００は、認識されたユーザのモーションと実質的に同じ形態のユーザのモーションを再認識することができる（Ｓ９２１８）。このとき、再認識されたユーザのモーションは、モーション入力部１２０を介して入力されてモーション認識モジュール１３０ｌによって認識されてよい。電子装置１００は、再認識されたユーザのモーションに応答し、提供されたコンテンツが表示される画面の少なくとも一部を変更することができる（Ｓ９２２０）。
図９３において、電子装置１００は複数の放送信号のうちの一つ及び保存されたコンテンツのうちの一つを提供する（Ｓ９３１２）。再び、電子装置１００は、モーション認識モジュール１３０ｌを介してユーザのモーションを認識する（Ｓ９３１４）。電子装置１００は、ユーザのモーションに応答し、電子装置１００が提供する信号が放送信号か、またはコンテンツかを判断することができる（Ｓ９３１６）。放送信号が提供される場合、電子装置１００は放送信号の音量の大きさを調節したり、複数の放送信号のうちのもう一つの放送信号を提供する（Ｓ９３１８）。または、コンテンツが提供される場合、電子装置１００は提供されたコンテンツが表示される画面の少なくとも一部を変更する（Ｓ９３２０）。
上述のように、電子装置１００を介して、ユーザはユーザのモーションを通じて電子装置をより効率的かつ直観的に制御できるようになる。
制御部１４０は、リモコン信号受信部１７０に受信されるリモコン信号、音声入力部１１０に入力されるユーザ音声およびモーション入力部１２０に入力されるユーザモーションに応じて電子装置を制御する。ここで、リモコンは一般的なリモコンであってよいが、それに限定されるものではなく、タッチパッドを備えるリモコンであってよい。
具体的に、制御部１４０は、リモコン信号受信部１７０に受信されたリモコン信号に応じて電子装置１００が制御されるリモコンモードで、音声入力部１１０を介して入力された音声開始命令が認識される場合、音声入力部１１０によって入力されたユーザ音声によって制御される音声タスクを行うための音声タスクモードに切り替える。
音声タスクモードに切り替わった場合、制御部１４０は、電子装置１００のモードが音声タスクモードであることを表示するアイコン及び音声タスクをガイドする音声アイテムが含まれた音声ガイド情報をディスプレイするようにディスプレイ部１９３を制御することができる。
音声タスクモードで、リモコンモードに切り替えるためにリモコンに備えられたボタンのうちの第１ボタンが選択されると、リモコン信号受信部１７０は、第１ボタンに対応する第１リモコン信号を受信する。そして、制御部１４０は、電子装置１００のモードを第１リモコン信号に応答し、電子装置１００がリモコンによって制御されるリモコンモードに切り替える。このとき、第１ボタンは、リモコンモードに切り替わるためのリモコンモード切替ボタンであってよい。しかし、それは一実施形態に過ぎず、第１ボタンは前記リモコンに備えられたボタンのうちの任意のボタンであってよい。第１ボタンが任意のボタンである場合、第１ボタンに対応する第１リモコン信号が受信されると、制御部１４０はリモコンモードに切り替えた後、第１ボタンに対応するタスクを行ってよい。例えば、第１ボタンが消音ボタンである場合、制御部１４０は、電子装置１００のモードを音声タスクモードからリモコンモードに切り替え、消音を行ってよい。
音声タスクモードで、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は、モーション認識モジュール１３０ｌを用いて、モーション開始命令を認識する。そして、モーション開始命令が認識される場合、制御部１４０は、電子装置１００のモードをモーション入力部１２０によって入力されたユーザモーションによって制御されるモーションタスクモードに切り替えてよい。
なお、制御部１４０は、リモコン信号受信部１７０に受信されたリモコン信号によって電子装置１００が制御されるリモコンモードで、モーション入力部１２０を介して入力されたモーション開始命令が認識される場合、モーション入力部１２０によって入力されたユーザモーションによって制御されるモーションタスクを行うためのモーションタスクモードに切り替える。
モーションタスクモードに切り替わった場合、制御部１４０は、電子装置１００のモードがモーションタスクモードであることを表示するアイコン及びモーションタスクをガイドするモーションアイテムが含まれた音声ガイド情報をディスプレイするようにディスプレイ部１９３を制御することができる。
モーションタスクモードで、リモコンモードに切り替えるためにリモコンに備えられたボタンのうちの第１ボタンが選択されると、リモコン信号受信部１７０は第１ボタンに対応する第１リモコン信号を受信する。そして、制御部１４０は、第１リモコン信号に応答し、電子装置１００のモードを電子装置１００がリモコンによって制御されるリモコンモードに切り替える。このとき、第１ボタンは、リモコンモードに切り替わるためのリモコンモード切替ボタンであってよい。しかし、それは一実施形態に過ぎず、第１ボタンは、前記リモコンに備えられたボタンのうちの任意のボタンであってよい。第１ボタンが任意のボタンである場合、第１ボタンに対応する第１リモコン信号が受信されると、制御部１４０はリモコンモードに切り替えた後、第１ボタンに対応するタスクを行ってよい。例えば、第１ボタンが消音ボタンである場合、制御部１４０は、電子装置１００のモードを音声タスクモードからリモコンモードに切り替え、消音を行ってよい。
モーションタスクモードで、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、音声認識モジュール１３０ｋを用いて、音声開始命令を認識する。そして、音声開始命令が認識される場合、制御部１４０は、電子装置１００のモードを音声入力部１１０によって入力されたユーザ音声によって制御される音声タスクモードに切り替えてよい。
以下では、図９４ないし９７を参照して、リモコンモード、モーションタスクモード及び音声タスクモードに切り替える実施形態を説明する。
具体的に、制御部１４０は、電子装置１００に電源が入った後、一般的にリモコン信号によって制御されるリモコンモードで動作する。リモコンモードは、図９４に示すように、別途のＵＩがディスプレイされない。しかし、それは一実施形態に過ぎず、制御部１４０はリモコンモードである際、リモコンモードであることを示すＵＩをディスプレイすることができる。
リモコンモードで、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は音声開始命令を認識し、電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替える。このとき、制御部１４０は、音声タスクモードに切り替えつつ、図９５に示すような音声ガイド情報をディスプレイすることができる。
音声タスクモードで、リモコンに備えられた第１ボタンが選択されると、制御部１１０はリモコン信号受信部１７０を介して第１ボタンに対応する第１リモコン信号を受信し、図９４に示すように、電子装置１００のモードをリモコンモードに再び切り替える。このとき、リモコンに備えられた第１ボタンはリモコンモード切替ボタンであってよいが、それは一実施形態に過ぎず、リモコンに備えられた任意のボタンであってよい。
なお、音声タスクモードで、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０はモーション開始命令を認識して電子装置１００のモードをモーション入力部１２０を介して入力されるユーザモーションによって制御されるモーションタスクモードに切り替える。このとき、制御部１４０は、モーションタスクモードに切り替えつつ、図９６に示すようなモーションガイド情報３３１０をディスプレイすることができる。
リモコンモードで、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０はモーション開始命令を認識して電子装置１００のモードをモーション入力部１２０を介して入力されるユーザモーションによって制御されるモーションタスクモードに切り替える。このとき、制御部１４０は、モーションタスクモードに切り替えつつ、図９６に示すようなモーションガイド情報３３１０をディスプレイすることができる。
モーションタスクモードで、リモコンに備えられた第１ボタンが選択されると、制御部１１０は、リモコン信号受信部１７０を介して第１ボタンに対応する第１リモコン信号を受信し、図９４に示すように、電子装置１００のモードをリモコンモードに再び切り替える。このとき、リモコンに備えられた第１ボタンはリモコンモード切替ボタンであってよいが、それは一実施形態に過ぎず、リモコンに備えられた任意のボタンであってよい。
モーションタスクモードで、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は音声開始命令を認識し、電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替える。このとき、制御部１４０は、音声タスクモードに切り替えつつ、図９５に示すような音声ガイド情報をディスプレイすることができる。
上述のように、電子装置１００は、リモコン信号、音声開始命令及びモーション開始命令を用いて、リモコンモード、音声タスクモード及びモーションタスクモードにそれぞれ切り替わってよい。
図９７は、本発明の一実施形態に係るリモコンモード、モーションタスクモード及び音声タスクモードに切り替える方法を説明するためのフローチャートである。まず、電子装置１００は電源が入った後、リモコンによって制御されるリモコンモードに移行する（Ｓ９７１０）。
電子装置は、音声開始命令またはモーション開始命令がない場合は、依然としてリモコン制御モード（Ｓ９７１０）を維持する。電子装置１００は、音声開始命令が入力されているか否かを判断する（Ｓ９７２０）。リモコンモードで音声開始命令が入力されると（Ｓ９７２０−Ｙ）、電子装置１００は、電子装置１００のモードを音声入力部１１０を介して入力されるユーザの音声によって制御される音声タスクモードに切り替える（Ｓ９７３０）。このとき、音声タスクモードに移行すると、電子装置１００は、図９５に示すような音声ガイド情報をディスプレイすることができる。
電子装置１００は、モーション開始命令が入力されているか否かを判断する（Ｓ９７４０）。音声タスクモードでモーション開始命令が入力されると（Ｓ９７４０−Ｙ）、電子装置１００は、電子装置１００のモードをモーション入力部１２０を介して入力されるユーザのモーションに応じて制御されるモーションタスクモードに切り替える（Ｓ９７５０）。
電子装置１００が、モーションタスクモードまたは音声タスクモードのいずれか一つである場合、制御部１４０は、リモコン制御モードに復帰するか否かを判断する（Ｓ９７６０）。上述のように、リモコン制御モードに復帰する命令が入力されたり、モード取消し命令が認識されると、制御部１４０はリモコン制御モードに復帰することができる。なお、電子装置１００が音声タスクモードである場合、制御部１４０は、予め設定された時間（例えば、５分）の間、何の音声も認識していない場合、自動的にリモコン制御モードに復帰することができる。同様に、電子装置１００がモーションタスクモードである場合、制御部１４０は予め設定された時間（例えば、５分）の間、何のモーションも認識していない場合、自動的にリモコン制御モードに復帰することができる。
図９７に示すように、電子装置１００がリモコンモード（Ｓ９７１０）、音声タスクモード（Ｓ９７３０）及びモーションタスクモード（Ｓ９７５０）で動作することができる。３つのモードで、制御部１４０は、音声タスクモードにスイッチするか（Ｓ９７２０−Ｙ）、モーションタスクモードにスイッチするか（Ｓ９７４０−Ｙ）、リモコン制御モードにスイッチするか（Ｓ９７６０−Ｙ）または現在のモードを維持するか（Ｓ９７２０−Ｎ、Ｓ９７４０−Ｎ、Ｓ９７６０−Ｎ）を判断することができる。一方、図９７における図示の他にも、リモコンモード、音声タスクモード、モーションタスクモードから他のタスクモードに変更される実施形態に、本発明の技術的思想が適用されてよい。
上述のように、電子装置１００が、リモコンモード、音声タスクモード及びモーションタスクモードに切り替えることにより、ユーザは自分が望むモードに応じて、電子装置１００を制御できるようになる。
制御部１４０は、外部の携帯機器を用いた音声認識を通じて電子装置１００を制御することができる。具体的に、制御部１４０は、外部の携帯機器に備えられたマイクを通じてユーザ音声が入力されると、音声入力部１１０を介してユーザ音声が入力され、入力されたユーザ音声を認識し、認識されたユーザ音声に応じて電子装置１００の音声タスクを行うことができる。このとき、携帯機器は、リモコンや携帯電話、ＰＤＡ及びノートパソコンのいずれか一つであってよいが、それに限定されるものではない。なお、このとき、音声入力部１１０は、外部の携帯機器からユーザ音声信号を受信するための通信部であってよい。
なお、外部の携帯機器で音声認識のためのアプリケーションが実行され、ユーザ音声が入力される。そして、携帯機器がユーザの音声を認識してユーザ音声に対応する制御信号を生成した後、制御信号を電子装置１００に伝送すると、制御部１４０は、携帯機器から入力された制御信号によって電子装置１００の音声タスクを行うことができる。
なお、制御部１４０は、携帯機器で音声認識のためのアプリケーションが実行され、携帯機器に備えられたマイクから入力されたユーザの音声が入力されると、携帯機器から入力されたユーザの音声を認識し、ユーザの音声に応じて電子装置１００の音声タスクを行うことができる。
このとき、携帯機器で音声認識のためのアプリケーションが実行された後、携帯機器に含まれた第１ボタンが選択されると、制御部１４０は、通信部（図示せず）を介して第１ボタンに対応する第１信号を受信し、第１信号に応答して電子装置１００のモードを音声タスクモードに切り替える。このとき、携帯機器に含まれた第１ボタンが選択されて切り替わる音声タスクモードは、携帯機器に含まれたマイクから入力されたユーザの音声に応じて音声タスクが行われるモードである。そして、携帯機器に含まれた第１ボタンが選択されて切り替わる音声タスクモードは、携帯機器の第１ボタン及び第２ボタンのいずれか一つが選択されると、解除されてよい。このとき、第１ボタン及び第２ボタンは、携帯機器に備えられた物理的なボタンであってよいが、それは一実施形態に過ぎず、音声認識のためのアプリケーションが実行された後、携帯機器にディスプレイされたＵＩであってよい。
なお、制御部１４０は、音声タスクモードで携帯機器に備えられた第２ボタンが選択される間、携帯機器からユーザの音声が入力されてよい。このとき、携帯機器に備えられた第２ボタンが選択される間、制御部１４０はユーザ音声が入力可能であることを示すＵＩを携帯機器にディスプレイすることができる。従って、ユーザは携帯機器にディスプレイされたＵＩを通じて音声入力が可能であることを認識できるようになる。
携帯機器でユーザ音声が認識される場合、制御部１４０は、電子装置１００に備えられたマイクを通じてユーザ音声が入力されない。
一方、携帯機器に備えられたマイクは、携帯機器が電話による通話のために用いられるマイクであってよい。即ち、携帯機器が一般的の電話通話機能をする場合、マイクはユーザから電話通話のための音声が入力され、一方、携帯機器が音声認識のためのアプリケーションを実行する場合、ユーザから電子装置１００を制御するための音声が入力されてよい。
図９８は、本発明の一実施形態に係る外部の携帯機器を用いてユーザの音声を認識する方法を説明するためのフローチャートである。まず、携帯機器は、音声入力のためのアプリケーションを実行する（Ｓ９８１０）。このとき、携帯機器は携帯電話であってよい。
携帯機器で音声入力のためのアプリケーションが実行された後、携帯機器は携帯機器に備えられたマイクを通じてユーザ音声が入力される（Ｓ９８２０）。このとき、携帯機器に備えられたマイクは、電話通話機能を行うためのマイクであってよい。
そして、電子装置１００は、外部の携帯機器に入力されたユーザ音声を携帯機器から受信する（Ｓ９８３０）。携帯機器からユーザ音声が受信されると、電子装置１００は音声認識モジュール１０３ｋを用いてユーザ音声を認識する（Ｓ９８４０）。そして、電子装置１００は、音声データベースを用いて、認識されたユーザ音声に応じて音声タスクを行う（Ｓ９８５０）。
一方、上述の実施形態では、携帯機器がユーザ音声が入力され、ユーザ音声を電子装置１００に伝送するものとして説明したが、それは一実施形態に過ぎず、携帯機器がユーザ音声を直接認識し、ユーザ音声に対応する制御信号を生成した後、制御信号を電子装置１００に伝送することができる。
上述のように、携帯電話と携帯機器を用いて電子装置１００の音声タスクを行うことにより、ユーザはより容易に音声認識を用いて電子装置１００を制御できるようになる。
本発明の一実施形態によると、モーションタスクモードは、ポインターが必要なタスクであるか否かに応じてモーションモード及びポインティングモードのいずれか一つであってよい。具体的に、モーションモードは、予め設定されたモーション（例えば、左右上下へのスラップ、グラブ及び反時計回りへの回転）によって電子装置１００の設定が変更されるタスクを制御するモードである。例えば、電子装置１００が放送受信機能を行う際、モーション開始命令が入力されると、制御部１４０は電子装置１００のモードをモーションモードに切り替えてよい。従って、電子装置１００は予め設定されたモーションにマッチするユーザのモーションに応答して音量調節、チャネル変更のようなタスクを行ってよい。
ポインティングモードは、タスクを行うためのポインターを用いるモードである。例えば、電子装置１００が選択可能な複数のアイテムが含まれたリスト（例えば、コンテンツリスト、チャネルリスト、ＥＰＧ及びウェブページ等）のいずれか一つをディスプレイする際、モーション開始命令が入力されると、制御部１４０は電子装置１００のモードをポインティングモードに切り替えてよい。ポインティングモードに移行すると、制御部１４０はディスプレイ画面の中央にポインターをディスプレイする。このとき、ポインターはモーションガイド情報によってディスプレイ画面の中央の上側にディスプレイされてよい。
以下では、ポインティングモードについてより詳細に説明する。
電子装置１００がアプリケーションを実行するための複数の短縮アイコンが含まれたコンテンツリスト（例えば、スマートハブ）及びウェブページのいずれか一つがディスプレイする間、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は、電子装置１００のモードをポインティングモードに切り替え、ディスプレイされた画面の中央にポインターをディスプレイすることができる。
このとき、ポインティングモードに移行されると、電子装置１００はディスプレイ画面の下段にモーションタスクを行うためのモーションガイド情報をディスプレイすることができる。このとき、ディスプレイされるモーションガイド情報は、モーションモードのモーションガイド情報とは相違していてよい。
一方、電子装置１００がコンテンツリストをディスプレイする場合、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は電子装置１００のモードをポインティングモードに切り替える。ポインティングモードでモーション入力部１２０に入力されるユーザのモーションに応じてポインターがコンテンツリストの第１短縮アイコンに位置すると、制御部１４０は第１短縮アイコンを他の短縮アイコンと区別できるように表示する。そして、ポインティングモードでコンテンツリスト画面の終了命令が入力されると、制御部１４０はコンテンツリストだけでなく、ポインターをディスプレイ画面から除去してよい。
一方、電子装置１００がウェブページをディスプレイする場合、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は電子装置１００のモードをポインティングモードに切り替える。このとき、ウェブページは、複数のハイパーリンクを含んでよい。ポインティングモードでモーション入力部１２０に入力されるユーザモーションに応じてポインターがウェブページの第１ハイパーリンクに位置すると、制御部１４０は第１ハイパーリンクを他のハイパーリンクと区別できるように表示する。そして、ポインターが第１ハイパーリンクに位置し、モーション入力部１２０を介してユーザの第１モーション（例えば、グラブモーション）が入力されると、制御部１４０は第１ハイパーリンクを実行する。
以下では、図９９ないし図１０３を参照して、ポインティングモードに対する実施形態について、より詳細に説明する。
図９９に示すように、アプリケーションを実行するための短縮アイコンが含まれたコンテンツリストがディスプレイされ、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は、図１００に示すように、モーションガイド情報及びポインター１００１０をディスプレイすることができる。このとき、ポインター１００１０は、ディスプレイ画面の中央にディスプレイされてよい。
そして、モーション入力部１２０を介してポインター１００１０が“ＡＰＰ２”短縮アイコンに位置するように下方へ移動するモーションが入力されると、制御部１４０は、ポインター１００１０を“ＡＰＰ２”短縮アイコンに位置させる。このとき、ポインター１００１０が“ＡＰＰ２”短縮アイコンに位置すると、制御部１４０は、図１０１に示すように、“ＡＰＰ２”の短縮アイコン及び短縮アイコンの名前を他のアイコンより濃くハイライトさせて表示する。
ポインター１００１０が“ＡＰＰ２”短縮アイコンに位置し、モーション入力部１２０を介してユーザの第１モーション（例えば、グラブモーション）が入力されると、制御部１２０は、図１０２に示すように、“ＡＰＰ２”短縮アイコンを実行する。
そして、図１０１に示すように、コンテンツリストがディスプレイされ、ユーザからコンテンツリスト解除命令（例えば、反時計回りへの回転モーションまたはリモコンボタン）が入力されると、制御部１４０は、図１０３に示すように、ディスプレイ画面にコンテンツリスト及びポインターを除去し、放送受信画面をディスプレイする。
一方、上述の実施形態においては、コンテンツリストがディスプレイされる場合について説明したが、それに限定されるものではなく、複数のハイパーリンクを含むウェブページがディスプレイされた場合も、本願発明の技術的思想が適用されてよい。
図１０４は、本発明の一実施形態に係るポインティングモードを提供する方法を説明するためのフローチャートである。まず、電子装置１００は、コンテンツリスト及びウェーブページのいずれか一つをディスプレイする（Ｓ１０４１０）。このとき、コンテンツリストはアプリケーションを実行するための複数の短縮アイコンを含み、ウェブページは複数のハイパーリンクを含んでよい。そして、電子装置１００は、モーション開始命令が入力されているか否かを判断する（Ｓ１０４２０）。
モーション開始命令が入力されると（Ｓ１０４２０−Ｙ）、電子装置１００は電子装置１００のモードをポインティングモードに切り替える（Ｓ１０４３０）。このとき、ポインティングモードとは、ポインターが必要なタスク（例えば、アプリケーション実行、ウェブページ検索等）を行うためのモードである。
ポインティングモードに切り替わると、電子装置１００はディスプレイ画面にポインターをディスプレイする（Ｓ１０４４０）。このとき、ポインターはディスプレイ画面の中央にディスプレイされてよい。
上述のように、電子装置１００が、ポインターの必要なタスクを行うために、ポインティングモードに切り替わることにより、ユーザはより容易に電子装置１００を制御できるようになる。
制御部１４０は、ポインティングモードでモーション入力部１２０を介して第１モーションが入力されると、第１モーションに対応する方向へポインターを移動させ、モーション入力部１２０を介して第２モーションが入力されると、第２モーションに対応するモーションタスクを行う。
このとき、ポインターがコンテンツリストの第１短縮アイコンに位置するか、ウェブページの第１ハイパーリンクに位置している状態で、第２モーションが入力されると、制御部１４０はポインターが位置する第１短縮アイコン及び第１ハイパーリンクのハイライト表示まで除去することができる。このとき、第２モーションは、電子装置のモーションモードを行うための予め設定されたモーションであり、上下左右方向へのスラップモーション、グラブモーション及び反時計回りへの回転モーションのいずれか一つであってよい。
例えば、第２モーションが上下左右方向へのスラップモーションである場合、制御部１４０はディスプレイ画面を入力された上下左右方向へのスラップモーションに対応して移動させることができる。このとき、画面が移動された後、制御部１４０はポインターを画面移動前の地点に再びディスプレイすることができる。
更に別の例として、第２モーションがグラブモーションである場合、制御部１４０はポインターが位置する第１短縮アイコンを実行することができる。このとき、第１短縮アイコン実行後、制御部１４０はポインターを画面移動前の地点に再びディスプレイすることができる。
更に別の例として、第２モーションが反時計回りへの回転モーションである場合、制御部１４０は現在選局されているチャネルの放送番組をディスプレイ画面にディスプレイすることができる。即ち、制御部１４０は、コンテンツリストまたはウェブページをディスプレイ画面から除去し、放送受信機能を提供することができる。このとき、放送受信機能は、ポインターが必要ないため、ポインターがディスプレイされない。
一方、上述の実施形態においては、ポインターがディスプレイされないものとして説明したが、それは一実施形態に過ぎず、ポインターがディスプレイされる地点に保持されてディスプレイされてよい。
以下では、図１０５ないし図１０７を参照して、ポインティングモードで予め設定されたモーションが入力された場合の実施形態について、より詳細に説明する。
まず、図１００において上述したように、電子装置１００のモードがポインティングモードに切り替わると、制御部１４０は、図１０５に示すように、ディスプレイ画面の中央にポインター１０５１０をディスプレイする。
ディスプレイ画面にポインターがディスプレイされた状態で、モーション入力部１２０を介して右方へのスラップモーションが入力されると、制御部１４０は、図１０６に示すように、ディスプレイ画面でポインター１０５１０を除去し、アプリケーション表示領域１５２０の画面を他のアプリケーション表示領域の画面１０５３０に切り替える。そして、アプリケーション表示領域１０５２０が移動された後、制御部１４０は図１０７に示すように、再びポインター１０５１０をディスプレイする。
図１０８は、本発明の一実施形態に係るポインティングモードで予め設定されたモーションが入力された場合、電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、コンテンツリスト及びウェブページのいずれか一つをディスプレイする（Ｓ１０８１０）。このとき、コンテンツリストはアプリケーションを実行するための複数のアイコンを含み、ウェブページは複数のハイパーリンクを含んでよい。そして、電子装置１００は、モーション開始命令が入力されているか否かを判断する（Ｓ１０８２０）。
モーション開始命令が入力されると（Ｓ１０８２０−Ｙ）、電子装置１００は電子装置１００のモードをポインティングモードに切り替える（Ｓ１０８３０）。このとき、ポインティングモードとは、ポインターが必要なタスク（例えば、アプリケーション実行、ウェブページ検索等）を行うためのモードである。
ポインティングモードに切り替わると、電子装置１００はディスプレイ画面にポインターをディスプレイする（Ｓ１０８４０）。このとき、ポインターはディスプレイ画面の中央にディスプレイされてよい。
そして、ポインターがディスプレイされた状態でモーション入力部１２０を介して予め設定されたモーションが入力された場合（Ｓ１０８５０−Ｙ）、電子装置１００はポインターを除去し、予め設定されたモーションに対応するモーションタスクを行う（Ｓ１０８６０）。このとき、予め設定されたモーションは、モーションモードで予め設定されたモーションとして、上下左右へのスラップモーション、グラブモーション及び反時計回りへの回転モーションであってよい。
上述のように、電子装置１００を除去することにより、ユーザはポインティングモードにおいても、予め設定されたモーションによるタスクを行うことができるようになる。
制御部１４０は、電子装置１００のモードに応じて、選択されたアイテムを相違に表示することができる。具体的に、制御部１４０は、選択可能な複数のアイテムをディスプレイするようにディスプレイ部１９３を制御する。このとき、選択可能なアイテムは、コンテンツリストの短縮アイコンまたはウェブページのハイパーリンクであってよい。
そして、音声入力部１１０及びモーション入力部１２０のいずれか一つを介してユーザの音声及びユーザのモーションのいずれか一つが入力されると、制御部１４０は、ユーザの入力によって複数のアイテムのうちの第１アイテムを選択する。そして、制御部１４０は、選択された第１アイテムを他のアイテムと区別できるようにディスプレイすることができる。例えば、制御部１４０は、選択された第１アイテムを他のアイテムより濃くハイライトさせて表示することができる。
第１アイテムが他のアイテムと区別できるようにディスプレイされる際、第１アイテムの名前が予め設定された文字数を超過し、電子装置１００のモードがモーションタスクモードである場合、制御部１４０は、第１アイテムの名前のフルネームをディスプレイすることができる、例えば、図１０９に示すように、選択された“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”の短縮アイコンの名前を全部ディスプレイする。なお、制御部１４０は、第１アイテムの名前をスクロール方式でフルネームをディスプレイすることができる。一方、上述の実施形態では、モーションタスクモードである場合、アイテムのフルネームがディスプレイされるものとして説明したが、それは一実施形態に過ぎず、リモコンモードにおいてもアイテムのフルネームがディスプレイされてよい。
しかし、制御部１４０は選択された第１アイテムの名前が予め設定された文字数を超過し、電子装置１００のモードが音声タスクモードである場合、第１アイテムの名前の一部のみをディスプレイすることができる。このとき、第１アイテムの名前の一部は固定される。例えば、図１１０に示すように、選択された“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”の短縮アイコンの名前の一部のみがディスプレイされる。
そして、音声タスクモードで、第１アイテムの名前の一部のみがディスプレイされた場合、音声入力部１１０を介して入力されたユーザの音声がディスプレイされた名前の一部と一致していると、制御部１４０は第１アイテムを実行することができる。
そして、ディスプレイされた第１アイテムの名前の一部に分かち書きがない場合、音声入力部１１０を介してディスプレイされた第１アイテムの名前を構成する複数の綴りに対応するユーザ音声が入力されると、制御部１４０は第１アイテムを実行することができる。例えば、ディスプレイされた第１アイテムの名前が“ｍａｎ”である場合、“ｍ”、“ａ”、“ｎ”が順番に入力されると、制御部１４０は第１アイテムを実行することができる。
なお、電子装置１００が音声タスクモードである場合、ディスプレイされたアイテムの名前と音声入力部１１０を介して入力されたユーザの音声と一致しているアイテムが複数である場合、制御部１４０は、複数のアイテムを含む候補群リストをディスプレイすることができる。候補群リストがディスプレイされる場合、制御部１４０は、ユーザがアイテムを確実に区分するためにアイテムのフルネームをディスプレイすることができる。
図１１１は、本発明の一実施形態に係るモード毎に異なるようにアイテムをディスプレイする電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は選択可能な複数のアイテムをディスプレイする（Ｓ１１１１０）。このとき、複数のアイテムはコンテンツリストに含まれたアプリケーションを実行するための短縮アイコンまたはウェブページに含まれたハイパーリンクであってよい。
電子装置１００は、音声入力部１１０及びモーション入力部１２０のいずれか一つを介してユーザ音声及びユーザモーションのいずれか一つが入力される（Ｓ１１１２０）。
電子装置１００は、ユーザ入力に応じて、第１アイテムを選択する（Ｓ１１１３０）。例えば、音声タスクモードである場合、電子装置１００は音声入力部１１０を介して入力されたユーザ音声に応じて第１アイテムを選択することができ、モーションタスクモードである場合、電子装置１００はモーション入力部１２０を介して入力されたユーザモーションに応じて第１アイテムを選択することができ、リモコンモードである場合、電子装置１００はリモコン信号受信部１７０を介して入力されたリモコン信号に応じて第１アイテムを選択することができる。
第１アイテムが選択されると、電子装置１００は選択された第１アイテムを他のアイテムと区別できるようにディスプレイする（Ｓ１１１４０）。例えば、電子装置１００は選択された第１アイテムを他のアイテムより濃くハイライトしてディスプレイすることができる。
第１アイテムが他のアイテムと区別してディスプレイされる際、第１アイテムの名前が予め設定された文字数を超過し、電子装置１００のモードがモーションタスクモード（またはリモコンモード）である場合、電子装置１００は、第１アイテムの名前のフルネームをディスプレイすることができる。例えば、図１０９に示すように、選択された“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”の短縮アイコンの名前を全てディスプレイする。なお、電子装置１００は第１アイテムの名前をスクロール方式でフルネームをディスプレイすることができる。
しかし、選択された第１アイテムの名前が予め設定された文字数を超過し、電子装置１００のモードが音声タスクモードである場合、電子装置１００は第１アイテムの名前の一部のみをディスプレイすることができる。このとき、第１アイテムの名前の一部は固定される。例えば、図１１０に示すように、選択された“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”の短縮アイコンの名前の一部（“Ｅｘｃｉｔｉｎｇ”）のみがディスプレイされる。
上述のように、音声タスクモードでのみアイテムの名前の一部がディスプレイされると、ユーザは名前の一部のみを発話することにより、第１アイテムを実行できるようになる。
制御部１４０は、音声タスクモードで複数の音声アイテムを含む音声ガイド情報をディスプレイする。このとき、音声ガイド情報は、電子装置１００のモードが音声タスクモードであることを表示するアイコンを含んでおり、音声タスクモードであることを表示するアイコンは、音声ガイド情報の中央に位置してよい。
音声ガイド情報がディスプレイされた場合、音声入力部１１０を介して複数の音声アイテムの一つに対応するユーザ音声が入力されると、制御部１４０は音声ガイド情報の第１領域に音声タスクを行うためのガイド語句をディスプレイし、音声ガイド情報の第２領域に音声アイテムをディスプレイする。このとき、第１領域はアイコンの左側領域であり、第２領域は前記アイコンの右側領域であってよい。なお、ガイド語句の出力属性と音声アイテムの出力属性とは相違していてよい。このとき、出力属性には、文字のサイズ、彩度、明度及び色相の少なくともいずれか一つが含まれてよい。例えば、音声アイテムがガイド語句より濃くてよい。
ユーザ音声がチャネル変更を行うための命令語である場合、制御部１４０は、第１領域にチャネル変更をガイドするガイド語句をディスプレイし、第２領域にチャネル変更のための発話可能な命令語の例に対応する音声アイテム及びチャネル変更取消しに対応する音声アイテムをディスプレイすることができる。
ユーザ音声が電源終了を行うための命令語である場合、制御部１４０は、第１領域に電源終了を確認するガイド語句をディスプレイし、第２領域に電源終了を行うか否かに対する命令語に対応する音声アイテムをディスプレイすることができる。
以下では、図１１２ないし図１１４を参照して、音声ガイド情報をディスプレイする実施形態について説明する。
音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声に制御される音声タスクモードに切り替える。そして、制御部１４０は、図１１２に示すような音声ガイド情報をディスプレイする。
このとき、音声ガイド情報には、現在の電子装置１００のモードが音声タスクモードであることを表すアイコン８２０をディスプレイすることができる。そして、音声ガイド情報において、アイコン８２０の左側領域には電源オフ音声アイテム８１１と、チャネル音声アイテム８１２と、サウンドオフ音声アイテム８１３及び外部入力音声アイテム８１４がディスプレイされ、音声ガイド情報において、アイコン８２０の右側領域にはスマートハブ音声アイテム８１５と、アップス音声アイテム８１６と、検索音声アイテム８１７及び全体音声アイテム８１８がディスプレイされてよい。
音声ガイド情報がディスプレイされ、音声入力部１１０を介してチャネル音声アイテム８１２に対応する命令語である“チャネル”が入力される場合、制御部１４０は、図１１３に示すように、音声ガイド情報を変換する。このとき、制御部１４０は、音声ガイド情報において、アイコン８２０の左側領域に第１彩度を有する音声タスクを行うためのガイド語句をディスプレイする。例えば、図１１３に示すように、アイコンの左側領域には“チャネル名やチャネル番号を話してください１１３１０”がディスプレイされてよい。
そして、制御部１４０は、音声ガイド情報において、アイコン８２０の右側領域に第２彩度を有する音声アイテムをディスプレイする。このとき、音声アイテムは、チャネル変更のための発話可能な命令語の例に対応する音声アイテム及びチャネル変更取消しに対応する音声アイテム（例えば、前の音声アイテム）であってよい。例えば、図１１３に示すように、アイコン８２０の右側領域には、“（例：１１、ＭＢＣ、前のチャネル等）前へ１１３２０”がディスプレイされてよい。このとき、制御部１４０は、アイコン８２０の右側領域の彩度をアイコン８２０の左側領域より濃く表示してよい。
更に別の例として、図１１２に示すような音声ガイド情報がディスプレイされ、音声入力部１１０を介して電源オフ音声アイテム８１１に対応する命令語である“電源オフ”が入力される場合、制御部１４０は、図１１４に示すように、音声ガイド情報を変換する。このとき、制御部１４０は、音声ガイド情報において、アイコン８２０の左側領域に第１彩度を有する音声タスクを行うためのガイド語句をディスプレイする。例えば、図１１４に示すように、アイコン８２０の左側領域には“電源をオフにしますか？１１４１０”がディスプレイされてよい。
そして、制御部１４０は、音声ガイド情報において、アイコン８２０の右側領域に第２彩度を有する音声アイテムをディスプレイする。このとき、音声アイテムは、電源終了を行うか否かに対する命令語に対応する音声アイテムであってよい。例えば、図１１４に示すように、アイコン８２０の右側領域には“はい／いいえ１１４２０、１１４３０”がディスプレイされてよい。このとき、制御部１４０は、アイコン８２０の右側領域の彩度をアイコン８２０の左側領域より濃く表示してよい。
図１１５は、本発明の一実施形態に係る音声ガイド情報をディスプレイする電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、音声ガイド情報をディスプレイする（Ｓ１１５１０）。このとき、音声ガイド情報は、現在の電子装置１００のモードが、音声タスクモードであることを表すアイコン及び音声タスクモードをガイドする複数の音声アイテムが含まれてよい。
そして、音声入力部１１０を介して複数の音声アイテムの一つに対応するユーザ音声が入力されると、電子装置１００は、第１領域に第１彩度を有するガイド語句をディスプレイすることができ、第２領域に第２彩度を有する音声アイテムをディスプレイすることができる（Ｓ１１５２０）。このとき、第１領域は、音声ガイド情報でアイコンの右側領域であり、第２領域は、音声ガイド情報でアイコンの左側領域であってよい。そして、第２彩度は、第１彩度より濃くてよい。
上述のように、発話可能な音声アイテムを他のガイド語句と異なる彩度で表示することにより、ユーザが発話すべき命令語が何かをより明確に分かるようになる。
制御部１４０は、音声タスクをガイドする複数の音声アイテムを含む音声ガイド情報をディスプレイする。そして、音声入力部１１０を介して入力されたユーザ音声に複数の音声アイテムに対応する命令語以外の予め設定された単語が含まれると、制御部１４０は、予め設定された単語に対応する音声タスクを行うことができる。
このとき、予め設定された単語は、電子装置１００と連動するリモコンに含まれた短縮キーに対応する単語であってよい。例えば、予め設定された単語は、チャネルリストを生成するための命令語、メニュー生成のための命令語、ソーシャルネットワークを実行するための命令語、番組編成ガイドのための命令語、３Ｄ立体映像への変換のための命令語及び放送ガイドのための命令語のいずれか一つを含んでよい。
なお、予め設定された単語は、現在電子装置１００が行う機能に関連するタスクを提供する命令語に対応する単語であってよい。例えば、現在の装置が行う機能が動画再生機能である場合、予め設定された単語は、動画の再生のための命令語、動画の一時停止のための命令語、動画の停止のための命令語、前のファイル再生のための命令語、次のファイル再生のための命令語、スキップのための命令語及び後へスキップのための命令語のいずれか一つを含んでよい。
即ち、上述のように、音声ガイド情報にディスプレイされなくても、電子装置１００の必須機能に対応する命令語が音声データベース１３０ｍに予め保存されることにより、ユーザは電子装置１００の必須機能を音声認識を通じて利用することができるようになる。
以下では、図１１６及び図１１７を参照して、音声ガイド情報に表示された音声アイテム以外の命令語が発話される場合の実施形態について説明する。
音声入力部１１０を介して音声開始命令（例えば、“ジニ”）が入力されると、制御部１４０は、電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替える。そして、音声タスクモードに切り替わる場合、制御部１４０は、図１１６に示すように、ディスプレイ画面の下段に音声ガイド情報をディスプレイすることができる。
このとき、音声ガイド情報には、現在の電子装置１００のモードが音声タスクモードであることを表すアイコン８２０をディスプレイすることができる。そして、音声ガイド情報において、アイコン８２０の左側領域には電源オフ音声アイテム８１１と、チャネル音声アイテム８１２と、サウンドオフ音声アイテム８１３及び外部入力音声アイテム８１４がディスプレイされ、音声ガイド情報において、アイコン８２０の右側領域にはスマートハブ音声アイテム８１５と、アップス音声アイテム８１６と、検索音声アイテム８１７及び全体音声アイテム８１８がディスプレイされてよい。
音声ガイド情報がディスプレイされ、音声入力部１１０を介して音声ガイド情報に含まれていない命令語に対応する“チャネルリスト”が入力されると、制御部１４０は、図１１７に示すように、ディスプレイ画面の一側にチャネルリスト１１７００を示してよい。
このとき、チャネルリスト１１７００は、現在選局されている放送チャネルを中心に予め設定された番号範囲内の放送チャネルを含む。例えば、現在選局されている放送チャネルが“９−１ ＫＢＳ２”である場合、制御部１４０は、図１１７に示すように、チャネルリスト１１７００は、“６−１ ＳＢＳ”、“７−１ ＫＢＳ１”、“９−１ ＫＢＳ２”、“１１−１ ＭＢＣ”及び“１３−１ ＥＢＳ”を含んでよい。
そして、ユーザは、チャネルリスト１１７００から一つのチャネルを選択してチャネルを変更することができる。従って、音声ガイド情報にチャネルリストに対応する音声アイテムがディスプレイされないとしても、ユーザは音声認識を通じてチャネルリストをディスプレイするタスクを行ってよい。
図１１８は、本発明の一実施形態に係る音声ガイド情報に表示された音声アイテム以外の命令語が発話された場合、電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、音声ガイド情報をディスプレイする（Ｓ１１８１０）。このとき、音声ガイド情報は、現在の電子装置１００のモードが音声タスクモードであることを表すアイコン及び音声タスクモードをガイドする複数の音声アイテムが含まれたよい。
そして、電子装置１００は、音声アイテムに対応する命令語以外の命令語が入力される（Ｓ１１８２０）。このとき、音声アイテムに対応する命令語以外の命令語は、電子装置１００と連動するリモコンに含まれた短縮キーに対応する単語であってよい。例えば、予め設定された単語は、チャネルリストを生成するための命令語、メニュー生成のための命令語、ソーシャルネットワークを実行するための命令語、番組編成ガイドのための命令語、３Ｄ立体映像への変換のための命令語及び放送ガイドのための命令語のいずれか一つを含んでよい。
なお、音声アイテムに対応する命令語以外の命令語は、現在の電子装置１００が行う機能に関連するタスクを提供する命令語に対応する単語であってよい。例えば、現在装置が行う機能が動画再生機能である場合、予め設定された単語は、動画の再生のための命令語、動画の一時停止のための命令語、動画の停止のための命令語、前のファイル再生のための命令語、次のファイル再生のための命令語、スキップのための命令語及び後へスキップのための命令語のいずれか一つを含んでよい。
そして、電子装置１００は、入力された命令語を音声タスクを行う（Ｓ１１８３０）。例えば、チャネルリストを生成するための命令語が入力された場合、電子装置１００はチャネルリストを生成してディスプレイする。上述のように、ユーザは、音声ガイド情報にディスプレイされない命令語に対応するタスクも行うことができる。
制御部１４０は、片手（Ｏｎｅ ｈａｎｄ）を用いたモーションタスクモードだけでなく、両手（Ｔｗｏ ｈａｎｄｓ）を用いた両手モーションタスクモードを行ってよい。具体的に、モーション入力部１２０を介して両手を用いたモーション開始命令が入力されると、制御部１４０は電子装置１００のモードを両手を用いたモーションタスクを行う両手モーションタスクモードに切り替えてよい。
このとき、制御部１４０が両手を用いたモーション開始命令が入力されることは、片手を用いたモーションタスクモードでもう一方の手を用いたモーション開始命令が入力されることであってよい。具体的に、図１１９に示すように、モーション入力部１２０を介してモーション開始命令（片手を３〜４回振るモーション）が入力された場合、制御部１４０は、モーション入力部１２０を介して入力されるユーザモーションで制御されるモーションタスクモードに切り替わる。そして、モーションタスクモードでモーション入力部１２０を介してもう一方の手を用いたモーション開始命令が入力されると、制御部１４０は、電子装置１００のモードを両手を用いたモーションタスクを行う両手モーションタスクモードに切り替えてよい。
更に別の実施形態において、両手を用いたモーション開始命令は、両手を同時に複数回（例えば、３回ないし４回）振るシェイクモーションが入力されたものであってよい。具体的に、図１２０に示すように、モーション入力部１２０を介して両手を同時に複数回振るシェイクモーションが入力されると、制御部１４０は、電子装置１００のモードを両手を用いてモーションタスクを行う両手モーションタスクモードに切り替えてよい。このとき、両手を用いたモーションタスクは、ディスプレイ画面を拡大したり縮小するタスクであってよい。
特に、両手を用いたモーションタスクが不可なアプリケーションを実行する場合、制御部１４０は、両手を用いたモーションタスクができないというメッセージを出力することができる。例えば、両手を用いたモーションタスクが不可なアプリケーションを実行する場合、制御部１４０は両手を用いたモーションタスクができないというアイコンをディスプレイしりことができる。
図１２１は、本発明の一実施形態に係る両手モーションタスクモードを説明するためのフローチャートである。まず、電子装置１００は、両手を用いたモーション開始命令が入力される（Ｓ１２１１０）。例えば、両手を用いたモーション開始命令が入力されることは、片手を用いたモーションタスクモードでもう一方の手を用いたモーション開始命令が入力されたことであってよい。
更に別の例として、両手を用いたモーション開始命令は、両手を同時に複数回（例えば、３〜４回）振るシェイクモーションが入力されたものであってよい。
両手を用いたモーション開始命令が入力されると、電子装置１００は電子装置１００のモードを両手を用いて電子装置１００のタスクを行う両手モーションタスクモードに切り替える（Ｓ１２１２０）。このとき、両手モーションタスクモードは、ディスプレイ画面を拡大したり縮小するタスクであってよい。上述のように、ユーザは片手だけでなく、両手を用いてモーションタスクを行うことができるようになる。
モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は、電子装置１００のモードをモーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替える。このとき、モーションタスクモードは、モーション開始命令を入力したユーザがモーションタスクモードを解除するまでに、モーション開始命令を入力したユーザのモーションのみによって、前記モーションタスクが行われてよい。なお、モーションタスクモードは、モーション開始命令を入力したユーザを除く他のユーザからモーション開始命令が入力されるとしても維持できる。
具体的に、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０はモーション認識モジュール１３０ｌを用いて、モーション開始命令を入力したユーザの手を追跡する。このとき、制御部１４０は、ユーザの手の形、色及び動きの少なくともいずれか一つを用いてユーザの手を追跡する。
そして、モーション入力部１２０を介して他のユーザの手でモーション開始命令が入力されるとしても、制御部１４０は、他のユーザの手によってモーションタスクを行わずに、最初にモーション開始命令を入力したユーザの手を追跡してモーションタスクを行う。
そして、モーション開始命令を入力したユーザからモーションタスクモードを解除するための命令が入力されるまでに、他のユーザによるモーション開始命令が入力されるとしても、制御部１４０は最初にモーション開始命令を入力したユーザによってモーションタスクを行う。
なお、モーションタスクモードは、モーション開始命令を入力したユーザの手と他のユーザの手が重なるとしても、モーション開始命令を入力したユーザの手に応じて前記モーションタスクを行うことができる。
なお、モーションタスクモードが片手を用いたモーション開始命令が入力された場合、モーション開始命令を入力したユーザ以外の他のユーザの片手を通じてモーション開始命令が入力されると、制御部１４０は、電子装置１００のモードを両手を用いてモーションタスクを行う両手モーションタスクモードに切り替える。このとき、両手モーションタスクモードは、最初にモーション開始命令を入力したユーザの片手と他のユーザの片手を用いて行われてよい。
なお、モーション入力部１２０を介して複数のユーザによる複数のモーション開始命令が入力されると、制御部１４０は、複数のモーション開始命令のうち、最初に入力されたモーション開始命令を判断する。そして、最初に入力モーション開始命令が判断されると、制御部１４０は、電子装置１００のモードを最初に入力されたモーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替える。
このとき、モーションタスクモードは、最初にモーション開始命令を入力したユーザがモーションタスクモードを解除するまでに、最初にモーション開始命令を入力したユーザのモーションのみによってモーションタスクが行われてよい。そして、モーションタスクモードは、最初にモーション開始命令を入力したユーザを除く他のユーザからモーション開始命令が入力されるとしても維持されてよい。
図１２２は、本発明の一実施形態に係る複数のユーザを通じて複数のモーション開始命令が入力された場合、電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、モーション入力部１２０を介して複数のユーザによる複数のモーション開始命令が入力される（Ｓ１２２１０）。このとき、モーション開始命令は、ユーザの手を複数回（例えば、３回ないし４回）振るシェイクモーションであってよい。
そして、電子装置１００は、複数のモーション開始命令のうち、最初にモーション開始命令を判断する（Ｓ１２２２０）。具体的に、電子装置１００は、モーション開始命令の入力のために、使用したユーザの手の形、色及び動きを用いて最初に入力されたモーション開始命令を判断することができる。
そして、電子装置１００は、最初にモーション開始命令を入力したユーザのモーションを用いてモーションタスクを行う（Ｓ１２２３０）。具体的に、電子装置１００が最初にモーション開始命令を判断すると、電子装置１００は、電子装置１００のモードを最初に入力されたモーション開始命令を入力したユーザのモーションに応じてモーションタスクを行うモーションタスクモードに切り替える。そして、電子装置１００は、モーションタスクモードで最初にモーション開始命令を入力したユーザモーションを用いてモーションタスクを行う。
このとき、モーションタスクモードは、最初にモーション開始命令を入力したユーザがモーションタスクモードを解除するまでに、最初にモーション開始命令を入力したユーザのモーションのみによってモーションタスクが行われてよい。そして、モーションタスクモードは、最初にモーション開始命令を入力したユーザを除く他のユーザからモーション開始命令が入力されるとしても維持できる。
上述のように、最初に入力したモーション開始命令に応じてモーションタスクを行うことにより、他のユーザのモーションによる誤作動を防止できるようにする。
制御部１４０は、音声タスクを段階別に行われてよい。具体的に、音声入力部１１０を介してユーザの第１音声が入力されると、制御部１４０はユーザの第１音声に応答して少なくとも一つの音声タスクをガイドする第１メニューを映像の一領域にディスプレイすることができる。そして、音声入力部１１０を介してユーザの第２音声が入力されると、制御部１４０は少なくとも一つの音声タスクのうち、ユーザの第２音声に対応する音声タスクを行うことができる。
例えば、音声入力部１１０を介してチャネル変更のための命令語が入力された場合、制御部１４０は、チャネル変更をガイドする情報が含まれた第１メニューをディスプレイすることができる。そして、音声入力部１１０を介してチャネル識別子（例えば、チャネル番号、チャネル名及び番組名のいずれか一つ）に対応するユーザ音声が入力されると、制御部１４０はユーザ音声に対応するチャネルに変更することができる。
音声入力部１１０を介して番組名に対応するユーザ音声が入力されると、制御部１４０は、予め保存された番組ガイド（ＥＰＧ）から音声入力部１１０を介して入力された番組名を検索し、検索の結果に応じて、入力された番組名が放映されるチャネルに変更されたり、視聴予約を行うことができる。
以下では、図１２３ないし図１２５を参照して、音声認識を段階別に行う一実施形態について説明する。
音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替える。そして、制御部１４０は、図１２３に示すような複数の音声アイテムが含まれた音声ガイド情報をディスプレイする。
音声ガイド情報をディスプレイし、音声入力部１１０を介してチャネル音声アイテム８１２に対応するユーザ音声（例えば、チャネル）が入力されると、制御部１４０は、音声ガイド情報を変更し、音声タスクの実行をガイドする第１メニューをディスプレイする。例えば、図１２４に示すように、制御部１４０はチャネル変更をガイドするための“チャネル名やチャネル番号を話してください。１２４１０”をディスプレイすることができる。
そして、音声入力部１１０を介してチャネル番号、チャネル名及び放送番組名のいずれか一つに対応するユーザ音声が入力されると、制御部１４０は、ユーザ音声に対応するチャネルに切り替える。例えば、音声入力部１１０を介して“７”が入力されると、制御部１４０は、図１２５に示すように、７番チャネルに選局して、７番チャネルをディスプレイすることができる。
従って、上述のように、音声タスクを段階別に行うことにより、誤作動を防止できるようになる。具体的に、チャネル変更を望む場合、“チャネル”音声アイテムを一度選択した後、チャネルを変更することにより、ユーザの望まないチャネルに変更することを防止することができるようになる。
図１２６は、本発明の一実施形態に係る音声タスクを段階別に行う電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は映像をディスプレイする（Ｓ１２６１０）。このとき、映像には、音声ガイド情報がディスプレイされてよい。
そして、電子装置１００は、音声入力部１１０を介して第１音声が入力される（Ｓ１２６２０）。このとき、第１音声はディスプレイされた音声ガイド情報に含まれた複数の音声アイテムの一つに対応するユーザ音声であってよい。そして、電子装置１００は、入力された第１音声に応答し、音声タスク実行をガイドする第１メニューをディスプレイする（Ｓ１２６３０）。そして、電子装置１００は、音声入力部１１０を介して第２音声が入力される（Ｓ１２６４０）。このとき、第２音声は、特定音声タスクを行うための命令語である。
そして、電子装置１００は、入力された第２音声に応答し、第２音声に対応する音声タスクを行う（Ｓ１２６５０）。例えば、第２音声がチャネル名である場合、電子装置１００は放送チャネルを第２音声に対応するチャネルに変更する。従って、上述のように、音声タスクを段階別に行うことにより、誤作動を防止できるようになる。
制御部１４０は、音声入力部１１０を介して入力されたユーザの音声に応じて音声タスクを行う音声タスクモードで、少なくとも一つの短縮アイコン及び各々に対応する短縮アイコンの名前をディスプレイする。そして、音声入力部１１０には、ユーザ音声が入力される。そして、少なくとも一つの短縮アイコンのうち、ディスプレイされた短縮アイコンの名前が短縮アイコンのフルネームの一部のみディスプレイされた第１短縮アイコンが存在する場合、入力されたユーザの音声が前記ディスプレイされた第１短縮アイコンの名前の一部と一致していると、制御部１４０は第１短縮アイコンを実行する。このとき、入力されたユーザの音声がディスプレイされた第１短縮アイコンに対する名前の一部を構成する複数の綴りと一致していると、制御部１４０は第１短縮アイコンを実行することができる。
なお、短縮アイコンのうち、短縮アイコンの名前に特殊文字が含まれた第２短縮アイコンが存在している場合、入力されたユーザの音声が前記第２短縮アイコン名前に含まれた特殊文字を除く発話可能な名前と一致していると、制御部１４０は第２短縮アイコンを実行することができる。ここで、特殊文字とは、ユーザによって発話不可な記号であってよい。例えば、特殊文字は、疑問符（？）、休止符（、）、終止符（。）であってよいが、それに限定されるものではない。
例えば、短縮アイコンの名前が、“顔認識、音声認識”というアプリケーションがある場合、制御部１４０は音声入力部１１０を介して“顔認識 音声認識”というユーザ音声が入力されると、“顔認識、音声認識”のアプリケーションを実行する。
一方、上述の実施形態においては、制御部１４０が短縮アイコンを実行するものとして説明したが、それは一実施形態に過ぎず、制御部１４０がハイパーリンクを実行することにも、本発明の技術的思想が適用されてよい。
以下では、図１２７及び図１２８を参照して、名前の一部がディスプレイされた短縮アイコン実行方法の一実施形態について説明する。
一方、制御部１４０は、ユーザの特定命令に応じてアプリケーションを実行するための複数の短縮アイコンを含むコンテンツリスト（例えば、スマートハブ）をディスプレイする。このとき、コンテンツリストに含まれた複数の短縮アイコンのうち、短縮アイコンの名前が予め設定された文字数を超過する場合、制御部１４０は短縮アイコンのフルネームの一部のみをディスプレイすることができる。例えば、コンテンツリストに含まれた複数の短縮アイコンのうち、短縮アイコンの名前が１０文字を超える場合、制御部１４０は、“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”の短縮アプリケーションのフルネームをディスプレイせず、図１２７に示すように、“Ｅｘｃｉｔｉｎｇ”のみをディスプレイすることができる。
コンテンツリストがディスプレイされ、音声入力部１１０を介して音声開始命令が入力されると、電子装置１００は電子装置１００のモードを音声入力部１１０を介して入力されたユーザ音声によって制御される音声タスクモードに切り替える。音声タスクモードに切り替わると、電子装置１００は、図１２７に示すような音声ガイド情報をディスプレイする。
音声ガイド情報がディスプレイされ、音声入力部１１０を介してディスプレイされた名前の一部と一致している“Ｅｘｃｉｔｉｎｇ”が発話された場合、制御部１４０は、図１２８に示すように、“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”のアプリケーションを実行する。
なお、音声ガイド情報がディスプレイされ、音声入力部１１０を介してディスプレイされた名前の一部を構成する複数の綴りである“Ｅ”、“Ｘ”、“Ｃ”、“Ｉ”、“Ｔ”、“Ｉ”、“Ｎ”、“Ｇ”が入力された場合、制御部１４０は、図１２８に示すように、“Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”のアプリケーションを実行することができる。
図１２９は、本発明の一実施形態に係る名前の一部のみがディスプレイされた短縮アイコンの実行方法を説明するためのフローチャートである。まず、電子装置１００は、音声入力部１１０を介して入力された音声開始命令に対応して電子装置１００のモードを音声タスクモードに切り替える（Ｓ１２９１０）。このとき、電子装置１００はアプリケーションを実行するための複数の短縮アイコンを含むコンテンツリストをディスプレイする。
特に、電子装置１００は、コンテンツリストに名前の一部がディスプレイされた短縮アイコンをディスプレイする（Ｓ１２９２０）。それは、短縮アイコンの名前が予め設定された文字数を超過し、短縮アイコンのフルネームを同時にディスプレイできないためである。
電子装置１００は、音声入力部１１０を介してユーザ音声が入力される（Ｓ１２９３０）そして、電子装置１００は、音声入力部１１０を介して入力されたユーザ音声がディスプレイされた名前の一部と一致しているか否かを判断する（Ｓ１２９４０）。
音声入力部１１０を介して入力されたユーザ音声がディスプレイされた名前の一部と一致している短縮アイコンが存在している場合（Ｓ１２９４０−Ｙ）、電子装置１００は当該短縮アイコンを実行する（Ｓ１２９５０）。
一方、上述の実施形態では、電子装置１００が短縮アイコンを実行させるものとして説明したが、それは一実施形態に過ぎず、電子装置１００がハイパーリンクを実行させることにも、本発明の技術的思想が適用されてよい。従って、上述のように、ディスプレイされた名前の一部のみを発話することにより、当該アプリケーションまたはハイパーリンクを実行させることができるようになる。
制御部１４０は、モーションタスクモードで、モーション入力部１２０を介してユーザの第１モーション及びユーザの第２モーションのいずれか一つが入力されると、ユーザの第１モーション及びユーザの第２モーションのいずれか一つに対応して、アプリケーション実行画面を拡大したり縮小してディスプレイすることができる。このとき、アプリケーション提供画面が、画面拡大または画面縮小が可能であってよい。
具体的に、アプリケーションが実行された状態で、制御部１４０はモーション入力部１２０を介してモーション開始命令が入力されると、電子装置１００のモードをモーションタスクモードに切り替える。そして、制御部１４０は、モーション入力部１２０を介してユーザの第１モーション及びユーザの第２モーションのいずれか一つが入力されると、ユーザの第１モーション及びユーザの第２モーションのうち、入力された一つを認識し、認識されたモーションに対応し、アプリケーション実行画面を拡大したり縮小することができる。このとき、ユーザの第１モーションは、ユーザの両手を広げるように移動するものであって、ユーザの第１モーションが認識されると、制御部１４０はアプリケーション実行画面を拡大してディスプレイすることができる。
なお、ユーザの第２モーションは、ユーザの両手を狭めるように移動するものであって、ユーザの第２モーションが認識されると、制御部１４０はアプリケーション実行画面を縮小してディスプレイすることができる。
なお、制御部１４０は、モーションタスクモードで、モーション入力部１２０を介してユーザの第３モーションが入力されると、入力されたユーザの第３モーションを認識し、ユーザの第３モーションに対応するアプリケーション実行画面を移動してディスプレイすることができる。このとき、ユーザの第３モーションは、グラブモーションが維持されたまま移動されるモーションであってよい。ここで、アプリケーション提供画面は、電子装置１００のディスプレイ画面内で移動可能であってよい。
以下では、図１３０ないし図１３３を参照して、ウェブページで特殊なジェスチャーが入力される実施形態について説明する。
ウェブページがディスプレイされ、モーション入力部１２０を介してモーション開始命令が入力されると、制御部１４０は、図１３０に示すように、ウェブページの下段にモーションガイド情報をディスプレイすることができる。なお、モーションタスクモードに移行された場合、制御部１３０は、ディスプレイ画面の中央にポインター１３０００をディスプレイする。
モーションガイド情報がディスプレイされ、モーション入力部１２０を介して両手を用いたモーション開始命令が入力されると、制御部１４０は両手モーションタスクモードに移行する。
両手モーションタスクモードで、モーション入力部１２０を介して両手を広げるモーションが入力されると、制御部１４０は、図１３１に示すように、ウェブページ画面を拡大する。このとき、ウェブページ画面が拡大される際には、ポインターが除去されてよい。ウェブページが拡大されると、制御部１２０は、図１３２に示すように、ポインター１３０００を再びディスプレイする。
ポインター１３０００がディスプレイされ、モーション入力部１２０を介して片手を用いてグラブモーションをとった状態で移動されるモーションが入力されると、制御部１４０は、グラブモーションをとった状態で移動されるモーションに応じてディスプレイ画面を移動することができる。
例えば、モーション入力部１２０を介して片手を用いてグラムモーションをとった状態で右方へ移動されるモーションが入力されると、制御部１４０は、図１３３に示すように、ディスプレイ画面を右方へ移動してよい。
上述のようなユーザモーションを通じてユーザは、電子装置１００のディスプレイ画面を移動したり、拡大／縮小できるようになる。
図１３４は、本発明の一実施形態に係る特殊ジェスチャーが入力された場合、電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、モーション入力部１２０を介してモーション開始命令が入力される（Ｓ１３４１０）。
モーション開始命令が入力されると、電子装置１００はモーション開始命令を認識し、電子装置１００のモードをモーションタスクモードに切り替える（Ｓ１３４２０）。モーションタスクモードに切り替わると、電子装置１００はモーションタスクモードを行うためのポインター及びモーションガイド情報をディスプレイすることができる。
そして、電子装置１００は、ユーザの操作に応じてアプリケーションを実行する（Ｓ１３４３０）。そして、電子装置１００は、モーション入力部１２０を介して特殊モーションが入力される（Ｓ１３４４０）。このとき、特殊モーションは、ディスプレイ画面を拡大／縮小するための両手を用いたモーションまたはディスプレイ画面を移動するためのグラブモーションをとった状態で移動するモーションであってよい。
特殊モーションが入力されると、電子装置１００は特殊モーションに対応するモーションタスクを行う（Ｓ１３４５０）。例えば、両手を狭めるモーションが入力されると、電子装置１００はディスプレイ画面を縮小するタスクを行い、両手を広げるモーションが入力されると、電子装置１００はディスプレイ画面を拡大するタスクを行い、グラブモーションをとった状態で移動されるモーションが入力されると、電子装置１００はディスプレイ画面を移動方向に沿って移動してディスプレイすることができる。従って、上述のようなモーションを通じて、ユーザはディスプレイ画面を移動したり、縮小／拡大できるようになる。
制御部１４０は、電子装置１００に含まれた音声入力部１１０を介して音声開始命令が入力されてよく、電子装置１００と連動する装置から音声開始命令が入力されてよい。このとき、電子装置１００に含まれた音声入力部１１０を介して音声開始命令が入力された場合を遠距離音声認識といい、遠距離音声認識が行われる際には、図１３５に示すように、遠距離音声認識を報知するアイコン１３５１０をディスプレイすることができる。
具体的に、電子装置１００に含まれた音声入力部１１０から音声開始命令が入力されると、制御部１４０は電子装置１００のモードを第１音声タスクモードに切り替える。このとき、第１音声タスクモードは、電子装置１００に含まれた音声入力部１１０からユーザ音声が入力されると、入力されたユーザ音声に応じて音声タスクを行うモードである。第１音声タスクモードに切り替わると、制御部１４０は遠距離音声認識を報知するアイコン１３５１０をディスプレイすることができる。
遠距離音声認識を報知するアイコンをディスプレイする場合、予め設定された時間の間、電子装置１００に含まれた音声入力部１１０にユーザ音声が入力されなければ、制御部１４０は第１音声タスクモードを解除し、電子装置１００のモードをリモコンによって制御されるリモコンモードに切り替えることができる。
なお、電子装置１００と連動する装置から音声開始命令が入力された場合を近距離音声認識といい、近距離音声認識が行われる際には、図１３６に示すように、近距離音声認識を報知するアイコン１３６１０をディスプレイすることができる。このとき、電子装置１００と連動する装置は、リモコン及び携帯電話であってよいが、それに限定されるものではない。
ここで、電子装置１００と連動する装置から入力された音声開始命令は、電子装置１００と連動する装置に備えられた特定ボタン（音声タスクモード切替ボタン）に対応する信号及び電子装置１００と連動する装置に備えられたマイクを通じて入力された特定ユーザ音声の一つであってよい。
電子装置１００と連動する装置から入力された音声開始命令が入力されると、制御部１４０は、電子装置１００のモードを第２音声タスクモードに切り替えることができる。このとき、第２音声タスクモードは、電子装置１００と連動する装置に備えられたマイクを通じてユーザ音声が入力されると、入力されたユーザ音声に応じて音声タスクを行うモードである。第２音声タスクモードに切り替わると、制御部１４０は近距離音声認識を報知するアイコン１３６１０をディスプレイすることができる。
近距離音声認識を報知するアイコンをディスプレイする場合、予め設定された時間の間、電子装置１００と連動する装置に含まれたマイクにユーザ音声が入力されていなければ、制御部１４０は第２音声タスクモードを解除し、電子装置１００のモードをリモコンによって制御されるリモコンモードに切り替えてよい。
図１３７は、本発明の一実施形態に係る音声入力方法に応じて異なるアイコンを提供する電子装置１００の制御方法を説明するためのフローチャートである。まず、電子装置１００は、電子装置１００に備えられたマイク及びリモコンに備えられたマイクのいずれか一つから音声開始命令が入力される（Ｓ１３７１０）。このとき、電子装置１００に備えられたマイクから音声開始命令が入力されると、電子装置１００は電子装置１００のモードを遠距離音声タスクモードに切り替える。そして、リモコンに備えられたマイクから音声開始命令が入力されると、電子装置１００は電子装置１００のモードを近距離音声タスクモードに切り替える。
そして、電子装置１００は、音声開始命令が入力された装置に応じてアイコンを異なるようにディスプレイする（Ｓ１３７２０）。具体的に、電子装置１００に備えられたマイクから音声開始命令が入力されると、電子装置１００は遠距離音声タスクモードを表すアイコンをディスプレイし、リモコンに備えられたマイクから音声開始命令が入力されると、電子装置１００は近距離音声タスクモードを表すアイコンをディスプレイしてよい。
上述のように、音声開始命令が入力される装置に応じて音声タスクモードを区分することができ、音声タスクモードに応じて異なるアイコンをディスプレイすることにより、ユーザが現在何の装置を通じて音声タスクモードを行うべきかが分かるようになる。
制御部１４０は、より正確な音声認識のために、音声認識を行った後、認識された音声認識に対応するテキストを修正するためのテキスト入力修正メニュー（例えば、ＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ））をディスプレイする。
例えば、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、音声入力部１１０を介して入力されたユーザ音声によって制御される音声タスクを行うための音声ガイド情報をディスプレイする。そして、文字入力が要求されるタスクを行うための第１ユーザ音声が入力されると、制御部１４０は、文字入力のためのテキスト入力ウィンドウをディスプレイする。このとき、文字入力が要求されるタスクは、ウェブページ検索であってよいが、それに限定されるものではない。
そして、テキスト入力ウィンドウにテキストを入力するための第２ユーザ音声が入力されると、制御部１４０は、入力された第２ユーザ音声に対応するテキストをテキスト入力ウィンドウにディスプレイし、文字入力メニューをディスプレイすることができる。このとき、制御部１４０は、ユーザ音声が認識される間、それまでディスプレイされていた画面をディスプレイし、テキスト入力ウィンドウにテキストを入力するための第２ユーザ音声を認識した後、テキスト入力ウィンドウにテキストをディスプレイする。そして、制御部１４０は、文字入力メニューをディスプレイすることができる。
このとき、制御部１４０は、テキスト入力ウィンドウに入力されたテキストを含む候補群検索ワードが複数存在する場合、文字入力メニューに候補群検索ワードリストをオーバーラップしてディスプレイすることができる。
なお、テキスト入力ウィンドウのテキスト入力が完了しているか、前記テキスト入力ウィンドウのテキスト入力を取り消す場合、制御部１４０は、ディスプレイ画面に文字入力メニューを除去することができる。
以下では、図１３８ないし図１４１を参照して、文字入力メニューをディスプレイする実施形態について説明する。
まず、ウェブページがディスプレイされた状態で、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、図１３８に示すように、音声ガイド情報をディスプレイする。そして、音声入力部１１０を介して“検索”音声アイテムに対応するユーザ音声（例えば、検索）が入力されると、制御部１１０はテキスト入力ウィンドウ１３９１０をディスプレイする。
そして、テキスト入力ウィンドウ１３９１０にテキストを入力するためのユーザ音声（例えば、“サムスン電子”）が入力されると、制御部１４０は、ユーザ音声を認識し、テキスト入力ウィンドウ１３９１０に認識されたユーザ音声をディスプレイする。即ち、制御部１４０は、図１３９に示すように、テキスト入力ウィンドウ１３９１０に“サムスン電子”を入力してディスプレイする。
テキスト入力ウィンドウ１３９１０に“サムスン電子”が入力されると、制御部１４０は、図１４０に示すように、文字入力メニュー１３９２０をテキスト入力ウィンドウの一側にディスプレイする。このとき、文字入力メニューは、テキスト入力ウィンドウに入力されたテキストが正確でない場合、それを修正するためのメニューである。
ここで、テキスト入力ウィンドウ１３９１０に入力された“サムスン電子”を含む候補群検索ワードが複数存在する場合、制御部１４０は、候補群検索ワードリスト１３９３０をディスプレイする。例えば、“サムスン電子”を含む候補群検索ワードが“サムスン電子”、“サムスン電子 株式”、“サムスン電子 お知らせ”が含まれている場合、制御部１４０は、図１４１に示すような候補群検索ワードリスト１３９３０をディスプレイすることができる。
図１４２は、本発明の一実施形態に係る文字入力メニュー（ＩＭＥ）を表示する電子装置の制御方法を説明するためのフローチャートである。まず、電子装置１００は、音声入力部１１０を介して音声開始命令が入力される（Ｓ１４２１０）。このとき、電子装置１００は、複数の短縮アイコンを含むコンテンツリスト及び複数のハイパーリンクを含むウェブページをディスプレイすることができる。
音声開始命令が入力されると、電子装置１００は、電子装置１００のモードを音声タスクモードに切り替え、音声タスクモードを行うための音声ガイド情報をディスプレイする（Ｓ１４２２０）。そして、電子装置１００は、音声入力部１１０を介して検索を行うためのユーザ音声が入力される（Ｓ１４２３０）。そして、電子装置１００は、検索を行うためにテキスト入力ウィンドウをディスプレイする（Ｓ１４２４０）。
テキスト入力ウィンドウがディスプレイされると、電子装置１００には音声入力部１１０を介してテキスト入力ウィンドウにテキストを入力するためのユーザ音声が入力される（Ｓ１４２５０）。テキスト入力のためのユーザ音声が入力されると、電子装置１００にはテキスト入力ウィンドウに入力されたユーザ音声に対応するテキストが入力される（Ｓ１４２６０）。
テキスト入力ウィンドウにテキストが入力されると、電子装置１００は文字入力メニューをディスプレイする（Ｓ１４２７０）。このとき、文字入力メニューは、音声認識が不正確な場合、テキスト入力ウィンドウに入力されたテキストを修正するためのメニューである。従って、音声入力部１１０に入力されたユーザ音声が完璧に認識できていない場合、ユーザは文字入力メニューを用いて、不正確な音声認識を補完することができるようになる。
制御部１４０は、外部機器を用いて、音声認識を行うことができる。具体的に、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、電子装置１００と連動する装置（例えば、リモコン）を通じて入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイする。そして、電子装置１００と連動する外部装置に含まれた第１音声入力ボタンが選択される場合、制御部１４０は、音声ガイド情報に音声検索をガイドする第１ガイド語句をディスプレイする。例えば、“音声検索ボタンを押し、音声を入力してください”というガイド語句がディスプレイされてよい。
そして、制御部１４０は、外部装置に含まれた第２音声入力ボタンが選択される間、音声入力部１１０を介して入力されたユーザ音声を認識する。このとき、音声入力部１１０は、外部装置のマイクに入力されたユーザ音声を受信し、制御部１４０に伝達する。このとき、制御部１４０は、音声ガイド情報に音声入力部１１０を介してユーザ音声が入力されているという情報を含む第２ガイド語句をディスプレイすることができる。例えば、“ユーザ音声を認識しています”というガイド語句がディスプレイされてよい。そして、制御部１４０は、認識されたユーザ音声をテキスト入力ウィンドウにテキストで入力することができる。なお、制御部１４０は、認識されたユーザ音声に対応する音声タスクを行うことができる。
なお、第２音声入力ボタンの選択が解除されると、制御部１４０は、音声ガイド情報にユーザ音声の入力が完了しているか否かを確認する第３ガイド語句をディスプレイすることができる。ここで、第３ガイド語句には、ユーザ音声の入力を続けるか否か、入力されたユーザ音声を完了しているか否か、及び入力されたユーザ音声を取り消すか否かを問うメッセージが含まれてよい。
なお、第３ガイド語句がディスプレイされる間、第２音声入力ボタンが再び選択されてユーザ音声が入力されると、制御部１４０は、入力されたユーザ音声を、それまで認識されていたユーザ音声として認識し続けることができる。例えば、それまで認識されていたユーザ音声が“サムスン”であり、第２音声入力ボタンが再び選択されて“電子”というユーザ音声が入力されると、制御部１４０はテキスト入力ウィンドウに“サムスン電子”を入力するようになる。このとき、第１音声入力ボタンは音声入力ボタンであり、第２音声入力ボタンは音声検索ボタンとして相違するボタンであってよいが、同じボタンで実現されてよい。
図１４３は、本発明の一実施形態に係る外部機器を用いた音声タスク実行方法を説明するためのフローチャートである。まず、電子装置１００は、音声タスクモードを行うための音声ガイド情報をディスプレイする（Ｓ１４３１０）。そして、ユーザによって、外部機器は音声入力ボタンを選択する（Ｓ１４３２０）。音声入力ボタンが選択されると、電子装置１００は第１ガイド語句をディスプレイする（Ｓ１４３３０）。このとき、第１ガイド語句は、音声ガイド情報に音声検索をガイドするＵＩである。
そして、外部機器に音声検索ボタンが選択される間、電子装置１００は音声入力部１１０を介してユーザ音声が入力される（Ｓ１４３４０）。このとき、音声入力部１１０は、外部機器から入力されたユーザ音声を受信する通信部であってよい。そして、電子装置１００は、音声入力部１１０を介して入力されたユーザ音声を音声認識モジュール１３０ｋを用いて認識する（Ｓ１４３５０）。
一方、上述の実施形態において、音声入力ボタンと音声検索ボタンとは同じボタンで実現されてよい。
上述のように、外部機器の音声検索ボタンが選択される間、音声が入力されることにより、ユーザが望まない音声認識を防止できるようになる。
制御部１４０は、ディスプレイ画面に発話可能な名称が表示された場合、名称を抽出して区別できるように表示する。そして、名称が音声入力部１１０を介して入力された場合、制御部１４０は名称と対応する音声タスクを行う。具体的に、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は入力された音声開始命令に対応し、電子装置１００のモードを音声タスクを行うための音声タスクモードに切り替え、音声タスクモードを行うための音声ガイド情報をディスプレイする。
そして、音声タスクモードで、制御部１４０はディスプレイ画面から選択可能なアイテムのテキストを抽出する。このとき、ディスプレイ画面はアプリケーションを実行させるための複数の短縮アイコンが含まれたコンテンツリストまたはウェブページがディスプレイされてよい。なお、選択可能なアイテムはアプリケーションを実行するためのコンテンツリストに含まれた短縮アイコン及びウェブページに含まれたハイパーリンクのいずれか一つであってよい。ここで、アイテムの名前テキストが予め設定された文字数を超過する場合、制御部１４０は、アイテムの名前テキストの全体のうち、予め設定された文字数以下のテキストのみを抽出してディスプレイすることができる。
なお、制御部１４０は、テキストが抽出されたアイテムをテキストが抽出されていない他のアイテムと区別できるようにディスプレイしてよい。そして、音声入力部１１０を介して入力されたユーザ音声が抽出されたテキストと一致している場合、制御部１４０はテキストに対応するアイテムを実行する。ここで、音声入力部１１０を介して入力されたユーザ音声が抽出された予め設定された文字数以下のテキストと一致している場合、制御部１４０は、予め設定された文字数以下のテキストに対応するアイテムを実行することができる。
以下では、図１４４及び図１４５を参照して、ディスプレイ画面に発話可能な命令語が表示された場合の一実施形態について説明する。
制御部１４０は、音声入力部１１０を介して入力された音声開始命令に応答し、電子装置１００のモードを音声タスクモードに切り替える。このとき、制御部１４０は、ディスプレイ画面の下段に音声ガイド情報をディスプレイする。そして、音声入力部１１０を介して“スマートハブ”が入力されると、制御部１４０は、図１４４に示すように、アプリケーションを実行するための複数の短縮アイコンを含むコンテンツリストを生成してディスプレイする。
そして、制御部１４０は、複数の短縮アイコンの名前を抽出する。このとき、図１４４に示すように、短縮アイコンの名前が抽出された場合、制御部１４０は、短縮アイコンの名前に下線を引き、短縮アイコンの名前（例えば、ＡＰＰ１０、ＡＰＰ１１）が抽出されていない場合、制御部１４０は短縮アイコンの名前に下線を引かない。
そして、短縮アイコンの名前が予め設定された名前を超過している場合、制御部１４０は、短縮アイコンの名前の一部を抽出してディスプレイする。例えば、図１４４に示すように、短縮アイコンの名前がＥｘｃｉｔｉｎｇ Ｄｒｕｍである場合、制御部１４０は、短縮アイコンの名前の一部である“Ｅｘｃｉｔｉｎｇ”のみが抽出されてディスプレイされてよい。このとき、“
Ｅｘｃｉｔｉｎｇ”が名前の一部であることを示すため、制御部１４０は“Ｅｘｃｉｔｉｎｇ”の後に“．．．”という表示をつけることができる。
抽出された短縮アイコンの名前がディスプレイされ、音声入力部１１０を介してディスプレイされた短縮アイコンの名前が入力されると、制御部１４０は当該短縮アイコンを実行する。例えば、音声入力部１１０を介して“Ｅｘｃｉｔｉｎｇ”が入力されると、制御部１４０は、図１４５に示すように、“
Ｅｘｃｉｔｉｎｇ Ｄｒｕｍ”アプリケーションを実行できるようになる。
図１４６は、本発明の一実施形態に係るディスプレイ画面に発話可能な命令語が表示された場合、音声タスクを行う方法を説明するためのフローチャートである。まず、電子装置１００は、音声入力部１１０を介して音声開始命令が入力される（Ｓ１４６１０）。そして、電子装置１００は、音声入力部１１０を介して入力された音声開始命令に応答し、電子装置１００のモードを音声タスクモードに切り替える（Ｓ１４６２０）。そして、電子装置１００は、音声タスクモードを行うための音声ガイド情報をディスプレイ画面の下段にディスプレイする（Ｓ１４６３０）。そして、電子装置１００は、ディスプレイ画面に含まれたアイテムのテキストを抽出する（Ｓ１４６４０）。このとき、アイテムは、コンテンツリストに含まれた短縮アイコンの名前またはウェブページに含まれたハイパーリンクのテキストであってよい。
そして、電子装置１００は、音声入力部１１０を介してユーザ音声が入力される（Ｓ１４６５０）。そして、電子装置１００は、音声入力部１１０を介して入力されたユーザ音声と一致しているテキストを有するアイテムがある場合、当該アイテムを実行する（Ｓ１４６６０）。このとき、テキストの名前の一部のみがディスプレイされた場合、制御部１４０は、テキストの名前の一部と一致しているユーザ音声が入力された場合にも、当該アイテムを実行することができる。
上述のように、テキスト名称を抽出して区別できるように表示することにより、ユーザはより容易に音声認識を利用できるようになる。
制御部１４０は、音声入力部１１０を介してユーザ音声が入力されると途中に入力されたユーザ音声が含まれたテキストを有するハイパーリンクが一つのみ存在している場合、テキストに対応するハイパーリンクを実行することができる。具体的に、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は音声開始命令に応答し、電子装置１００のモードを音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替える。
音声タスクモードで、制御部１４０は複数のハイパーリンクを含むウェブページから複数のハイパーリンクのテキストを抽出する。テキストを抽出した後、制御部１４０は抽出されたテキストを抽出できていないテキストと区別できるように表示することができる。例えば、制御部１４０は、抽出されたテキストに下線を引いたり、太く表示したり、ハイライトして表示することができる。
そして、音声入力部１１０を介してユーザ音声が入力される途中に入力されたユーザ音声が含まれたテキストを有するハイパーリンクが一つのみ存在している場合、制御部１４０はテキストに対応するハイパーリンクを実行することができる。例えば、音声入力部１１０を介して入力されたユーザ音声が“サムスン電子”であり、ハイパーリンクから抽出されたテキストが“サムスン電子”一つである場合、制御部１４０は、“サムスン電子”のテキストを有するハイパーリンクを実行することができる。
このとき、音声入力部１１０を介してユーザ音声が入力される途中に入力されたユーザ音声とテキストの全体ではない一部が一致しているハイパーリンクが一つのみ存在する場合、制御部１４０はテキストに対応するハイパーリンクを実行することができる。
一方、上述の実施形態において、ウェブページに含まれたハイパーリンクを実行する方法について説明したが、それは一実施形態に過ぎず、コンテンツリストに含まれたアプリケーションを実行するための短縮アイコンを実施する方法にも、本発明の技術的思想が適用されてよい。
図１４７は、本発明の一実施形態に係る自動音声認識方法を説明するためのフローチャートである。まず、電子装置１００は、音声入力部１１０を介して音声開始命令が入力される（Ｓ１４７１０）。そして、電子装置１００は、音声入力部１１０を介して入力された音声開始命令に応答し、電子装置１００のモードを音声タスクモードに切り替える（Ｓ１４７２０）。そして、電子装置１００のディスプレイ画面にハイパーリンクが含まれた場合、電子装置１００はハイパーリンクのテキストを抽出する（Ｓ１４７３０）。
そして、電子装置１００には、音声入力部１１０を介してユーザ音声が入力される。ユーザ音声の入力途中に入力されたユーザ音声と一致しているテキストを含むハイパーリンクが一つである場合、電子装置１００は当該ハイパーリンクを実行する（Ｓ１４７４０）。このとき、ユーザ音声と一致しているテキストは、ハイパーリンクの全テキストであってよいが、それは一実施形態に過ぎず、ハイパーリンクのテキストの一部であってよい。
上述のように、ユーザ音声と一致するテキストが一つしかない場合、当該ハイパーリンクが自動的に実行されることにより、ユーザは音声認識を用いてより容易にハイパーリンクを実行させることができるようになる。
制御部１４０は、入力されたユーザ音声を認識し、認識されたユーザ音声と一致しているテキストを有するハイパーリンクが複数存在する場合、認識されたユーザ音声と一致しているテキストを有するハイパーリンクを含む候補群リストをディスプレイする。具体的に、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は、音声開始命令に応答し、音声入力部１１０を介して電子装置１００のモードを入力されるユーザ音声によって制御される音声タスクモードに切り替える。このとき、ディスプレイ画面には、複数のハイパーリンクを含むウェブページがディスプレイされる。
制御部１４０は、ウェブページに含まれた複数のハイパーリンクに含まれたテキストを抽出する。このとき、制御部１４０は、抽出されたテキストを抽出されていないテキストと区別できるように表示することができる。例えば、制御部１４０は、抽出されたテキストに下線を引いたり、太く表示したり、ハイライトさせて表示することができる。
そして、音声入力部１１０を介してユーザ音声が入力されると、制御部１４０は入力されたユーザ音声を認識し、認識されたユーザ音声と一致しているテキストを有するハイパーリンクが複数存在する場合、認識されたユーザ音声と一致しているテキストを有するハイパーリンクを含む候補群リストをディスプレイする。例えば、音声入力部１１０に入力されたユーザ音声が“サムスン電子”である場合、制御部１４０はテキストに“サムスン電子”が含まれたテキストを有するハイパーリンクが含まれた候補群リストを生成することができる。
このとき、音声入力部１１０を介してユーザ音声が再入力されると、制御部１４０は、再入力されたユーザ音声を認識し、再入力されたユーザ音声を反映して候補群リストを変更することができる。例えば、“サムスン電子”が認識され、“株式”が再入力された場合、制御部１４０はテキストに“サムスン電子 株式”が含まれたテキストを有するハイパーリンクのみが含まれるように、候補群リストを変更することができる。そして、音声タスクモードが解除されると、制御部１４０は、候補群リストをディスプレイ画面から除去することができる。
図１４８は、本発明の一実施形態に係る候補群リストをディスプレイする方法を説明するためのフローチャートである。まず、電子装置１００には、音声入力部１１０を介して音声開始命令が入力される（Ｓ１４８１０）。そして、電子装置１００は、音声入力部１１０を介して入力された音声開始命令に応答し、音声タスクモードに切り替える（Ｓ１４８２０）。そして、電子装置１００は、ユーザの操作に応じてディスプレイ画面にウェブページをディスプレイする（Ｓ１４８３０）。このとき、ウェブページ画面には、複数のハイパーリンクが含まれる。
そして、電子装置１００は、ウェブページに含まれたハイパーリンクのテキストを抽出する（Ｓ１４８４０）。そして、電子装置１００には、音声入力部１１０を介してユーザ音声が入力される（Ｓ１４８５０）。そして、電子装置１００は、ユーザ音声と一致しているテキストを有するハイパーリンクが一つであるか否かを判断する（Ｓ１４８６０）。ユーザ音声と一致しているテキストを有するハイパーリンクが一つである場合（Ｓ１４８６０−Ｙ）、制御部１４０は当該ハイパーリンクを実行する（Ｓ１４８７０）。
しかし、ユーザ音声と一致しているテキストを有するハイパーリンクが複数である場合（Ｓ１４８６０−Ｎ）、制御部１４０は複数のハイパーリンクが含まれた候補群リストを生成してディスプレイする（Ｓ１４８８０）。そして、制御部１４０は、ユーザの操作に応じてハイパーリンクを選択（例えば、ハイパーリンクのテキストを音声で入力）し（Ｓ１４８９０）、選択されたハイパーリンクを実行する（Ｓ１４８７０）。
上述のように、候補群リストを生成することにより、ユーザ音声と一致しているハイパーリンクが複数であるとしても、ユーザは候補群リストを通じて自分の望むハイパーリンクを実行させることができるようになる。
制御部１４０は、音声入力部１１０を介して入力されたユーザ音声の大きさが予め設定された大きさより小さい場合、音声ガイド情報の第１領域にユーザ音声を認識できないというフィードバックＵＩをディスプレイすることができる。具体的に、音声入力部１１０を介して音声開始命令が入力されると、制御部１４０は音声開始命令に応答し、音声入力部１１０を介して入力されるユーザ音声によって制御される音声タスクモードに切り替えてよい。
音声タスクモードで、音声入力部１１０を介して入力されたユーザ音声によって行われる音声タスクをガイドする音声ガイド情報をディスプレイする。このとき、音声ガイド情報はディスプレイ画面の下段にディスプレイされてよい。
そして、音声入力部１１０には、ユーザ音声が入力される。音声入力部１１０を介して入力されたユーザ音声の大きさが予め設定された大きさより小さい場合、制御部１４０は音声ガイド情報の第１領域のユーザ音声を認識できないというフィードバックＵＩをディスプレイする。このとき、フィードバックＵＩは予め設定された大きさ及び音声入力部１１０を介して入力されたユーザ音声の大きさをバー形態で表現したＧＵＩを含んでよい。ここで、第１領域は、音声ガイド情報の下段であってよい。
なお、制御部１４０は、音声ガイド情報に予め設定された大きさ以上のユーザ音声が入力されるべきとするメッセージとともにディスプレイしてよい。例えば、“より大きい声で話してください”というメッセージがディスプレイされてよい。
図１４９は、本発明の一実施形態に係る音声認識エラーをガイドするためのＵＩを説明するためのフローチャートである。まず、電子装置１００には、音声入力部１１０を介して音声開始命令が入力される（Ｓ１４９１０）。そして、電子装置１００は、音声入力部１１０を介して入力された音声開始命令に応答し、電子装置１００のモードを音声タスクモードに切り替える（Ｓ１４９２０）。そして、電子装置１００は、音声タスクモードを行うための音声ガイド情報をディスプレイ画面の下段にディスプレイする（Ｓ１４９３０）。
そして、電子装置１００には、音声入力部１１０を介してユーザ音声が入力される（Ｓ１４９４０）。そして、音声入力部１１０を介して入力されたユーザ音声の大きさが予め設定された大きさより小さい場合、電子装置１００はフィードバックＵＩをディスプレイする（Ｓ１４９５０）。このとき、フィードバックＵＩは、ユーザの音声が予め設定された大きさより小さく、音声認識ができないというメッセージ及びより大きく発話せよというメッセージが含まれたＵＩであってよい。
上述のように、ユーザの声が小さく音声認識ができない場合、電子装置１００がそれをユーザに知らせることにより、ユーザは音声認識ができない理由を認知して、それを容易に解決することができるようになる。
上述のような電子装置１００を通じて、ユーザは、ユーザの音声またはユーザのモーションのいずれか一つを通じて電子装置をより効率的かつ直観的に制御できるようになる。
一方、上述の様々な実施形態において、音声入力部１１０は、直接ユーザの音声が入力されるマイクで実現されてよく、または、マイクから入力された音声信号が伝達されるインターフェースで実現されてよい。同様に、モーション入力部１２０は、ユーザを直接撮像するカメラで実現されてよく、カメラで撮像したデータが伝達されるインターフェースで実現されてよい。
一方、上述の電子装置１００は、テレビで実現されてよいが、それに限定されずに、セットトップボックス、パソコン、ラップトップパソコン、デジタルフォトフレーム、電子書籍、ＰＤＡ及び携帯電話等のような多様な装置で実現されてよい。
一方、上述の図３においては、保存部１３０内に各種ソフトフェアモジュールが保存された状態について説明したが、それらソフトウェアモジュールは、必ずしも一つの保存部１３０に保存されるものではない。
即ち、実施形態によって、音声認識モジュール及びモーション認識モジュールは、それぞれ別途の保存ユニットに保存されてよい。それにより、音声認識モジュールは、マイクから入力された音声信号からユーザ音声を認識し、認識の結果を制御部１４０に提供することができる。なお、モーション認識モジュールは、カメラで撮像した映像信号を用いてユーザのモーションを認識した後、認識結果を制御部１４０に提供することもできる。
または、このような音声認識モジュール及びモーション認識モジュールは、それぞれ別個の外部装置に保存されていてよい。例えば、マイクに備えられた音声認識装置で音声認識モジュールを用いてユーザの音声を認識した後、その認識結果を電子装置１００に伝送してよい。同様に、カメラを備えたモーション認識装置でモーション認識モジュールを用いてユーザのモーションを認識し、その認識結果を電子装置１００に伝送してよい。
なお、以上のような多様な実施形態に係る制御方法を行うためのプログラムコードは、多様な類型の記録媒体に保存されてよい。具体的には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読み取り可能な多様な類型の記録媒体に保存されていてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (11)

  1. 電子装置において、
    映像を提供するディスプレイ部と、
    前記電子装置のカメラを用いて、ユーザモーションを前記電子装置内に入力するモーション入力部と、
    映像の種類に応じて、予め設定されたユーザモーションに対応するモーションタスクが異なるようにマッピングされたモーションデータベースを保存する保存部と、
    前記モーション入力部を介して入力されたユーザモーションを認識し、前記ディスプレイ部に現在提供される映像の種類に応じて、前記認識されたユーザモーションに対応するモーションタスクを行い、前記ディスプレイ部に現在提供される映像の種類に応じて、モーションガイド情報をディスプレイするように前記ディスプレイ部を制御する制御部とを含み、
    前記制御部は、
    前記現在提供される映像の種類が放送映像である場合、前記モーションガイド情報は前記放送映像を制御するためのモーションに関する情報をディスプレイし、
    前記現在提供される映像の種類がウェブページである場合、前記モーションガイド情報は前記ウェブページの映像を制御するためのモーションに関する情報をディスプレイするように前記ディスプレイ部を制御する、
    ことを特徴とする電子装置。
  2. 前記制御部は、
    前記映像の種類が放送映像である場合、前記認識されたユーザモーションに対応してチャネル変更機能または音量調節機能を行い、
    前記映像の種類がウェブページ映像である場合、前記認識されたユーザモーションに対応して画面移動機能を行うことを特徴とする請求項１に記載の電子装置。
  3. 前記ユーザモーションは、スラップモーションであることを特徴とする請求項２に記載の電子装置。
  4. 前記ユーザモーションが上下方向へのスラップモーションである場合、
    前記制御部は、
    前記映像の種類が放送映像である場合、前記認識されたユーザモーションに対応してチャネル変更機能を行い、
    前記映像の種類がウェブページ映像である場合、前記認識されたユーザモーションに対応して上下方向への画面移動機能を行うことを特徴とする請求項３に記載の電子装置。
  5. 前記ユーザモーションが左右方向へのスラップモーションである場合、
    前記制御部は、
    前記映像の種類が放送映像である場合、前記認識されたユーザモーションに対応して音量調節機能を行い、
    前記映像の種類がウェブページ映像である場合、前記認識されたユーザモーションに対応して左右方向への画面移動機能を行うことを特徴とする請求項３に記載の電子装置。
  6. 電子装置の制御方法において、
    前記電子装置が現在ディスプレイ上に表示している映像の種類に応じて、モーションガイド情報をディスプレイするステップであって、前記映像の種類が放送映像である場合、前記モーションガイド情報は前記放送映像を制御するためのモーションに関する情報をディスプレイし、前記映像の種類がウェブページである場合、前記モーションガイド情報は前記ウェブページの映像を制御するためのモーションに関する情報をディスプレイする、ステップと、
    前記電子装置のカメラを用いてユーザモーションを獲得し、モーション認識モジュールを介して前記ユーザモーションを認識するステップと、
    前記電子装置に現在提供される映像の種類に応じて、前記ユーザモーションに対応するモーションタスクを行うステップと、
    を含むことを特徴とする制御方法。
  7. 前記行うステップは、
    前記映像の種類が放送映像である場合、前記ユーザモーションに対応してチャネル変更機能または音量調節機能を行い、
    前記映像の種類がウェブページ映像である場合、前記ユーザモーションに対応して画面移動機能を行うことを特徴とする請求項６に記載の制御方法。
  8. 前記ユーザモーションは、スラップモーションであることを特徴とする請求項７に記載の制御方法。
  9. 前記ユーザモーションが上下方向へのスラップモーションである場合、
    前記行うステップは、
    前記映像の種類が放送映像である場合、前記ユーザモーションに対応してチャネル変更機能を行い、
    前記映像の種類がウェブページ映像である場合、前記ユーザモーションに対応して上下方向への画面移動機能を行うことを特徴とする請求項８に記載の制御方法。
  10. 前記ユーザモーションが左右方向へのスラップモーションである場合、
    前記行うステップは、
    前記映像の種類が放送映像である場合、前記ユーザモーションに対応して音量調節機能を行い、
    前記映像の種類がウェブページ映像である場合、前記ユーザモーションに対応して左右方向への画面移動機能を行うことを特徴とする請求項８に記載の制御方法。
  11. 前記電子装置は、
    映像の種類に応じて、予め設定されたユーザモーションに対応するモーションタスクが異なるようにマッピングされたモーションデータベースを保存し、
    前記行うステップは、
    前記モーションデータベースを用いて、前記ユーザモーションに対応するモーションタスクを行うことを特徴とする請求項６に記載の制御方法。
JP2012173305A 2011-08-05 2012-08-03 電子装置及びその制御方法 Active JP5746111B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161515459P 2011-08-05 2011-08-05
US61/515,459 2011-08-05
KR10-2012-0040995 2012-04-19
KR1020120040995A KR101311972B1 (ko) 2011-08-05 2012-04-19 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치

Publications (2)

Publication Number Publication Date
JP2013041579A JP2013041579A (ja) 2013-02-28
JP5746111B2 true JP5746111B2 (ja) 2015-07-08

Family

ID=46601705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012173305A Active JP5746111B2 (ja) 2011-08-05 2012-08-03 電子装置及びその制御方法

Country Status (5)

Country Link
US (2) US20130033649A1 (ja)
EP (2) EP2858372A3 (ja)
JP (1) JP5746111B2 (ja)
CN (1) CN102917271A (ja)
WO (1) WO2013022222A2 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
EP2959368A4 (en) * 2013-02-19 2017-02-08 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
JP6223713B2 (ja) * 2013-05-27 2017-11-01 株式会社東芝 電子機器、方法及びプログラム
CN103345352B (zh) * 2013-06-05 2016-08-10 上海斐讯数据通信技术有限公司 移动终端图像旋转系统及移动终端图像旋转方法
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US8938760B1 (en) * 2013-08-01 2015-01-20 Browan Communications Inc. Television box and method for controlling display to display audio/video information
US10674198B2 (en) * 2013-08-06 2020-06-02 Saronikos Trading And Services, Unipessoal Lda System for controlling electronic devices by means of voice commands, more specifically a remote control to control a plurality of electronic devices by means of voice commands
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
CN104345880B (zh) * 2013-08-08 2017-12-26 联想(北京)有限公司 一种信息处理的方法及电子设备
US20150193111A1 (en) * 2013-10-01 2015-07-09 Google Inc. Providing Intent-Based Feedback Information On A Gesture Interface
JP6220622B2 (ja) * 2013-10-08 2017-10-25 株式会社東海理化電機製作所 動作検知リモートシステム
USD753669S1 (en) * 2013-10-10 2016-04-12 Healthmate International, LLC Display screen with graphical user interface
US10209955B2 (en) * 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치
CN104978017A (zh) * 2014-04-14 2015-10-14 冠捷投资有限公司 利用使用者手势操控显示装置的功能选单的方法
KR102118482B1 (ko) * 2014-04-25 2020-06-03 삼성전자주식회사 홈 네트워크 시스템에서 다바이스 제어 방법 및 장치
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN104090652B (zh) * 2014-06-13 2017-07-21 北京搜狗科技发展有限公司 一种语音输入方法和装置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN105516815A (zh) * 2014-09-25 2016-04-20 冠捷投资有限公司 使用者通过动作控制显示装置的操作界面的方法
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US9489172B2 (en) 2015-02-26 2016-11-08 Motorola Mobility Llc Method and apparatus for voice control user interface with discreet operating mode
US9754588B2 (en) 2015-02-26 2017-09-05 Motorola Mobility Llc Method and apparatus for voice control user interface with discreet operating mode
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
CN104834376A (zh) * 2015-04-30 2015-08-12 努比亚技术有限公司 电子宠物的控制方法和装置
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN106302972A (zh) * 2015-06-05 2017-01-04 中兴通讯股份有限公司 语音使用的提示方法以及终端设备
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
KR102566171B1 (ko) * 2016-01-06 2023-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2017119663A1 (en) 2016-01-06 2017-07-13 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN106101853A (zh) * 2016-07-18 2016-11-09 无锡天脉聚源传媒科技有限公司 一种节目热度确定的方法及装置
CN106303711B (zh) 2016-08-09 2019-12-03 深圳Tcl数字技术有限公司 界面显示方法及电视系统
WO2018027633A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令的方法和电视机
WO2018027631A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令技术的数据采集方法和电视机
WO2018027632A1 (zh) * 2016-08-10 2018-02-15 董访问 动感输入电视指令时的信息推送方法和电视机
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN109391884A (zh) * 2017-08-08 2019-02-26 惠州超声音响有限公司 扬声器系统及操控扬声器的方法
CN109725798B (zh) * 2017-10-25 2021-07-27 腾讯科技（北京）有限公司 智能角色的切换方法及相关装置
CN108134877A (zh) * 2017-12-21 2018-06-08 西安钛克韦尔信息科技有限公司 一种语音交互方法和移动终端
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN112997143B (zh) * 2018-05-07 2024-07-09 谷歌有限责任公司 提供用于控制连接设备的复合图形助理界面的方法、系统和装置
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN109194916B (zh) * 2018-09-17 2022-05-06 东莞市丰展电子科技有限公司 一种具有图像处理模块的可移动拍摄系统
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
JP2021071797A (ja) * 2019-10-29 2021-05-06 富士通クライアントコンピューティング株式会社 表示装置および情報処理装置
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR102250720B1 (ko) * 2020-10-23 2021-05-11 삼성전자주식회사 디스플레이 장치 및 제어 방법
US20220201136A1 (en) * 2020-12-17 2022-06-23 Canon Kabushiki Kaisha Information processing system that executes command corresponding to utterance, image processing apparatus, control method for information processing system, and storage medium storing control program for information processing system
US11503361B1 (en) * 2021-07-26 2022-11-15 Sony Group Corporation Using signing for input to search fields
US11960652B2 (en) * 2021-10-12 2024-04-16 Qualcomm Incorporated User interactions with remote devices

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
JP2000112610A (ja) * 1998-09-30 2000-04-21 Victor Co Of Japan Ltd コンテンツ表示選択システム及びコンテンツ記録媒体
US6351222B1 (en) * 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP3523213B2 (ja) * 2001-03-28 2004-04-26 株式会社ジャストシステム コマンド処理装置、コマンド処理方法、及びコマンド処理プログラム
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4332707B2 (ja) * 2003-05-12 2009-09-16 ソニー株式会社 操作入力受付装置、操作入力受付方法および遠隔操作システム
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
JP2007052397A (ja) * 2005-07-21 2007-03-01 Denso Corp 操作装置
EP1804500A1 (fr) * 2005-12-30 2007-07-04 Le Club Confort et Sécurité Téléviseur multifonction et autonome
US8294669B2 (en) * 2007-11-19 2012-10-23 Palo Alto Research Center Incorporated Link target accuracy in touch-screen mobile devices by layout adjustment
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
KR101017936B1 (ko) * 2008-09-18 2011-03-04 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
US8176438B2 (en) * 2008-09-26 2012-05-08 Microsoft Corporation Multi-modal interaction for a screen magnifier
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR20100062012A (ko) * 2008-12-01 2010-06-10 엘지전자 주식회사 디지털 방송 수신 장치 및 그 동작 방법
JP5175755B2 (ja) * 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
US8136051B2 (en) * 2009-03-13 2012-03-13 Sony Corporation Method and apparatus for automatically updating a primary display area
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
KR101611302B1 (ko) * 2009-08-10 2016-04-11 엘지전자 주식회사 제스쳐 입력이 가능한 휴대 단말기 및 그 제어방법
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
KR101134245B1 (ko) * 2010-05-28 2012-04-09 엘지이노텍 주식회사 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101789619B1 (ko) * 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US20120260167A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치

Also Published As

Publication number Publication date
US20130033649A1 (en) 2013-02-07
US20130076990A1 (en) 2013-03-28
JP2013041579A (ja) 2013-02-28
EP2858372A3 (en) 2015-05-06
WO2013022222A3 (en) 2013-05-02
EP2555535A1 (en) 2013-02-06
CN102917271A (zh) 2013-02-06
WO2013022222A2 (en) 2013-02-14
EP2858372A2 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
JP2013037689A (ja) 電子装置及びその制御方法
JP2014532933A (ja) 電子装置及びその制御方法
AU2012293064B2 (en) Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
US20130174101A1 (en) Electronic apparatus and method of controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150507

R150 Certificate of patent or registration of utility model

Ref document number: 5746111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250