Nothing Special   »   [go: up one dir, main page]

JP2002259113A - Voice macro processor, its method, computer program, and recording medium with its program recorded - Google Patents

Voice macro processor, its method, computer program, and recording medium with its program recorded

Info

Publication number
JP2002259113A
JP2002259113A JP2001058315A JP2001058315A JP2002259113A JP 2002259113 A JP2002259113 A JP 2002259113A JP 2001058315 A JP2001058315 A JP 2001058315A JP 2001058315 A JP2001058315 A JP 2001058315A JP 2002259113 A JP2002259113 A JP 2002259113A
Authority
JP
Japan
Prior art keywords
script
user
voice
script file
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001058315A
Other languages
Japanese (ja)
Inventor
Hitoshi Shimizu
清水  仁
Harumitsu Miyagawa
晴光 宮川
Kenichi Kuromushiya
健一 黒武者
Ikuo Karashi
育雄 芥子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001058315A priority Critical patent/JP2002259113A/en
Publication of JP2002259113A publication Critical patent/JP2002259113A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a voice macro processor capable of executing optional operation required by a user by using user's voice. SOLUTION: A script preparation part 21 detects user's operation, generates a script for reproducing the operation and prepares a script file. A script execution part 24 executes the script file retrieved based on a voice recognition result obtained by a script access part 22. Thereby optional operation required by a user can be executed by a voice. Even a user not understanding the operation of an application or the like can execute the operation by allowing the script execution part 24 to execute the script file, so that an operation method can be learned.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、アプリケーション
プログラム、OA(Office Automation)機器、AV(A
udio Visual)機器などの操作をスクリプトによって行
なう技術に関し、特に、アプリケーション等の任意の操
作を音声によって行なわせることが可能な音声マクロ処
理装置、その方法、そのコンピュータ・プログラムおよ
びそのプログラムを記録した記録媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an application program, an OA (Office Automation) device, an AV (A
The present invention relates to a technique for performing operations of a device or the like by using a script, and in particular, to a voice macro processing apparatus capable of performing an arbitrary operation of an application or the like by voice, a method thereof, a computer program thereof, and a recording recording the program. Regarding the medium.

【0002】[0002]

【従来の技術】近年、パーソナルコンピュータ等の情報
処理装置が広く普及するとともに、コンピュータ上で動
作するアプリケーションプログラムも多様化して、操作
手順を覚えるのにかなりの労力が必要となってきてい
る。また、アプリケーションプログラムの多くは、キー
ボードやマウスを操作する必要があり、キーボードやマ
ウスの操作に慣れていない人にとってはコンピュータが
使い難いものであるとの認識を持つ一因ともなってい
る。
2. Description of the Related Art In recent years, as information processing apparatuses such as personal computers have become widespread, application programs operating on computers have been diversified, and considerable effort has been required to learn operation procedures. In addition, many of the application programs need to operate a keyboard and a mouse, which is one of the reasons that a person who is not used to operating the keyboard and the mouse recognizes that the computer is difficult to use.

【0003】このような問題を解決する技術の1つとし
て、音声によってコンピュータにコマンドを実行させる
ようにしたものがあり、これに関連する技術として特開
平6-103052号公報、特開平6-348452号公
報、特開平2-83727号公報および特開平5-418
94号公報に開示された発明がある。
As one of the techniques for solving such a problem, there is a technique in which a computer is caused to execute a command by voice, and as related techniques, Japanese Patent Application Laid-Open Nos. 6-103052 and 6-348452. JP, JP-A-2-83727 and JP-A-5-418
There is an invention disclosed in Japanese Patent Publication No. 94-94.

【0004】特開平6-103052号公報に開示され
た発明は、メニュー方式のユーザインタフェースにおい
て、ユーザが文字または音声で実行したい機能を入力す
ることによって、ユーザが実行したい機能がメニュー階
層の中のどこにあるかを知らなくても所望の機能を実行
させることを可能としたものである。特開平6-348
452号公報に開示された発明は、コンピュータ中の実
行可能なコマンドのリストを作成し、音声認識による認
識結果によってそのリストにあるコマンドを実行するよ
うにしたものである。
The invention disclosed in Japanese Patent Laid-Open Publication No. Hei 6-103052 discloses a method in which a user inputs a function to be executed by text or voice in a menu-type user interface, so that a function to be executed by the user is displayed in a menu hierarchy. It is possible to execute a desired function without knowing where it is. JP-A-6-348
In the invention disclosed in Japanese Patent No. 452, a list of executable commands in a computer is created, and the commands in the list are executed based on a recognition result by voice recognition.

【0005】特開平2-83727号公報に開示された
発明は、入力された音声に対応させて、画面上に表示さ
れた人物像の口唇の動きや表情を変えながら音声出力を
行なうことによって、人間が機械と対話する際に人間が
受ける心理的な違和感を軽減させたものである。
[0005] The invention disclosed in Japanese Patent Application Laid-Open No. 2-83727 is to output a voice while changing the movement and expression of a lip of a human image displayed on a screen in accordance with the input voice. It reduces the psychological discomfort experienced by humans when they interact with machines.

【0006】特開平5-41894号公報に開示された
発明は、音声入力を音声認識し、この音声入力の命令や
情報に応じてVTR(Video Tape Recorder)を制御す
るとともに、アニメーションキャラクタの映像を発生さ
せてメッセージを発音させることにより、より自然な形
態でのマン−マシン・インタフェースを実現したもので
ある。
[0006] The invention disclosed in Japanese Patent Application Laid-Open No. Hei 5-41894 recognizes voice input by voice, controls a VTR (Video Tape Recorder) in accordance with the voice input command and information, and displays an image of an animation character. By generating the message and generating the message, a man-machine interface in a more natural form is realized.

【0007】[0007]

【発明が解決しようとする課題】しかし、上述した特開
平6-103052号公報および特開平6-348452
号公報に開示された発明は、音声入力に対応したコマン
ドが予め定められており、ユーザが音声入力によって実
行できるコマンドは予め定められたコマンドに限定され
ていたため、ユーザが所望するコマンドを音声入力で実
行させることができない場合があるという問題点があっ
た。また、音声入力でコマンドを実行させることができ
ても、ユーザが実行するコマンドについての理解が必要
であることに変わりはなかった。
However, the above-mentioned Japanese Patent Application Laid-Open Nos. Hei 6-103052 and Hei 6-348452 have been disclosed.
In the invention disclosed in Japanese Patent Application Laid-Open Publication No. H10-270, commands corresponding to voice input are predetermined, and commands that can be executed by the user by voice input are limited to predetermined commands. There is a problem that it may not be possible to execute the program. Further, even if the command can be executed by voice input, the user still needs to understand the command to be executed.

【0008】また、上述した特開平2-83727号公
報および特開平5−41894号公報に開示された発明
は、人物像やアニメーションキャラクタ(以下、擬人化
エージェントとも呼ぶ。)を表示させて対話的に処理を
行なうことによって、ユーザが機械に対して親しみを持
つことができる等の効果を奏することができるが、コン
ピュータからのメッセージを擬人化エージェントに置換
えたものに過ぎず、擬人化エージェントならではの使い
方がされてなかった。また、音声や画像で操作が示され
たとしても、ユーザにとってそれが何を意味するのかが
分からない場合があり、ユーザに操作の習熟の機会を与
えていないという問題点もあった。
Further, the inventions disclosed in the above-mentioned JP-A-2-83727 and JP-A-5-41894 are interactive by displaying a person image or an animation character (hereinafter also referred to as an anthropomorphic agent). By performing the processing described above, it is possible to obtain an effect such that the user can become familiar with the machine, but the message from the computer is merely replaced with an anthropomorphic agent, which is unique to the anthropomorphic agent. How to use was not done. Further, even if an operation is shown by voice or image, there is a case where the user does not know what it means, and there is also a problem that the user is not given an opportunity to learn the operation.

【0009】本発明は、上記問題点を解決するためにな
されたものであり、第1の目的は、ユーザが所望する任
意の操作を音声によって実行させることが可能な音声マ
クロ処理装置、その方法、そのコンピュータ・プログラ
ムおよびそのプログラムを記録した記録媒体を提供する
ことである。
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and a first object of the present invention is to provide a voice macro processing apparatus and method capable of executing an arbitrary operation desired by a user by voice. To provide a computer program and a recording medium on which the program is recorded.

【0010】第2の目的は、ユーザにとって親しみやす
いインタフェースを実現する音声マクロ処理装置、その
方法、そのコンピュータ・プログラムおよびそのプログ
ラムを記録した記録媒体を提供することである。
A second object of the present invention is to provide an audio macro processing device, a method thereof, a computer program thereof, and a recording medium on which the program is recorded, which realizes an interface friendly to a user.

【0011】第3の目的は、アプリケーション等の操作
が分からないユーザであっても、その操作法を学習する
ことが可能な音声マクロ処理装置、その方法、そのコン
ピュータ・プログラムおよびそのプログラムを記録した
記録媒体を提供することである。
A third object is to record an audio macro processing device, a method thereof, a computer program thereof, and a computer program capable of learning the operation method even if the user does not know the operation of the application or the like. It is to provide a recording medium.

【0012】[0012]

【課題を解決するための手段】本発明のある局面に従え
ば、音声マクロ処理装置は、ユーザの操作を検出し、当
該操作を再現するスクリプトを生成してスクリプトファ
イルを作成するためのスクリプト作成手段と、ユーザに
よって入力された音声を認識するための音声認識手段
と、音声認識手段による認識結果に基づいてスクリプト
ファイルを選択的に実行するためのスクリプト実行手段
とを含む。
According to one aspect of the present invention, a voice macro processing device detects a user operation, generates a script for reproducing the operation, and creates a script for generating a script file. Means, voice recognition means for recognizing voice input by the user, and script execution means for selectively executing a script file based on a recognition result by the voice recognition means.

【0013】スクリプト作成手段は、ユーザの操作を検
出し、当該操作を再現するスクリプトを生成してスクリ
プトファイルを作成するので、ユーザが所望する任意の
操作を音声によって実行させることが可能となる。ま
た、スクリプト実行手段は、音声認識手段による認識結
果に基づいてスクリプトファイルを選択的に実行するの
で、アプリケーション等の操作が分からないユーザであ
っても、その操作を行なうことができ、操作法を学習す
ることが可能となる。
The script creation means detects a user's operation, generates a script for reproducing the operation, and creates a script file, so that any operation desired by the user can be executed by voice. Further, the script execution means selectively executes the script file based on the recognition result by the voice recognition means, so that even a user who does not know the operation of the application or the like can perform the operation, and It is possible to learn.

【0014】好ましくは、スクリプト作成手段は、ユー
ザの操作に応じてエージェントを移動するスクリプトを
生成してスクリプトファイルに付加する。
[0014] Preferably, the script creating means generates a script for moving the agent according to the operation of the user and adds the script to the script file.

【0015】したがって、ユーザにとって親しみやすい
インタフェースを実現することが可能となる。
Therefore, it is possible to realize an interface which is easy for the user to get close to.

【0016】さらに好ましくは、スクリプト作成手段
は、ユーザがマウスボタンをクリックした位置の近くに
エージェントを移動するスクリプトを生成してスクリプ
トファイルに付加する。
[0016] More preferably, the script creating means generates a script for moving the agent near the position where the user clicks the mouse button, and adds the script to the script file.

【0017】したがって、スクリプト実行手段がスクリ
プトファイルを実行することによってエージェントが移
動しながら操作が行なわれるので、ユーザは操作法を容
易に習得することが可能となる。
Therefore, the script execution means executes the script file to perform the operation while the agent moves, so that the user can easily learn the operation method.

【0018】さらに好ましくは、スクリプト作成手段
は、エージェントを移動するスクリプトを生成する際
に、ユーザに対して操作を案内する発話内容を出力する
スクリプトを任意に生成する。
More preferably, the script creating means arbitrarily creates a script for outputting an utterance content for guiding a user to an operation when generating a script for moving the agent.

【0019】したがって、ユーザはさらに容易に操作法
を習得することが可能となる。好ましくは、音声マクロ
処理装置はさらに、スクリプト作成手段によって作成さ
れたスクリプトファイルを外部へ送信するための送信手
段を含む。
Therefore, the user can more easily learn the operation method. Preferably, the audio macro processing device further includes a transmission unit for transmitting the script file created by the script creation unit to the outside.

【0020】したがって、外部のコンピュータがそのス
クリプトファイルを受信して実行することによって、ア
プリケーション等の操作が分からないユーザであって
も、その操作を行なうことができ、操作法を学習するこ
とが可能となる。
Therefore, by receiving and executing the script file by an external computer, even a user who does not know the operation of the application or the like can perform the operation and learn the operation method. Becomes

【0021】好ましくは、音声マクロ処理装置はさら
に、外部からスクリプトファイルを受信するための受信
手段を含み、スクリプト実行手段は、受信手段によって
受信されたスクリプトファイルを実行する。
Preferably, the audio macro processing device further includes a receiving means for receiving a script file from the outside, and the script executing means executes the script file received by the receiving means.

【0022】したがって、アプリケーション等の操作が
分からないユーザであっても、その操作を行なうことが
でき、操作法を学習することが可能となる。
Therefore, even a user who does not know the operation of the application or the like can perform the operation and can learn the operation method.

【0023】好ましくは、音声マクロ処理装置はさら
に、スクリプト作成手段によって作成されたスクリプト
ファイルと名前との対応が登録された対応表を含み、ス
クリプト実行手段は、音声認識手段による認識結果と名
前が一致するスクリプトファイルを検索して実行する。
Preferably, the voice macro processing device further includes a correspondence table in which the correspondence between the script file created by the script creating means and the name is registered. Search for and execute a matching script file.

【0024】したがって、ユーザが所望する操作の検索
が容易に行なえるようになる。本発明の別の局面に従え
ば、音声マクロ処理方法は、ユーザの操作を検出し、当
該操作を再現するスクリプトを生成してスクリプトファ
イルを作成するステップと、ユーザによって入力された
音声を認識するステップと、認識結果に基づいてスクリ
プトファイルを選択的に実行するステップとを含む。
Therefore, it is possible to easily search for the operation desired by the user. According to another aspect of the present invention, a voice macro processing method detects a user operation, generates a script that reproduces the operation, creates a script file, and recognizes voice input by the user. And a step of selectively executing the script file based on the recognition result.

【0025】ユーザの操作を検出し、当該操作を再現す
るスクリプトを生成してスクリプトファイルを作成する
ので、ユーザが所望する任意の操作を音声によって実行
させることが可能となる。また、音声認識結果に基づい
てスクリプトファイルを選択的に実行するので、アプリ
ケーション等の操作が分からないユーザであっても、そ
の操作を行なうことができ、操作法を学習することが可
能となる。
Since the operation of the user is detected, a script for reproducing the operation is generated, and the script file is created, any operation desired by the user can be executed by voice. Further, since the script file is selectively executed based on the speech recognition result, even a user who does not know the operation of the application or the like can perform the operation and can learn the operation method.

【0026】本発明のさらに別の局面に従えば、音声に
よってスクリプトファイルを指定して実行させる音声マ
クロ処理方法をコンピュータに実行させるためのコンピ
ュータ・プログラムであって、音声マクロ処理方法は、
ユーザの操作を検出し、当該操作を再現するスクリプト
を生成してスクリプトファイルを作成するステップと、
ユーザによって入力された音声を認識するステップと、
認識結果に基づいてスクリプトファイルを選択的に実行
するステップとを含む。
According to yet another aspect of the present invention, there is provided a computer program for causing a computer to execute a voice macro processing method for designating and executing a script file by voice, the voice macro processing method comprising:
Detecting a user operation, generating a script that reproduces the operation, and creating a script file;
Recognizing voice input by the user;
Selectively executing the script file based on the recognition result.

【0027】ユーザの操作を検出し、当該操作を再現す
るスクリプトを生成してスクリプトファイルを作成する
ので、ユーザが所望する任意の操作を音声によって実行
させることが可能となる。また、音声認識結果に基づい
てスクリプトファイルを選択的に実行するので、アプリ
ケーション等の操作が分からないユーザであっても、そ
の操作を行なうことができ、操作法を学習することが可
能となる。
Since the operation of the user is detected, a script for reproducing the operation is generated, and the script file is created, any operation desired by the user can be executed by voice. Further, since the script file is selectively executed based on the speech recognition result, even a user who does not know the operation of the application or the like can perform the operation and can learn the operation method.

【0028】本発明のさらに別の局面に従えば、音声に
よってスクリプトファイルを指定して実行させる音声マ
クロ処理方法をコンピュータに実行させるためのプログ
ラムを記録したコンピュータで読取可能な記録媒体であ
って、音声マクロ処理方法は、ユーザの操作を検出し、
当該操作を再現するスクリプトを生成してスクリプトフ
ァイルを作成するステップと、ユーザによって入力され
た音声を認識するステップと、認識結果に基づいてスク
リプトファイルを選択的に実行するステップとを含む。
According to still another aspect of the present invention, there is provided a computer-readable recording medium storing a program for causing a computer to execute a voice macro processing method for designating and executing a script file by voice, The voice macro processing method detects a user operation,
The method includes the steps of generating a script that reproduces the operation to create a script file, recognizing a voice input by the user, and selectively executing the script file based on the recognition result.

【0029】ユーザの操作を検出し、当該操作を再現す
るスクリプトを生成してスクリプトファイルを作成する
ので、ユーザが所望する任意の操作を音声によって実行
させることが可能となる。また、音声認識結果に基づい
てスクリプトファイルを選択的に実行するので、アプリ
ケーション等の操作が分からないユーザであっても、そ
の操作を行なうことができ、操作法を学習することが可
能となる。
Since the operation of the user is detected, a script for reproducing the operation is generated, and the script file is created, any operation desired by the user can be executed by voice. Further, since the script file is selectively executed based on the speech recognition result, even a user who does not know the operation of the application or the like can perform the operation and can learn the operation method.

【0030】[0030]

【発明の実施の形態】図1は、本発明の実施の形態にお
ける音声マクロ処理装置の外観例を示す図である。この
音声マクロ処理装置は、コンピュータ本体1、グラフィ
ックディスプレイ装置2、FD(Flexible Disk)4が
装着されるFDドライブ3、キーボード5、マウス6、
CD−ROM(Compact Disc-Read Only Memory)8が
装着されるCD−ROM装置7、ネットワーク通信装置
9および音声入力装置14を含む。
FIG. 1 is a diagram showing an example of the appearance of an audio macro processing apparatus according to an embodiment of the present invention. This audio macro processing device includes a computer main body 1, a graphic display device 2, an FD drive 3 on which an FD (Flexible Disk) 4 is mounted, a keyboard 5, a mouse 6,
It includes a CD-ROM device 7 to which a CD-ROM (Compact Disc-Read Only Memory) 8 is mounted, a network communication device 9 and an audio input device 14.

【0031】音声マクロ処理プログラムは、FD4また
はCD−ROM8等の記録媒体によって供給される。音
声マクロ処理プログラムはコンピュータ本体1によって
実行され、ユーザはグラフィックディスプレイ装置2を
見ながらキーボード5またはマウス6を操作したり、音
声入力装置14から音声を入力して、音声マクロの生
成、実行等を行なう。また、音声マクロ処理プログラム
は他のコンピュータより通信回線を経由し、ネットワー
ク通信装置9を介してコンピュータ本体1に供給されて
もよい。
The audio macro processing program is supplied by a recording medium such as FD4 or CD-ROM8. The audio macro processing program is executed by the computer main body 1, and the user operates the keyboard 5 or the mouse 6 while watching the graphic display device 2 or inputs audio from the audio input device 14 to generate and execute an audio macro. Do. Further, the audio macro processing program may be supplied from another computer to the computer main body 1 via the communication line and the network communication device 9.

【0032】図2は、本発明の実施の形態における音声
マクロ処理装置の構成例を示すブロック図である。図1
に示すコンピュータ本体1は、CPU(Central Proces
singUnit)10、ROM(Read Only Memory)11、R
AM(Random Access Memory)12およびハードディス
ク13を含む。CPU10は、グラフィックディスプレ
イ装置2、FDドライブ3、キーボード5、マウス6、
CD−ROM装置7、ネットワーク通信装置9、ROM
11、RAM12、ハードディスク53または音声入力
装置14との間でデータを入出力しながら処理を行う。
FD4またはCD−ROM8に記録された音声マクロ処
理プログラムは、CPU10によってFDドライブ3ま
たはCD−ROM装置7を介して一旦ハードディスク1
3に格納される。CPU10は、ハードディスク13か
ら適宜音声マクロ処理プログラムをRAM12にロード
して実行することによって音声マクロの生成、実行等を
行なう。なお、音声マクロ処理プログラムは、他のアプ
リケーションプログラムと同時に実行されており、他の
アプリケーションプログラムの実行時においてユーザが
キーボード5やマウス6等を用いて行なった操作手順を
取得している。
FIG. 2 is a block diagram showing a configuration example of the audio macro processing device according to the embodiment of the present invention. Figure 1
The computer body 1 shown in FIG.
singUnit) 10, ROM (Read Only Memory) 11, R
An AM (Random Access Memory) 12 and a hard disk 13 are included. The CPU 10 includes a graphic display device 2, an FD drive 3, a keyboard 5, a mouse 6,
CD-ROM device 7, network communication device 9, ROM
The processing is performed while inputting / outputting data to / from the RAM 11, the RAM 12, the hard disk 53 or the voice input device 14.
The audio macro processing program recorded on the FD 4 or the CD-ROM 8 is temporarily stored in the hard disk 1 via the FD drive 3 or the CD-ROM device 7 by the CPU 10.
3 is stored. The CPU 10 generates and executes an audio macro by loading the audio macro processing program from the hard disk 13 into the RAM 12 and executing it. Note that the voice macro processing program is executed simultaneously with another application program, and obtains an operation procedure performed by the user using the keyboard 5, the mouse 6, and the like at the time of executing the other application program.

【0033】図3は、音声マクロ処理装置の機能的構成
(音声マクロ機能)の概略を示すブロック図である。こ
の音声マクロ処理装置は、ユーザの操作に基づいてスク
リプトを作成するスクリプト作成部21と、スクリプト
作成部21によって作成されたスクリプトを格納するス
クリプト格納部23と、スクリプト格納部23に格納さ
れたスクリプトの名前等の設定を行なってスクリプトを
呼出すスクリプト呼出部22と、スクリプト呼出部22
によって呼出されたスクリプトを実行するスクリプト実
行部24とを含む。
FIG. 3 is a block diagram schematically showing a functional configuration (speech macro function) of the speech macro processor. The audio macro processing device includes a script creation unit 21 that creates a script based on a user operation, a script storage unit 23 that stores a script created by the script creation unit 21, and a script that is stored in the script storage unit 23. A script calling unit 22 for setting the name of the script and calling the script;
And a script execution unit 24 that executes the script called by the script execution unit.

【0034】図4は、スクリプト作成部21の詳細を説
明するためのブロック図である。スクリプト作成部21
は、ユーザが行なう操作を記憶し、その操作手順をスク
リプト言語形式に変換し、スクリプトファイルを作成し
て登録する手順登録部25と、外部コンピュータ等との
間でスクリプトファイルの送受信を行なうスクリプト送
受信部26とを含む。
FIG. 4 is a block diagram for explaining the details of the script creating section 21. Script creation unit 21
Stores a procedure performed by a user, converts the procedure into a script language format, creates and registers a script file, and transmits and receives a script file between an external computer and the like. Unit 26.

【0035】手順登録部25は、ユーザがキーボード5
やマウス6等を用いて行なう操作を検出してその操作を
記憶し、その操作手順を後述するようなスクリプト言語
形式に変換してスクリプト格納部23に格納する。スク
リプト実行部24がこのスクリプトファイルを実行する
ことによって、ユーザが行なった操作手順を再現するこ
とができる。また、ユーザからの指定があれば、手順登
録部25は後述するようなエージェントをスクリプトの
実行中に表示して、スクリプトによって行なわれる操作
の説明、案内等をエージェントに行なわせるスクリプト
を挿入することも可能である。
The procedure registration unit 25 stores the keyboard 5
An operation performed using the mouse or the mouse 6 is detected, the operation is stored, the operation procedure is converted into a script language format described later, and stored in the script storage unit 23. By executing the script file by the script execution unit 24, the operation procedure performed by the user can be reproduced. Also, if specified by the user, the procedure registration unit 25 displays an agent, which will be described later, during the execution of the script, and inserts a script that allows the agent to explain and guide the operation performed by the script. Is also possible.

【0036】スクリプト送受信部26は、外部コンピュ
ータ等へスクリプトファイルを送信する場合、スクリプ
ト呼出部22の設定内容を参照してスクリプト格納部2
3から送信するスクリプトファイルを選択し、所定フォ
ーマットの送信用ファイルを作成して送信する。この所
定フォーマットの送信用ファイルは、スクリプトファイ
ルを送信することができ、送信先でスクリプト部分を抽
出できるものであれば、特に限定されるものではない。
When transmitting a script file to an external computer or the like, the script transmitting / receiving unit 26 refers to the setting contents of the script calling unit 22 and transmits the script file to the script storage unit 2.
3, a script file to be transmitted is selected, a transmission file in a predetermined format is created and transmitted. The transmission file in the predetermined format is not particularly limited as long as the script file can be transmitted and the script portion can be extracted at the transmission destination.

【0037】スクリプト送受信部26は、外部コンピュ
ータ等からスクリプトファイルを受信する場合、受信し
た所定フォーマットのファイルを解析して、スクリプト
部分を抽出して複数のスクリプトファイルを取得する。
受信したファイルには、各スクリプトファイルの設定情
報も含まれるので、その設定情報をスクリプト呼出部2
2に登録し、スクリプトファイルをスクリプト格納部2
3に格納する。
When a script file is received from an external computer or the like, the script transmitting / receiving unit 26 analyzes the received file in a predetermined format, extracts a script portion, and acquires a plurality of script files.
Since the received file also includes the setting information of each script file, the setting information is stored in the script calling unit 2.
2 and store the script file in the script storage 2
3 is stored.

【0038】図5は、スクリプト呼出部22の詳細を説
明するためのブロック図である。スクリプト呼出部22
は、音声入力部14を介して入力された音声(スクリプ
ト実行要求)を認識し、その音声認識結果によってスク
リプトファイルの実行要求を出力する音声認識機能27
と、スクリプトファイルとその名前との対応関係を示す
スクリプト・名前対応表28とを含む。
FIG. 5 is a block diagram for explaining details of the script calling unit 22. Script calling unit 22
Is a voice recognition function 27 that recognizes voice (script execution request) input via the voice input unit 14 and outputs a script file execution request based on the voice recognition result.
And a script / name correspondence table 28 indicating the correspondence between script files and their names.

【0039】音声認識機能27は、音声入力部14を介
して入力された音声を、HMM(Hidden Markov Mode
l)法やDP(Dynamic Programming)マッチング法など
を用いて認識してスクリプト実行要求を検出し、そのス
クリプト実行要求をスクリプト呼出部22へ出力する。
このスクリプト実行要求は、スクリプト呼出部22によ
って設定されたスクリプトファイルの名前をユーザが発
声することによって行なわれる。
The voice recognition function 27 converts the voice input through the voice input unit 14 into an HMM (Hidden Markov Mode).
l) A script execution request is detected by recognition using a method or a DP (Dynamic Programming) matching method, and the script execution request is output to the script calling unit 22.
This script execution request is made by the user uttering the name of the script file set by the script calling unit 22.

【0040】図6は、スクリプト・名前対応表28の設
定内容の一例を示す図である。スクリプト・名前対応表
28は、スクリプト作成時やスクリプト受信時にスクリ
プトに関する設定内容が書込まれた表である。図6に示
すように、スクリプトファイルが置かれている場所と、
スクリプトの名前と、その読みとの3行で1つの単位を
なしており、1つのスクリプトファイルに対応してい
る。音声認識機能27からスクリプト実行要求が出力さ
れると、スクリプト呼出部22はスクリプト・名前対応
表28を参照して、スクリプトファイルの名前の読みを
検索する。スクリプト呼出部22は、一致する読みが見
つかればそのスクリプトファイルのパスを取得して、ス
クリプト実行部24にそのスクリプトファイルを実行さ
せる。
FIG. 6 is a diagram showing an example of the setting contents of the script / name correspondence table 28. The script / name correspondence table 28 is a table in which setting contents relating to a script are written when a script is created or a script is received. As shown in FIG. 6, where the script file is located,
The three lines of the script name and its reading form one unit and correspond to one script file. When a script execution request is output from the voice recognition function 27, the script calling unit 22 refers to the script / name correspondence table 28 and searches for reading of the name of the script file. If a matching reading is found, the script calling unit 22 acquires the path of the script file, and causes the script execution unit 24 to execute the script file.

【0041】図7は、手順登録部25がユーザの操作手
順に応じて作成したスクリプトの一例を示す図である。
このスクリプトは、ユーザがインターネット・エクスプ
ローラ(米マイクロソフト社が開発したWWWブラウ
ザ)を起動して、インターネットを介して所定のURL
(Uniform Resource Locators)からファイル等のオブ
ジェクトを取得して表示させる操作を行なったときに生
成されたものを示している。このスクリプトは、インタ
ーネット・エクスプローラを起動し、ファイルを取得し
て表示させるスクリプトと、そのファイルを表示した
ウィンドウを最上位に表示させるスクリプトとから構
成される。
FIG. 7 is a diagram showing an example of a script created by the procedure registration unit 25 in accordance with a user's operation procedure.
This script allows a user to start Internet Explorer (a WWW browser developed by Microsoft Corporation in the United States) and to enter a predetermined URL via the Internet.
(Uniform Resource Locators) are generated when an operation such as acquiring an object such as a file from the Uniform Resource Locators and displaying it is performed. This script is composed of a script that starts Internet Explorer, acquires and displays a file, and a script that causes a window displaying the file to be displayed at the top level.

【0042】スクリプトの1〜2行目は、インターネ
ット・エクスプローラを起動して、所望のホームページ
のURL“http://welcome.jrta.co.jp/cgi-bin/main.c
gi?mode=0”からオブジェクトを取得するスクリプトで
ある。このスクリプトを実行したときにエラーが発生す
れば、戻り値として“retval”に−1が返される。
In the first and second lines of the script, the Internet Explorer is started, and the URL of the desired homepage “http://welcome.jrta.co.jp/cgi-bin/main.c
This script acquires an object from gi? mode = 0. If an error occurs when this script is executed, -1 is returned to "retval" as a return value.

【0043】スクリプトの3〜7行目は、1〜2行目
のスクリプトを実行したときにエラーが発生した場合
(retval=−1)の処理を行なうスクリプトである。4
〜5行目に示すスクリプト“MSGBOX”は、メッセージボ
ックスを開いてメッセージを表示させるためのものであ
り、“MB#ICONSTOP”はダイアログボックスに表示する
ときの引数を示している。6行目に示すスクリプト“EX
IT0”はこの処理の終了を示している。
The third to seventh lines of the script are scripts for performing processing when an error occurs (retval = -1) when executing the first and second lines of the script. 4
The script "MSGBOX" shown in the fifth to fifth lines is for opening a message box and displaying a message, and "MB_ICONSTOP" indicates an argument for displaying in a dialog box. The script "EX" shown on the sixth line
IT0 "indicates the end of this processing.

【0044】スクリプトの8行目に示す“SLEEP 400
0”は、4秒間処理をせずに待機することを示すスクリ
プトである。また、9行目に示す“SETWINDOWRECT”
は、ウィンドウを開いてインターネットを介して取得し
たファイルを表示させるためのスクリプトである。表示
画面の左上を原点とし、座標(10,10)を基準とし
て幅710ドット、高さ560ドットのウィンドウを開
くことを示している。
"SLEEP 400" shown on the eighth line of the script
"0" is a script indicating that the process waits without processing for 4 seconds, and "SETWINDOWRECT" shown in the ninth line
Is a script for opening a window and displaying files obtained via the Internet. It indicates that a window having a width of 710 dots and a height of 560 dots is opened based on the coordinates (10, 10) with the upper left of the display screen as the origin.

【0045】スクリプトの1〜8行目は、ウィンドウ
内に表示された所定の文字列を検索する処理を行なわせ
るものである。スクリプトの5行目は、ウィンドウに
フォーカスを合せるためのスクリプトであり、属性“IE
Frame”を有するウィンドウに表示された文字列の中か
ら、ウィンドウの名前が“東海道新幹線時刻表−Micros
oft Internet Explorer”であるウィンドウを抽出する
ことを示している。“FW#LEFT”は左から順に文字列を
検索することを示している。
Lines 1 to 8 of the script are used to search for a predetermined character string displayed in the window. The fifth line of the script is a script for focusing on the window, and has the attribute “IE
From the character string displayed in the window with "Frame", the window name is "Tokaido Shinkansen Timetable-Micros
"FW # LEFT" indicates that a character string is to be searched in order from the left.

【0046】スクリプトの3〜8行目に示す処理は、
“count”が25となるか、“hwnd”が1以上となるま
で繰返される。すなわち、スクリプトの5〜6行目に
示す“FINDWINDOWEX”の処理が25回行なわれるか、正
常に処理が終了するまで行なわれる。なお、この処理が
正常に終了すると、戻り値として“hwnd”にウィンドウ
IDが返される。
The processing shown in the third to eighth lines of the script is as follows:
This operation is repeated until “count” becomes 25 or “hwnd” becomes 1 or more. In other words, the processing of "FINDWINDOWEX" shown in the fifth and sixth lines of the script is performed 25 times or until the processing ends normally. When this process ends normally, the window ID is returned to "hwnd" as a return value.

【0047】スクリプトの9〜18行目は、3〜8行
目の処理でエラーが発生したときの処理を示している。
スクリプトの14〜15行目は、ウィンドウの属性に
関係なく、ウィンドウの名前が“東海道新幹線時刻表−
Microsoft Internet Explorer”であるウィンドウを抽
出することを示している。スクリプトの12〜17行
目に示す処理は、“count”が25となるか、“hwnd”
が1以上となるまで繰返される。すなわち、スクリプト
の14〜15行目に示す“FINDWINDOWEX”の処理が2
5回行なわれるか、正常に処理が終了するまで行なわれ
る。スクリプトの19〜23行目は、“FINDWINDOWE
X”の処理でエラーが発生した場合(hwnd=−1)の処
理であり、メッセージボックスを開いてメッセージ“ウ
ィンドウ識別エラーです。”を表示させる。
The 9th to 18th lines of the script show processing when an error occurs in the processing of the 3rd to 8th lines.
The 14th to 15th lines of the script indicate that the name of the window is "Tokaido Shinkansen Timetable-
This indicates that a window that is "Microsoft Internet Explorer" is to be extracted. In the processing shown in the twelfth to seventeenth lines of the script, "count" is 25 or "hwnd"
Is repeated until 1 becomes 1 or more. That is, the processing of “FINDWINDOWEX” shown in the 14th to 15th lines of the script is 2
The processing is performed five times or until the processing ends normally. Lines 19 to 23 of the script are "FINDWINDOWE
This is the process when an error occurs in the process of "X" (hwnd = -1). Open the message box and the message "Window identification error. Is displayed.

【0048】スクリプトの24〜28行目は、上述し
た処理で抽出されたウィンドウIDを参照して、そのウ
ィンドウを最上位に表示させるものである。“SETFOCU
S”は、“hwnd”で指し示されるウィンドウを最上位に
表示させるためのスクリプトであり、この処理でエラー
が発生すると戻り値として“hwnd”に−1が返される。
スクリプトの25〜28行目は、“SETFOCUS”の処理
でエラーが発生した場合(retval=−1)の処理であ
り、メッセージボックスを開いてメッセージ“フォーカ
スエラーです。”を表示させる。
The 24th to 28th lines of the script refer to the window ID extracted in the above-described processing and display the window at the top. “SETFOCU
"S" is a script for displaying the window pointed to by "hwnd" at the top level. If an error occurs in this processing, "-1" is returned to "hwnd" as a return value.
The 25th to 28th lines of the script are processing when an error occurs in the processing of “SETFOCUS” (retval = −1), and a message box is opened to display a message “Focus error”.

【0049】このようにして、ユーザが行なった操作毎
に図7に示すようなスクリプトが作成され、作成された
一連のスクリプトがスクリプトファイルとしてスクリプ
ト格納部23に格納される。スクリプト実行部24がこ
のスクリプトファイルを実行することによって、ユーザ
が行なった操作を再現することができる。
In this way, a script as shown in FIG. 7 is created for each operation performed by the user, and a series of created scripts is stored in the script storage unit 23 as a script file. By executing the script file by the script execution unit 24, the operation performed by the user can be reproduced.

【0050】図8は、本実施の形態における音声マクロ
処理装置によるスクリプトファイルの作成処理の手順を
説明するためのフローチャートである。まず、ユーザが
キーボード5やマウス6を用いて操作を行なうと、手順
登録部25はその操作手順を記憶する(S1)。そし
て、ユーザによる操作が終了したか否かが判定される
(S2)。ユーザによる操作が終了していなければ(S
2,No)、ステップS1へ戻って以降の処理を繰返
す。
FIG. 8 is a flowchart for explaining a procedure of script file creation processing by the audio macro processing device according to the present embodiment. First, when the user performs an operation using the keyboard 5 or the mouse 6, the procedure registration unit 25 stores the operation procedure (S1). Then, it is determined whether or not the operation by the user has been completed (S2). If the user operation has not been completed (S
2, No), returning to step S1 to repeat the subsequent processing.

【0051】ユーザによる操作が終了していれば(S
2,Yes)、手順登録部25は図7に示すようなスク
リプトを含んだスクリプトファイルを作成する(S
3)。また、ユーザがこのスクリプトファイルが置かれ
る場所、スクリプトファイルの名前およびその読みを設
定情報として入力すると(S4)、スクリプト呼出部2
2がその設定情報をスクリプト・名前対応表28に登録
するとともに、手順登録部25によって作成されたスク
リプトファイルがスクリプト格納部23に格納されて
(S5)、処理が終了する。
If the operation by the user has been completed (S
2, Yes), the procedure registration unit 25 creates a script file including a script as shown in FIG. 7 (S
3). When the user inputs the location where the script file is placed, the name of the script file and its reading as setting information (S4), the script calling unit 2
2 registers the setting information in the script / name correspondence table 28, the script file created by the procedure registration unit 25 is stored in the script storage unit 23 (S5), and the process ends.

【0052】図9は、本実施の形態における音声マクロ
処理装置によるスクリプトファイルの実行処理の手順を
説明するためのフローチャートである。まず、ユーザが
音声入力装置14を介して音声を入力すると(S11,
Yes)、音声認識機能27がその音声入力(スクリプ
ト実行要求)を認識する(S12)。
FIG. 9 is a flow chart for explaining a procedure of a script file execution process by the audio macro processing device according to the present embodiment. First, when the user inputs a voice through the voice input device 14 (S11,
Yes), the voice recognition function 27 recognizes the voice input (script execution request) (S12).

【0053】スクリプト呼出部22は、図6に示すよう
なスクリプト・名前対応表28を参照してスクリプト実
行要求に対応するスクリプトファイルのパスを検索し、
スクリプト格納部23からスクリプトファイルを取得す
る(S13)。最後に、そのスクリプトファイルをスク
リプト実行部24に実行させる(S14)。
The script calling unit 22 searches the script file path corresponding to the script execution request with reference to the script / name correspondence table 28 as shown in FIG.
A script file is obtained from the script storage unit 23 (S13). Finally, the script execution unit 24 executes the script file (S14).

【0054】図10は、スクリプトファイルを実行する
際に、エージェントを表示しながらスクリプトを実行す
るようにスクリプトファイルを作成する処理手順を説明
するためのフローチャートである。まず、ユーザがキー
ボード5やマウス6を用いて操作を行なうと、手順登録
部25はその操作手順を記憶する(S21)。そして、
手順登録部25はその操作が発話入力の指定であるか否
かを判定する(S22)。
FIG. 10 is a flowchart for explaining a processing procedure for creating a script file so as to execute a script while displaying an agent when the script file is executed. First, when the user performs an operation using the keyboard 5 and the mouse 6, the procedure registration unit 25 stores the operation procedure (S21). And
The procedure registration unit 25 determines whether or not the operation is an utterance input designation (S22).

【0055】その操作が発話入力の指定でなければ(S
22,No)、ステップS25へ処理が進む。また、そ
の操作が発話内容の指定であれば(S22,Yes)、
ユーザに対してエージェントの発話内容を入力するよう
に促す(S23)。そして、手順登録部25はユーザに
よって入力されたエージェントの発話内容を記憶する
(S24)。なお、このとき画面上にエージェントが既
に表示されているものとする。
If the operation is not an utterance input designation (S
22, No), the process proceeds to step S25. If the operation specifies the utterance content (S22, Yes),
The user is prompted to input the contents of the utterance of the agent (S23). Then, the procedure registration unit 25 stores the utterance content of the agent input by the user (S24). At this time, it is assumed that the agent is already displayed on the screen.

【0056】次に、手順登録部25はユーザによる操作
がマウスボタンのクリックであるか否かを判定する(S
25)。その操作がマウスボタンのクリックでなければ
(S25,No)、ステップS27へ処理が進む。その
操作がマウスボタンのクリックであれば(S25,Ye
s)、手順登録部25はマウスボタンがクリックされた
位置を検出し、その位置の近くにエージェントを移動さ
せる操作を記憶する(S26)。
Next, the procedure registration section 25 determines whether or not the user operation is a click of a mouse button (S
25). If the operation is not a mouse button click (S25, No), the process proceeds to step S27. If the operation is a mouse button click (S25, Ye
s), the procedure registration unit 25 detects the position where the mouse button is clicked, and stores the operation of moving the agent near the position (S26).

【0057】図11は、エージェントを画面に表示し
て、エージェントの発話内容を入力するように促してい
るところを示す図である。図11は、Outlook Express
(米マイクロソフト社が開発した電子メール・ソフト)
を用いてスクリプトを作成しているところを示してお
り、画面の中央にエージェントが表示されている。ユー
ザがマウスボタンをクリックする操作、たとえば画面左
上に表示された“新しいメール”ボタンをクリックする
と、手順登録部25はその操作を記憶するとともに、Ou
tlook Expressによってメール作成のためのウィンドウ
が表示される。
FIG. 11 is a diagram showing that the agent is displayed on the screen and the user is prompted to input the utterance content of the agent. Figure 11 shows Outlook Express
(E-mail software developed by Microsoft Corporation)
Shows that a script is being created using, and an agent is displayed in the center of the screen. When the user clicks the mouse button, for example, clicks a “new mail” button displayed at the upper left of the screen, the procedure registration unit 25 stores the operation and returns to Ou.
tlook Express will open a window for composing mail.

【0058】このとき、手順登録部25はマウスボタン
がクリックされた位置を検出し、その近くにエージェン
トを移動させる操作を記憶するとともに、エージェント
の発話内容入力用のダイアログボックスを呼出し、ユー
ザに対してエージェントに発話させたい内容を入力させ
る。発話内容の入力が確定すれば、入力された内容をエ
ージェントに発話させるようなスクリプトが作成され
る。
At this time, the procedure registration unit 25 detects the position where the mouse button is clicked, stores the operation of moving the agent near the position, calls up the dialog box for inputting the utterance contents of the agent, and prompts the user. To enter the content you want the agent to speak. When the input of the utterance content is determined, a script that causes the agent to utter the input content is created.

【0059】再び、図10に示すフローチャートの説明
に戻る。次に、ユーザによる操作が終了したか否かが判
定される(S27)。ユーザによる操作が終了していな
ければ(S27,No)、ステップS21へ戻って以降
の処理を繰返す。ユーザによる操作が終了していれば
(S27,Yes)、手順登録部25はエージェントを
移動させて発話させるようなスクリプトを含んだスクリ
プトファイルを作成する(S28)。
Returning to the description of the flowchart shown in FIG. Next, it is determined whether or not the operation by the user has been completed (S27). If the operation by the user has not been completed (S27, No), the process returns to step S21 and the subsequent processes are repeated. If the operation by the user has been completed (S27, Yes), the procedure registration unit 25 creates a script file including a script for moving the agent to speak (S28).

【0060】また、ユーザがこのスクリプトファイルが
置かれる場所、スクリプトファイルの名前およびその読
みを設定情報として入力すると(S29)、スクリプト
呼出部22がその設定情報をスクリプト・名前対応表2
8に登録するとともに、手順登録部25によって作成さ
れたスクリプトファイルがスクリプト格納部23に格納
されて(S30)、処理が終了する。
When the user inputs the location where the script file is located, the name of the script file and its reading as setting information (S29), the script calling unit 22 reads the setting information into the script / name correspondence table 2.
8 and the script file created by the procedure registration unit 25 is stored in the script storage unit 23 (S30), and the process ends.

【0061】図12は、エージェントに発話させるスク
リプトを含んだスクリプトファイルを実行したときの表
示の一例を示す図である。ユーザが音声によって“新し
いメール”の作成を要求すると、Outlook Expressが起
動されて“新しいメール”ボタンが自動的にクリックさ
れる。このとき、エージェントが“新しいメール”ボタ
ンの近くに移動し、スクリプト作成時にユーザによって
入力された“「新しいメール」ボタンを押します。”を
エージェントに発話させる。
FIG. 12 is a diagram showing an example of a display when a script file including a script to be spoken by an agent is executed. When a user asks to create a "new mail" by voice, Outlook Express is launched and the "new mail" button is automatically clicked. At this time, the agent moves close to the "New Mail" button and presses the "New Mail" button entered by the user during script creation. "To the agent.

【0062】このように、エージェントに操作内容を案
内させることによって、ユーザはスクリプトが行なって
いる処理内容を理解しやすくなる。また、エージェント
が“新しいメール”ボタンの近くに移動し、吹出しによ
り発話させるとともに、その吹出しの内容を音声によっ
て紹介、説明させるようにすれば、さらにユーザはスク
リプトが行なっている処理内容を理解しやすくなる。
As described above, by letting the agent guide the contents of the operation, the user can easily understand the contents of the processing performed by the script. Also, if the agent moves near the "New Mail" button and utters a speech balloon, and introduces and explains the content of the speech by voice, the user can further understand the processing content of the script. It will be easier.

【0063】以上説明したように、本実施の形態におけ
る音声マクロ処理装置によれば、手順登録部25がユー
ザの操作に応じてスクリプトファイルを作成し、スクリ
プト実行部24がそのスクリプトファイルを実行するよ
うにしたので、たとえばユーザが良く行なう操作を記録
してスクリプトファイルを作成し、音声によってその音
声マクロ機能を呼出せば、ユーザの利便性が格段に向上
することになる。
As described above, according to the audio macro processing device of the present embodiment, the procedure registration unit 25 creates a script file in response to a user operation, and the script execution unit 24 executes the script file. For this reason, for example, if a script file is created by recording operations frequently performed by the user and the voice macro function is called by voice, the convenience of the user will be significantly improved.

【0064】また、手順登録部25がスクリプトの実行
に応じて擬人化エージェントを移動させ、発話させるよ
うにしたので、たとえば操作に手慣れたユーザがスクリ
プトファイルを作成し、操作に不慣れなユーザが音声に
よってそのスクリプトファイルを実行させて操作を行な
うようにすれば、スクリプトの実行を通じてパソコンや
アプリケーションプログラムの操作法を学習することが
可能となる。また、擬人化エージェントが画面上を移動
して吹出しや音声によって操作内容を紹介するので、ユ
ーザにとって親しみやすいインタフェースを提供するこ
とができる。
Further, since the procedure registration unit 25 moves the anthropomorphic agent in accordance with the execution of the script and causes it to speak, for example, a user accustomed to the operation creates a script file, and a user unfamiliar with the operation can If the script file is executed by voice and the operation is performed, it becomes possible to learn how to operate a personal computer or an application program by executing the script. Further, since the anthropomorphic agent moves on the screen and introduces the operation content by speech balloons and voices, it is possible to provide an interface that is familiar to the user.

【0065】また、アプリケーションの操作が分からな
いユーザが、ネットワークを介して他人が作成したスク
リプトファイルを入手することができるので、スクリプ
トの実行を通じてパソコンやアプリケーションプログラ
ムの操作法を学習することが可能となる。
Further, since a user who does not understand the operation of the application can obtain the script file created by another person via the network, it is possible to learn the operation method of the personal computer and the application program through the execution of the script. Become.

【0066】さらには、スクリプト作成時にユーザが付
けた名前を音声で入力すればスクリプトが実行されるの
で、音声マクロ機能を使うために面倒な名前を覚える必
要がなく、ユーザが分かりやすい言葉でスクリプトを実
行させることが可能となる。
Furthermore, since the script is executed by inputting the name given by the user at the time of creating the script by voice, the user does not need to memorize the troublesome name in order to use the voice macro function, and the user can use the script in an easy-to-understand language. Can be executed.

【0067】今回開示された実施の形態は、すべての点
で例示であって制限的なものではないと考えられるべき
である。本発明の範囲は上記した説明ではなくて特許請
求の範囲によって示され、特許請求の範囲と均等の意味
および範囲内でのすべての変更が含まれることが意図さ
れる。
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

【0068】[0068]

【発明の効果】本発明のある局面によれば、スクリプト
作成手段がユーザの操作を検出し、当該操作を再現する
スクリプトを生成してスクリプトファイルを作成するの
で、ユーザが所望する任意の操作を音声によって実行さ
せることが可能となった。また、スクリプト実行手段
は、音声認識手段による認識結果に基づいてスクリプト
ファイルを選択的に実行するので、アプリケーション等
の操作が分からないユーザであっても、その操作を行な
うことができ、操作法を学習することが可能となった。
According to an aspect of the present invention, the script creation means detects a user operation, generates a script for reproducing the operation, and creates a script file, so that any operation desired by the user can be performed. It can be executed by voice. Further, the script execution means selectively executes the script file based on the recognition result by the voice recognition means, so that even a user who does not know the operation of the application or the like can perform the operation, and It is now possible to learn.

【0069】また、スクリプト作成手段は、ユーザの操
作に応じてエージェントを移動するスクリプトを生成し
てスクリプトファイルに付加するので、ユーザにとって
親しみやすいインタフェースを実現することが可能とな
った。
Further, since the script creating means generates a script for moving the agent according to the operation of the user and adds the script to the script file, it is possible to realize an interface which is friendly to the user.

【0070】また、スクリプト作成手段がユーザがマウ
スボタンをクリックした位置の近くにエージェントを移
動するスクリプトを生成してスクリプトファイルに付加
し、スクリプト実行手段がそのスクリプトファイルを実
行することによってエージェントが移動しながら操作が
行なわれるので、ユーザは操作法を容易に習得すること
が可能となった。
Further, the script creating means generates a script for moving the agent near the position where the user clicks the mouse button and adds it to the script file, and the script executing means executes the script file to move the agent. Since the operation is performed while the user is performing the operation, the user can easily learn the operation method.

【0071】また、スクリプト作成手段がエージェント
を移動するスクリプトを生成する際に、ユーザに対して
操作を案内する発話内容を出力するスクリプトを任意に
生成するので、ユーザはさらに容易に操作法を習得する
ことが可能となった。
Further, when the script creating means creates a script for moving the agent, the script for arbitrarily generating an utterance content for guiding the operation to the user is arbitrarily generated, so that the user can easily learn the operation method. It became possible to do.

【0072】また、音声マクロ処理装置はさらに、スク
リプト作成手段によって作成されたスクリプトファイル
を外部へ送信するための送信手段を含むので、外部のコ
ンピュータがそのスクリプトファイルを受信して実行す
ることによって、アプリケーション等の操作が分からな
いユーザであっても、その操作を行なうことができ、操
作法を学習することが可能となった。
Further, since the audio macro processing device further includes a transmitting means for transmitting the script file created by the script creating means to the outside, the external computer receives and executes the script file, Even a user who does not know the operation of the application or the like can perform the operation and can learn the operation method.

【0073】また、音声マクロ処理装置はさらに、外部
からスクリプトファイルを受信するための受信手段を含
み、スクリプト実行手段が受信手段によって受信された
スクリプトファイルを実行するので、アプリケーション
等の操作が分からないユーザであっても、その操作を行
なうことができ、操作法を学習することが可能となっ
た。
Further, the audio macro processing device further includes a receiving means for receiving a script file from the outside, and the script executing means executes the script file received by the receiving means, so that the operation of the application or the like cannot be understood. Even the user can perform the operation, and can learn the operation method.

【0074】また、音声マクロ処理装置はさらにスクリ
プト作成手段によって作成されたスクリプトファイルと
名前との対応が登録された対応表を含み、スクリプト実
行手段が音声認識手段による認識結果と名前が一致する
スクリプトファイルを検索して実行するので、ユーザが
所望する操作の検索が容易に行なえるようになった。
Further, the speech macro processing device further includes a correspondence table in which the correspondence between the script file created by the script creation means and the name is registered, and the script execution means executes the script whose name matches the recognition result by the speech recognition means. Since the file is searched and executed, the operation desired by the user can be easily searched.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の実施の形態における音声マクロ処理
装置の外観例を示す図である。
FIG. 1 is a diagram illustrating an example of an external appearance of an audio macro processing device according to an embodiment of the present invention.

【図2】 本発明の実施の形態における音声マクロ処理
装置の構成例を示すブロック図である。
FIG. 2 is a block diagram illustrating a configuration example of an audio macro processing device according to an embodiment of the present invention.

【図3】 音声マクロ処理装置の機能的構成(音声マク
ロ機能)の概略を示すブロック図である。
FIG. 3 is a block diagram schematically illustrating a functional configuration (speech macro function) of the speech macro processing device.

【図4】 スクリプト作成部21の詳細を説明するため
のブロック図である。
FIG. 4 is a block diagram for explaining details of a script creation unit 21;

【図5】 スクリプト呼出部22の詳細を説明するため
のブロック図である。
FIG. 5 is a block diagram for explaining details of a script calling unit 22;

【図6】 スクリプト・名前対応表28の設定内容の一
例を示す図である。
FIG. 6 is a diagram showing an example of setting contents of a script / name correspondence table 28;

【図7】 手順登録部25がユーザの操作手順に応じて
作成したスクリプトの一例を示す図である。
FIG. 7 is a diagram illustrating an example of a script created by the procedure registration unit 25 according to a user's operation procedure.

【図8】 本発明の実施の形態における音声マクロ処理
装置によるスクリプトファイルの作成処理の手順を説明
するためのフローチャートである。
FIG. 8 is a flowchart illustrating a procedure of script file creation processing by the audio macro processing device according to the embodiment of the present invention.

【図9】 本発明の実施の形態における音声マクロ処理
装置によるスクリプトファイルの実行処理の手順を説明
するためのフローチャートである。
FIG. 9 is a flowchart illustrating a procedure of script file execution processing by the audio macro processing device according to the embodiment of the present invention.

【図10】 スクリプトファイルを実行する際に、エー
ジェントを表示しながらスクリプトを実行するようにス
クリプトファイルを作成する処理手順を説明するための
フローチャートである。
FIG. 10 is a flowchart illustrating a processing procedure for creating a script file so as to execute a script while displaying an agent when the script file is executed.

【図11】 エージェントを画面に表示して、エージェ
ントの発話内容を入力するように促しているところを示
す図である。
FIG. 11 is a diagram showing a state in which an agent is displayed on a screen and the user is prompted to input the utterance content of the agent.

【図12】 エージェントに発話させるスクリプトを含
んだスクリプトファイルを実行したときの表示の一例を
示す図である。
FIG. 12 is a diagram illustrating an example of a display when a script file including a script to be spoken by an agent is executed.

【符号の説明】[Explanation of symbols]

1 コンピュータ本体、2 グラフィックディスプレイ
装置、3 FDドライブ、4 FD、5 キーボード、
6 マウス、7 CD−ROM装置、8 CD−RO
M、9 ネットワーク通信装置、10 CPU、11
ROM、12 RAM、13 ハードディスク、14
音声入力装置、21 スクリプト作成部、22 スクリ
プト呼出部、23 スクリプト格納部、24 スクリプ
ト実行部、25 手順登録部、26 スクリプト送受信
部、27 音声認識機能、28 スクリプト・名前対応
表。
1 computer main body, 2 graphic display device, 3 FD drive, 4 FD, 5 keyboard,
6 mouse, 7 CD-ROM device, 8 CD-RO
M, 9 network communication device, 10 CPU, 11
ROM, 12 RAM, 13 hard disk, 14
Voice input device, 21 script creation unit, 22 script calling unit, 23 script storage unit, 24 script execution unit, 25 procedure registration unit, 26 script transmission / reception unit, 27 voice recognition function, 28 script / name correspondence table.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 黒武者 健一 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 芥子 育雄 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Fターム(参考) 5D015 AA04 BB02 KK03 LL12  ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Kenichi Kurotakesha 22-22, Nagaike-cho, Abeno-ku, Osaka-shi, Osaka Inside (72) Inventor Ikuo Akutaku 22-22, Nagaike-cho, Abeno-ku, Osaka-shi, Osaka F term in the company (reference) 5D015 AA04 BB02 KK03 LL12

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 ユーザの操作を検出し、当該操作を再現
するスクリプトを生成してスクリプトファイルを作成す
るためのスクリプト作成手段と、 ユーザによって入力された音声を認識するための音声認
識手段と、 前記音声認識手段による認識結果に基づいてスクリプト
ファイルを選択的に実行するためのスクリプト実行手段
とを含む音声マクロ処理装置。
1. A script creating means for detecting a user operation, generating a script for reproducing the operation and creating a script file, a voice recognizing means for recognizing a voice input by the user, A script execution unit for selectively executing a script file based on a recognition result by the speech recognition unit.
【請求項2】 前記スクリプト作成手段は、前記ユーザ
の操作に応じてエージェントを移動するスクリプトを生
成して前記スクリプトファイルに付加する、請求項1記
載の音声マクロ処理装置。
2. The voice macro processing device according to claim 1, wherein said script creating means generates a script for moving an agent in accordance with an operation of said user and adds the script to said script file.
【請求項3】 前記スクリプト作成手段は、前記ユーザ
がマウスボタンをクリックした位置の近くに前記エージ
ェントを移動するスクリプトを生成して前記スクリプト
ファイルに付加する、請求項2記載の音声マクロ処理装
置。
3. The voice macro processing device according to claim 2, wherein said script creating means generates a script for moving the agent near a position where the user clicks a mouse button, and adds the script to the script file.
【請求項4】 前記スクリプト作成手段は、前記エージ
ェントを移動するスクリプトを生成する際に、ユーザに
対して操作を案内する発話内容を出力するスクリプトを
任意に生成する、請求項2または3記載の音声マクロ処
理装置。
4. The script creation means according to claim 2, wherein said script creation means arbitrarily creates a script for outputting an utterance content for guiding an operation to a user when generating a script for moving said agent. Audio macro processing device.
【請求項5】 前記音声マクロ処理装置はさらに、前記
スクリプト作成手段によって作成されたスクリプトファ
イルを外部へ送信するための送信手段を含む、請求項1
〜4のいずれかに記載の音声マクロ処理装置。
5. The audio macro processing device according to claim 1, further comprising a transmission unit for transmitting the script file created by the script creation unit to outside.
The audio macro processing device according to any one of claims 1 to 4.
【請求項6】 前記音声マクロ処理装置はさらに、外部
からスクリプトファイルを受信するための受信手段を含
み、 前記スクリプト実行手段は、前記受信手段によって受信
されたスクリプトファイルを実行する、請求項1〜5の
いずれかに記載の音声マクロ処理装置。
6. The audio macro processing device further includes a receiving unit for receiving a script file from the outside, wherein the script executing unit executes the script file received by the receiving unit. 6. The audio macro processing device according to any one of 5.
【請求項7】 前記音声マクロ処理装置はさらに、前記
スクリプト作成手段によって作成されたスクリプトファ
イルと名前との対応が登録された対応表を含み、 前記スクリプト実行手段は、前記音声認識手段による認
識結果と名前が一致するスクリプトファイルを検索して
実行する、請求項1〜6のいずれかに記載の音声マクロ
処理装置。
7. The speech macro processing device further includes a correspondence table in which correspondence between a script file created by the script creation unit and a name is registered, wherein the script execution unit determines a result of the recognition by the speech recognition unit. The audio macro processing device according to claim 1, wherein a script file having a name that matches the name is searched for and executed.
【請求項8】 ユーザの操作を検出し、当該操作を再現
するスクリプトを生成してスクリプトファイルを作成す
るステップと、 ユーザによって入力された音声を認識するステップと、 前記認識結果に基づいてスクリプトファイルを選択的に
実行するステップとを含む音声マクロ処理方法。
8. A step of detecting a user operation, generating a script that reproduces the operation and creating a script file, recognizing a voice input by the user, and a script file based on the recognition result. And selectively performing the following.
【請求項9】 音声によってスクリプトファイルを指定
して実行させる音声マクロ処理方法をコンピュータに実
行させるためのコンピュータ・プログラムであって、 前記音声マクロ処理方法は、ユーザの操作を検出し、当
該操作を再現するスクリプトを生成してスクリプトファ
イルを作成するステップと、 ユーザによって入力された音声を認識するステップと、 前記認識結果に基づいてスクリプトファイルを選択的に
実行するステップとを含む、コンピュータ・プログラ
ム。
9. A computer program for causing a computer to execute a voice macro processing method for designating and executing a script file by voice, wherein the voice macro processing method detects a user operation and performs the operation. A computer program, comprising: generating a script to be reproduced and creating a script file; recognizing a voice input by a user; and selectively executing the script file based on the recognition result.
【請求項10】 音声によってスクリプトファイルを指
定して実行させる音声マクロ処理方法をコンピュータに
実行させるためのプログラムを記録したコンピュータで
読取可能な記録媒体であって、 前記音声マクロ処理方法は、ユーザの操作を検出し、当
該操作を再現するスクリプトを生成してスクリプトファ
イルを作成するステップと、 ユーザによって入力された音声を認識するステップと、 前記認識結果に基づいてスクリプトファイルを選択的に
実行するステップとを含む、コンピュータで読取可能な
記録媒体。
10. A computer-readable recording medium storing a program for causing a computer to execute a voice macro processing method for designating and executing a script file by voice, wherein the voice macro processing method is executed by a user. Detecting an operation, generating a script that reproduces the operation to create a script file, recognizing a voice input by a user, and selectively executing the script file based on the recognition result And a computer-readable recording medium.
JP2001058315A 2001-03-02 2001-03-02 Voice macro processor, its method, computer program, and recording medium with its program recorded Pending JP2002259113A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001058315A JP2002259113A (en) 2001-03-02 2001-03-02 Voice macro processor, its method, computer program, and recording medium with its program recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001058315A JP2002259113A (en) 2001-03-02 2001-03-02 Voice macro processor, its method, computer program, and recording medium with its program recorded

Publications (1)

Publication Number Publication Date
JP2002259113A true JP2002259113A (en) 2002-09-13

Family

ID=18918056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001058315A Pending JP2002259113A (en) 2001-03-02 2001-03-02 Voice macro processor, its method, computer program, and recording medium with its program recorded

Country Status (1)

Country Link
JP (1) JP2002259113A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148199A (en) * 2003-11-12 2005-06-09 Ricoh Co Ltd Information processing apparatus, image forming apparatus, program, and storage medium
KR101350798B1 (en) 2012-11-19 2014-01-16 (주)이산솔루션 Robot system controlled on the basis of opros platform and control method thereof
US9583096B2 (en) 2006-08-15 2017-02-28 Nuance Communications, Inc. Enhancing environment voice macros via a stackable save/restore state of an object within an environment controlled by voice commands for control of vehicle components
KR20180046208A (en) * 2016-10-27 2018-05-08 삼성전자주식회사 Method and Apparatus for Executing Application based on Voice Command
WO2020039754A1 (en) * 2018-08-22 2020-02-27 ソニー株式会社 Information processing device and information processing method
WO2020180013A1 (en) 2019-03-04 2020-09-10 Samsung Electronics Co., Ltd. Apparatus for vision and language-assisted smartphone task automation and method thereof
US11093715B2 (en) 2019-03-29 2021-08-17 Samsung Electronics Co., Ltd. Method and system for learning and enabling commands via user demonstration
US11468881B2 (en) 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution
US12033624B2 (en) 2018-08-24 2024-07-09 Sony Corporation Information processing apparatus and information processing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148199A (en) * 2003-11-12 2005-06-09 Ricoh Co Ltd Information processing apparatus, image forming apparatus, program, and storage medium
US9583096B2 (en) 2006-08-15 2017-02-28 Nuance Communications, Inc. Enhancing environment voice macros via a stackable save/restore state of an object within an environment controlled by voice commands for control of vehicle components
KR101350798B1 (en) 2012-11-19 2014-01-16 (주)이산솔루션 Robot system controlled on the basis of opros platform and control method thereof
KR102667413B1 (en) 2016-10-27 2024-05-21 삼성전자주식회사 Method and Apparatus for Executing Application based on Voice Command
KR20180046208A (en) * 2016-10-27 2018-05-08 삼성전자주식회사 Method and Apparatus for Executing Application based on Voice Command
WO2020039754A1 (en) * 2018-08-22 2020-02-27 ソニー株式会社 Information processing device and information processing method
JPWO2020039754A1 (en) * 2018-08-22 2021-08-26 ソニーグループ株式会社 Information processing device and information processing method
US11869499B2 (en) 2018-08-22 2024-01-09 Sony Corporation Information processing apparatus and information processing method
JP7420075B2 (en) 2018-08-22 2024-01-23 ソニーグループ株式会社 Information processing device and information processing method
US12033624B2 (en) 2018-08-24 2024-07-09 Sony Corporation Information processing apparatus and information processing method
WO2020180013A1 (en) 2019-03-04 2020-09-10 Samsung Electronics Co., Ltd. Apparatus for vision and language-assisted smartphone task automation and method thereof
EP3871403A4 (en) * 2019-03-04 2021-12-29 Samsung Electronics Co., Ltd. Apparatus for vision and language-assisted smartphone task automation and method thereof
US11093715B2 (en) 2019-03-29 2021-08-17 Samsung Electronics Co., Ltd. Method and system for learning and enabling commands via user demonstration
US11468881B2 (en) 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution

Similar Documents

Publication Publication Date Title
JP3432076B2 (en) Voice interactive video screen display system
JP6463825B2 (en) Multi-speaker speech recognition correction system
JP4090040B2 (en) Method and system for creating a two-way multimodal dialogue and related browsing mechanism
JP4689670B2 (en) Interactive manuals, systems and methods for vehicles and other complex devices
JP3610083B2 (en) Multimedia presentation apparatus and method
US8725513B2 (en) Providing expressive user interaction with a multimodal application
KR100354365B1 (en) Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
US8713542B2 (en) Pausing a VoiceXML dialog of a multimodal application
TWI425500B (en) Indexing digitized speech with words represented in the digitized speech
RU2352979C2 (en) Synchronous comprehension of semantic objects for highly active interface
KR100549482B1 (en) Information processing apparatus, information processing method, and computer readable storage medium for storing a program
US8909532B2 (en) Supporting multi-lingual user interaction with a multimodal application
US6456973B1 (en) Task automation user interface with text-to-speech output
US20040025115A1 (en) Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
EP1693827A2 (en) Extensible speech recognition system that provides a user with audio feedback
US20020123894A1 (en) Processing speech recognition errors in an embedded speech recognition system
US20020143535A1 (en) Method of providing concise forms of natural commands
JP2007171809A (en) Information processor and information processing method
JP2011504624A (en) Automatic simultaneous interpretation system
KR102527107B1 (en) Method for executing function based on voice and electronic device for supporting the same
JP2004021920A (en) Information processing device, information processing method, program and storage medium
JP3399674B2 (en) Screen control device and method
JP2002259113A (en) Voice macro processor, its method, computer program, and recording medium with its program recorded
House Spoken-language access to multimedia(SLAM): a multimodal interface to the World-Wide Web
JP2001071289A (en) Device and method for information processing and program storing medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061219