Nothing Special   »   [go: up one dir, main page]

JP6914989B2 - Editing support system and editing support method - Google Patents

Editing support system and editing support method Download PDF

Info

Publication number
JP6914989B2
JP6914989B2 JP2019087758A JP2019087758A JP6914989B2 JP 6914989 B2 JP6914989 B2 JP 6914989B2 JP 2019087758 A JP2019087758 A JP 2019087758A JP 2019087758 A JP2019087758 A JP 2019087758A JP 6914989 B2 JP6914989 B2 JP 6914989B2
Authority
JP
Japan
Prior art keywords
utterance
scenario
data
editing
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019087758A
Other languages
Japanese (ja)
Other versions
JP2019164815A (en
Inventor
浩司 藤村
浩司 藤村
憲治 岩田
憲治 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017055422A external-priority patent/JP2018159980A/en
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019087758A priority Critical patent/JP6914989B2/en
Publication of JP2019164815A publication Critical patent/JP2019164815A/en
Application granted granted Critical
Publication of JP6914989B2 publication Critical patent/JP6914989B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、対話エンジンに関するデータ編集を支援する編集支援システム、編集支援装置、および編集支援方法に関する。 An embodiment of the present invention relates to an editing support system, an editing support device, and an editing support method that support data editing related to a dialogue engine.

近年、音声やテキストで入力されたユーザによる発話に対する応答を生成し、当該応答を音声やテキストによって出力する対話エンジンを備える様々な電子機器が利用されている。ユーザは、このような電子機器に対して、例えば、質問を発話することによって、その質問に応じた回答を得ることができる。 In recent years, various electronic devices including a dialogue engine that generates a response to a user's utterance input by voice or text and outputs the response by voice or text have been used. The user can obtain an answer corresponding to the question by, for example, uttering a question to such an electronic device.

特開2011−217018号公報Japanese Unexamined Patent Publication No. 2011-21718 特開2005−328172号公報Japanese Unexamined Patent Publication No. 2005-328172

本発明が解決しようとする課題は、対話エンジンで用いられるシナリオデータを容易に編集できる編集支援システム、編集支援装置、編集支援方法、およびプログラムを提供することである。 An object to be solved by the present invention is to provide an editing support system, an editing support device, an editing support method, and a program that can easily edit scenario data used in a dialogue engine.

実施形態によれば、編集支援システムは、サーバ装置と第1クライアント装置と第2クライアント装置とによって構成される。前記サーバ装置は、ユーザによる発話を示す発話データを用いて、前記発話に応答する発話を示す発話データを生成するために、ユーザによる発話と前記サーバ装置によって生成される発話とを含む対話の複数のシナリオを示すシナリオデータと、第1編集用シナリオデータと、第2編集用シナリオデータとを記憶媒体に格納する。前記第1編集用シナリオデータは、前記シナリオデータによって示される前記複数のシナリオの内の、ユーザによる1つの第1発話と前記サーバ装置によって生成される1つの第2発話とを含む第1シナリオと、前記第1シナリオで意図されたアクションのための第1状態遷移と、前記第1クライアント装置を使用する第1ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第1部分および前記第2発話の内の第2部分を示す第1情報と、前記第1ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第3部分および前記第2発話の内の第4部分を示す第2情報と、を示す。前記第2編集用シナリオデータは、前記第1シナリオと前記第1状態遷移と、前記第2クライアント装置を使用する第2ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第5部分および前記第2発話の内の第6部分を示す第3情報と、前記第2ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第7部分および前記第2発話の内の第8部分を示す第4情報と、を示す前記サーバ装置は、前記第1編集用シナリオデータを前記第1クライアント装置に送信し、前記第2編集用シナリオデータを前記第2クライアント装置に送信する。前記第1クライアント装置は、前記サーバ装置から前記第1編集用シナリオデータを受信する。前記第1クライアント装置は、前記第1編集用シナリオデータに示される前記第1シナリオと前記第1情報と前記第2情報とに基づいて、前記第1発話を示す第1オブジェクトであって、前記第1部分と前記第3部分とをさらに示す第1オブジェクトと、前記第2発話を示す第2オブジェクトであって、前記第2部分と前記第4部分とをさらに示す第2オブジェクトとを画面に表示する。前記第1クライアント装置は、前記第1ユーザによって、前記第1部分と前記第2部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第1部分と前記第2部分の少なくとも一方を示す第1編集データを前記サーバ装置に送信する。前記サーバ装置は、さらに、前記第1クライアント装置から前記第1編集データを受信し、前記第1編集データを用いて、格納した前記シナリオデータに示される前記第1シナリオにおいて、前記第1発話の内の前記第1部分と前記第2発話の内の前記第2部分の少なくとも一方を変更することによって、前記シナリオデータを書き換える。前記第2クライアント装置は、前記サーバ装置から前記第2編集用シナリオデータを受信する。前記第2クライアント装置は、前記第2編集用シナリオデータに示される前記第1シナリオと前記第3情報と前記第4情報とに基づいて、前記第1発話を示す第3オブジェクトであって、前記第5部分と前記第7部分とをさらに示す第3オブジェクトと、前記第2発話を示す第4オブジェクトであって、前記第6部分と前記第8部分とをさらに示す第4オブジェクトとを画面に表示する。前記第2クライアント装置は、前記第2ユーザによって、前記第5部分と前記第6部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第5部分と前記第6部分の少なくとも一方を示す第2編集データを前記サーバ装置に送信する。前記サーバ装置は、さらに、前記第2クライアント装置から前記第2編集データを受信し、前記第2編集データを用いて、格納した前記シナリオデータに示される前記第1シナリオにおいて、前記第1発話の内の前記第5部分と前記第2発話の内の前記第6部分の少なくとも一方を変更することによって、前記シナリオデータを書き換える。 According to the embodiment, the editing support system is composed of a server device, a first client device, and a second client device. The server device uses the utterance data indicating the utterance by the user, and in order to generate the utterance data indicating the utterance in response to the utterance, a plurality of dialogues including the utterance by the user and the utterance generated by the server device. storing the scenario data indicating a scenario of a first editing scenario data, a scenario data for the second editing in the storage medium. The first editing scenario data includes a first scenario including one first utterance by the user and one second utterance generated by the server device among the plurality of scenarios indicated by the scenario data. the first and state transitions for the intended action at the first scenario, a editable by the first user using the first client device, a range that does not change the first state transition, the The first information indicating the first part of the first utterance and the second part of the second utterance, and the range that cannot be edited by the first user and changes the first state transition . The third part of the first utterance and the second information indicating the fourth part of the second utterance are shown. The second scenario data for editing, the first and the scenario, the first and the state transition, a editable by a second user who uses the second client device, the scope not changing the first state transition in it, a third information showing a sixth part of the fifth portion and said second speech of said first utterance, a non edited by the second user, changing the first state transition range shows a fourth information showing an eighth part of the seventh portion and said second speech of said first utterance. The server device transmits the first editing scenario data to the first client device, and transmits the second editing scenario data to the second client device. Wherein the first client device receives the scenario data for the first editing from the server apparatus. Wherein the first client device, wherein shown in a first editing scenario data, wherein the first scenario and the first information based on the second information, a first object representing the first utterance, A screen is displayed with a first object further indicating the first portion and the third portion, and a second object indicating the second utterance and further indicating the second portion and the fourth portion. Display in. When the first user performs an operation for editing at least one of the first portion and the second portion, the first client device has the edited first portion and the second portion. The first edit data indicating at least one of them is transmitted to the server device. The server device is further configured to receive the first edited data from the first client device, the first edited data using, Oite the first scenario illustrated in the scenario data stored, the first by changing at least one of the said second portion of the first portion and the second utterance of the speech, before rewriting the alkoxy Nariodeta. The second client device receives the scenario data for the second editing from the server apparatus. The second client device, the second indicated in the editing scenario data, based on the first scenario and the third information and the fourth information, a third object representing the first utterance, A screen of a third object further indicating the fifth part and the seventh part, and a fourth object indicating the second utterance and further indicating the sixth part and the eighth part. Display on. When the second user performs an operation for editing at least one of the fifth part and the sixth part, the second client device has the edited fifth part and the sixth part. The second edited data indicating at least one of them is transmitted to the server device. The server device is further configured to receive the second editing data from said second client device, the second editing data using a Oite the first scenario illustrated in the scenario data stored, the first by changing at least one of the said sixth portion of the fifth portion and said second utterance of the speech, before rewriting the alkoxy Nariodeta.

実施形態に係る編集支援システムの概要を説明するための図。The figure for demonstrating the outline of the editing support system which concerns on embodiment. 同実施形態の編集支援システムに設けられるサーバ装置のシステム構成を示すブロック図。The block diagram which shows the system configuration of the server apparatus provided in the editing support system of the same embodiment. 同実施形態の編集支援システムに設けられるクライアント装置のシステム構成を示すブロック図。The block diagram which shows the system configuration of the client apparatus provided in the editing support system of the same embodiment. 図2のサーバ装置および図3のクライアント装置の機能構成を示すブロック図。The block diagram which shows the functional structure of the server apparatus of FIG. 2 and the client apparatus of FIG. 図2のサーバ装置によって実行される対話処理の手順の例を示すフローチャート。The flowchart which shows the example of the procedure of the dialogue processing executed by the server apparatus of FIG. 図2のサーバ装置によって用いられるクライアントデータの一構成例を示す図。The figure which shows one configuration example of the client data used by the server apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第1の例を示す図。The figure which shows the 1st example of the scenario edit screen displayed by the client apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第2の例を示す図。The figure which shows the 2nd example of the scenario edit screen displayed by the client apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第3の例を示す図。The figure which shows the 3rd example of the scenario edit screen displayed by the client apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第4の例を示す図。The figure which shows the 4th example of the scenario edit screen displayed by the client apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第5の例を示す図。The figure which shows the 5th example of the scenario edit screen displayed by the client apparatus of FIG. 図3のクライアント装置によって表示されるシナリオ編集画面の第6の例を示す図。The figure which shows the sixth example of the scenario edit screen displayed by the client apparatus of FIG. 図2のサーバ装置によって実行されるシナリオ編集処理の手順の例を示すフローチャート。The flowchart which shows the example of the procedure of the scenario editing process executed by the server apparatus of FIG. 図3のクライアント装置によって実行されるシナリオ編集処理の手順の例を示すフローチャート。The flowchart which shows the example of the procedure of the scenario editing process executed by the client apparatus of FIG.

以下、実施の形態について図面を参照して説明する。
まず、図1を参照して、一実施形態に係る編集支援システムの構成を説明する。編集支援システム1は、対話システム2で用いられる、ユーザとの対話のためのシナリオデータの編集を支援する。編集支援システム1は、サーバ装置10とクライアント装置20とを備える。サーバ装置10は、例えばサーバコンピュータとして実現され得る。クライアント装置20は、例えば、スマートフォン、タブレットコンピュータ、携帯電話機、PDAといった携帯情報端末、パーソナルコンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。サーバ装置10とクライアント装置20とは、ネットワーク40を介してデータをやり取りすることができる。
Hereinafter, embodiments will be described with reference to the drawings.
First, the configuration of the editing support system according to the embodiment will be described with reference to FIG. The editing support system 1 supports editing of scenario data for dialogue with a user, which is used in the dialogue system 2. The editing support system 1 includes a server device 10 and a client device 20. The server device 10 can be realized as, for example, a server computer. The client device 20 can be realized as an embedded system built in, for example, a mobile information terminal such as a smartphone, a tablet computer, a mobile phone, a PDA, a personal computer, or various electronic devices. Data can be exchanged between the server device 10 and the client device 20 via the network 40.

サーバ装置10は、ユーザとの対話のための対話エンジン103Bを備える。この対話エンジン103Bは、例えば、対話のルールが規定されたシナリオデータベース45を参照して、ユーザによる発話の内容を理解し、その発話に応答する発話を生成するための機能を有している。対話エンジン103Bは、ユーザによる発話の発話データを受け付け、この発話データに応じた応答の発話データを出力し、さらに、当該応答の発話データに応じた、ユーザによる発話の発話データを受け付けるといった、発話データのやり取りを繰り返すことによって、ユーザとの対話を実現する。 The server device 10 includes a dialogue engine 103B for dialogue with the user. The dialogue engine 103B has, for example, a function for understanding the content of an utterance by a user and generating an utterance in response to the utterance by referring to a scenario database 45 in which dialogue rules are defined. The dialogue engine 103B receives the utterance data of the utterance by the user, outputs the utterance data of the response corresponding to the utterance data, and further receives the utterance data of the utterance by the user according to the utterance data of the response. By repeating the exchange of data, the dialogue with the user is realized.

サーバ装置10は、このような対話エンジン103Bを用いることにより、ネットワーク40を介して接続される顧客端末31,32との間で対話システム2を構成する。この対話システム2では、顧客端末31,32を使用するユーザによる発話と、サーバ装置10の対話エンジン103Bによって生成される発話とによる対話が実現される。顧客端末31は、例えば、スマートフォン、タブレットコンピュータ、携帯電話機、PDAといった携帯情報端末、パーソナルコンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。顧客端末31,32は、例えば、ショッピングモールやオフィス等に設置される設置型の端末であってもよい。 By using such a dialogue engine 103B, the server device 10 constitutes a dialogue system 2 with customer terminals 31 and 32 connected via the network 40. In this dialogue system 2, a dialogue between an utterance by a user using the customer terminals 31 and 32 and an utterance generated by the dialogue engine 103B of the server device 10 is realized. The customer terminal 31 can be realized as an embedded system built in, for example, a mobile information terminal such as a smartphone, a tablet computer, a mobile phone, or a PDA, a personal computer, or various electronic devices. The customer terminals 31 and 32 may be, for example, stationary terminals installed in a shopping mall, an office, or the like.

図1に示すように、サーバ装置10は、ユーザによる発話を示す発話データを顧客端末31,32から受信し、対話エンジン103Bによって生成される発話を示す発話データを顧客端末31,32に送信する。このような発話データの送受信によって、顧客端末31,32を利用するユーザとサーバ装置10との間での対話を実現することができる。 As shown in FIG. 1, the server device 10 receives the utterance data indicating the utterance by the user from the customer terminals 31 and 32, and transmits the utterance data indicating the utterance generated by the dialogue engine 103B to the customer terminals 31 and 32. .. By transmitting and receiving such utterance data, it is possible to realize a dialogue between the user who uses the customer terminals 31 and 32 and the server device 10.

上述したように、本実施形態の編集支援システム1は、ユーザとの対話のための対話システム2で用いられるシナリオデータの編集を支援する。このシナリオデータは、例えば、対話エンジン103Bによって参照されるシナリオデータベース45内のデータである。また、クライアント装置20は、サーバ装置10と連携してシナリオデータを編集するための編集端末である。 As described above, the editing support system 1 of the present embodiment supports the editing of the scenario data used in the dialogue system 2 for dialogue with the user. This scenario data is, for example, data in the scenario database 45 referenced by the dialogue engine 103B. Further, the client device 20 is an editing terminal for editing scenario data in cooperation with the server device 10.

例えば、対話システム2がショッピングモールを訪れる顧客によって利用される場合、シナリオデータベース45には、ショッピングモールに関する情報やこのショッピングモール内の各ショップに関する情報を提供する対話のためのデータが含まれている。このような場合、クライアント装置20には、例えば、ショッピングモールの管理者が利用するショッピングモール端末21と、各ショップの管理者が利用するショップ端末22,23とが含まれている。 For example, when the dialogue system 2 is used by a customer who visits a shopping mall, the scenario database 45 includes data for dialogue that provides information about the shopping mall and information about each shop in the shopping mall. .. In such a case, the client device 20 includes, for example, a shopping mall terminal 21 used by the manager of the shopping mall and shop terminals 22 and 23 used by the manager of each shop.

クライアント装置20(例えば、端末21,22,23)によってシナリオデータベース45内のデータの編集が要求される場合、サーバ装置10は、編集のためのシナリオデータ(以下、編集用シナリオデータとも称する)をクライアント装置20に送信する。クライアント装置20は、受信した編集用シナリオデータを用いて、シナリオの編集のための画面を表示する。クライアント装置20は、ユーザ(管理者)による操作に基づくシナリオの編集データをサーバ装置10に送信する。そして、サーバ装置10は、受信した編集データに示される編集部分および編集内容に基づいて、シナリオデータベース45内のデータを更新する。 When the client device 20 (for example, terminals 21, 22, 23) requests editing of the data in the scenario database 45, the server device 10 uses the scenario data for editing (hereinafter, also referred to as editing scenario data). It is transmitted to the client device 20. The client device 20 uses the received editing scenario data to display a screen for editing the scenario. The client device 20 transmits the edited data of the scenario based on the operation by the user (administrator) to the server device 10. Then, the server device 10 updates the data in the scenario database 45 based on the edited portion and the edited contents shown in the received edited data.

このように、対話エンジン103Bによって用いられるシナリオデータベース45は、サーバ装置10の管理者に加えて、ショッピングモールの管理者や、ショッピングモール内の各ショップの管理者によっても編集され得る。しかし、ショッピングモールの管理者や各ショップの管理者のように、対話エンジン103Bに関する技術に精通していない管理者がシナリオデータベース45を自由に更新できてしまえば、更新により、例えば、シナリオにおける対話の状態が適切に遷移しなかったり、不適切な応答が生成されたりする可能性がある。したがって、更新によって、対話エンジン103Bが正しく動作しなくなる可能性がある。 As described above, the scenario database 45 used by the dialogue engine 103B can be edited not only by the administrator of the server device 10 but also by the administrator of the shopping mall and the administrator of each shop in the shopping mall. However, if an administrator who is not familiar with the technology related to the dialogue engine 103B, such as a manager of a shopping mall or an administrator of each shop, can freely update the scenario database 45, the update can be performed, for example, a dialogue in a scenario. State may not transition properly or an inappropriate response may be generated. Therefore, the update may prevent the dialogue engine 103B from operating properly.

そのため、本実施形態の編集支援システム1では、対話のためのシナリオデータを、管理者の種別に応じて編集できる新たな機能の実現が求められる。編集支援システム1は、対話エンジン103Bの技術に精通していない管理者が、例えば、シナリオで意図されたアクション(例えば、店舗検索、場所検索等)のための状態遷移を変更しない範囲で、発話を編集するように制御する。編集支援システム1は、管理者の種別に応じて、例えば、シナリオデータ上の編集可能(変更可能)な部分を制御する。 Therefore, in the editing support system 1 of the present embodiment, it is required to realize a new function that can edit the scenario data for dialogue according to the type of the administrator. In the editing support system 1, an administrator who is not familiar with the technology of the dialogue engine 103B speaks within a range that does not change the state transition for the action intended in the scenario (for example, store search, location search, etc.). Control to edit. The editing support system 1 controls, for example, an editable (changeable) part of the scenario data according to the type of the administrator.

次いで、図2はサーバ装置10のシステム構成を示す。
サーバ装置10は、CPU101、システムコントローラ102、主メモリ103、BIOS−ROM105、不揮発性メモリ106、通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
Next, FIG. 2 shows the system configuration of the server device 10.
The server device 10 includes a CPU 101, a system controller 102, a main memory 103, a BIOS-ROM 105, a non-volatile memory 106, a communication device 107, an embedded controller (EC) 108, and the like.

CPU101は、サーバ装置10内の様々なコンポーネントの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)103A、および様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、対話エンジン103Bおよび編集支援サーバプログラム103Cが含まれている。対話エンジン103Bは、ユーザによる発話の受付、発話を理解する発話理解、応答形式を決める対話制御、応答形式に従って具体的な応答文を生成する応答生成、および応答文の出力のための命令群を含む。編集支援サーバプログラム103Cは、クライアント装置20と連携してシナリオを編集するための命令群を含む。ここでは、ソフトウェアとして実現される対話エンジン103Bと編集支援サーバプログラム103Cとを例示するが、これらプログラム103B,103Cに対応する機能は、ハードウェアとして実現されてもよいし、ハードウェアとソフトウェアの組み合わせとして実現されてもよい。 The CPU 101 is a processor that controls the operation of various components in the server device 10. The CPU 101 executes various programs loaded from the non-volatile memory 106, which is a storage device, into the main memory 103. These programs include an operating system (OS) 103A and various application programs. The application program includes a dialogue engine 103B and an editing support server program 103C. The dialogue engine 103B provides a group of commands for accepting utterances by the user, understanding utterances to understand utterances, dialogue control for determining a response format, response generation for generating a specific response sentence according to the response format, and output of the response sentence. include. The editing support server program 103C includes a group of instructions for editing a scenario in cooperation with the client device 20. Here, the dialogue engine 103B realized as software and the editing support server program 103C are illustrated, but the functions corresponding to these programs 103B and 103C may be realized as hardware, or a combination of hardware and software. It may be realized as.

また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。 The CPU 101 also executes the basic input / output system (BIOS) stored in the BIOS-ROM 105. The BIOS is a program for hardware control.

システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。 The system controller 102 is a device that connects the local bus of the CPU 101 and various components. The system controller 102 also has a built-in memory controller that controls access to the main memory 103.

通信デバイス107は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス107は、信号を送信する送信部と、信号を受信する受信部とを含む。 The communication device 107 is a device configured to perform wired or wireless communication. The communication device 107 includes a transmitting unit that transmits a signal and a receiving unit that receives the signal.

EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてサーバ装置10を電源オンまたは電源オフする機能を有している。 The EC108 is a one-chip microcomputer that includes an embedded controller for power management. The EC 108 has a function of turning on or off the power of the server device 10 according to the operation of the power button by the user.

また、図3はクライアント装置20のシステム構成を示す。ここでは、クライアント装置20がタブレットコンピュータとして実現される場合について例示する。 Further, FIG. 3 shows the system configuration of the client device 20. Here, a case where the client device 20 is realized as a tablet computer will be illustrated.

クライアント装置20は、CPU201、システムコントローラ202、主メモリ203、BIOS−ROM205、不揮発性メモリ206、通信デバイス207、エンベデッドコントローラ(EC)208等を備える。 The client device 20 includes a CPU 201, a system controller 202, a main memory 203, a BIOS-ROM 205, a non-volatile memory 206, a communication device 207, an embedded controller (EC) 208, and the like.

CPU201は、クライアント装置20内の様々なコンポーネントの動作を制御するプロセッサである。CPU201は、ストレージデバイスである不揮発性メモリ206から主メモリ203にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)203A、および様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、編集支援クライアントプログラム203Bが含まれている。この編集支援クライアントプログラム203Bは、サーバ装置10と連携してシナリオを編集するための命令群を含む。ここでは、ソフトウェアとして実現される編集支援クライアントプログラム203Bを例示するが、このプログラム203Bに対応する機能は、ハードウェアとして実現されてもよいし、ハードウェアとソフトウェアの組み合わせとして実現されてもよい。 The CPU 201 is a processor that controls the operation of various components in the client device 20. The CPU 201 executes various programs loaded from the non-volatile memory 206, which is a storage device, into the main memory 203. These programs include an operating system (OS) 203A and various application programs. The application program includes the editing support client program 203B. The editing support client program 203B includes a group of instructions for editing a scenario in cooperation with the server device 10. Here, the editing support client program 203B realized as software is illustrated, but the function corresponding to this program 203B may be realized as hardware or as a combination of hardware and software.

また、CPU201は、BIOS−ROM205に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。 The CPU 201 also executes the basic input / output system (BIOS) stored in the BIOS-ROM 205. The BIOS is a program for hardware control.

システムコントローラ202は、CPU201のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ202には、主メモリ203をアクセス制御するメモリコントローラも内蔵されている。 The system controller 202 is a device that connects the local bus of the CPU 201 and various components. The system controller 202 also has a built-in memory controller that controls access to the main memory 203.

また、システムコントローラ202は、クライアント装置20のディスプレイモニタとして使用されるLCD204Aを制御する表示コントローラも内蔵している。この表示コントローラによって生成される表示信号はLCD204Aに送られる。LCD204Aは、表示信号に基づいて画面イメージを表示する。このLCD204Aの上面側にはタッチパネル204Bが配置されている。タッチパネル204Bは、LCD204Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル204Bによって検出される。 The system controller 202 also has a built-in display controller that controls the LCD 204A used as the display monitor of the client device 20. The display signal generated by this display controller is sent to the LCD 204A. The LCD204A displays a screen image based on the display signal. A touch panel 204B is arranged on the upper surface side of the LCD 204A. The touch panel 204B is a capacitive pointing device for inputting on the screen of the LCD 204A. The contact position on the screen to which the finger is touched and the movement of the contact position are detected by the touch panel 204B.

通信デバイス207は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス207は、信号を送信する送信部と、信号を受信する受信部とを含む。 Communication device 207 is a device configured to perform wired or wireless communication. The communication device 207 includes a transmitting unit that transmits a signal and a receiving unit that receives the signal.

EC208は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC208は、ユーザによるパワーボタンの操作に応じてクライアント装置20を電源オンまたは電源オフする機能を有している。 The EC208 is a one-chip microcomputer that includes an embedded controller for power management. The EC208 has a function of turning on or off the power of the client device 20 according to the operation of the power button by the user.

なお、顧客端末31,32は、例えば、クライアント装置20と同様のシステム構成を有していてもよい。顧客端末31,32のCPUは、サーバ装置10上の対話エンジン103Bとの間で発話データをやり取りするためのアプリケーションプログラムを実行するように構成される。 The customer terminals 31 and 32 may have the same system configuration as the client device 20, for example. The CPUs of the customer terminals 31 and 32 are configured to execute an application program for exchanging utterance data with the dialogue engine 103B on the server device 10.

次いで、図4は、サーバ装置10およびクライアント装置20の機能構成を示す。 Next, FIG. 4 shows the functional configurations of the server device 10 and the client device 20.

まず、サーバ装置10によって実行される対話エンジン103Bは、発話受付部41、応答制御部42、生成部43、および出力制御部44を備える。また、サーバ装置10は、シナリオデータベース45を備える。シナリオデータベース45には、例えば、不揮発性メモリ106内の記憶領域が割り当てられる。シナリオデータベース45は、ユーザによる発話を示す発話データを用いて、この発話に応答する発話を示す発話データを生成するために、ユーザによる発話とサーバ装置10(対話エンジン103B)によって生成される発話とが規定された対話の複数のシナリオを示すシナリオデータ450と、シナリオデータ450を編集するためのクライアント装置20に関するクライアントデータ455とを含む。このシナリオデータ450は、例えば、発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454を含んでいる。 First, the dialogue engine 103B executed by the server device 10 includes an utterance reception unit 41, a response control unit 42, a generation unit 43, and an output control unit 44. Further, the server device 10 includes a scenario database 45. The scenario database 45 is allocated, for example, a storage area in the non-volatile memory 106. The scenario database 45 uses the utterance data indicating the utterance by the user to generate the utterance data indicating the utterance in response to the utterance, and the utterance by the user and the utterance generated by the server device 10 (dialogue engine 103B). Includes scenario data 450 indicating a plurality of scenarios of dialogue defined by, and client data 455 relating to the client device 20 for editing the scenario data 450. The scenario data 450 includes, for example, utterance understanding model data 451 and response content data 452, response format data 453, and response generation model data 454.

発話理解モデルデータ451は、対話の状態を推定して、発話を理解するための情報を含む。発話理解モデルデータ451は、例えば、発話の意図を示す発話意図情報の生成に使用される。発話理解モデルデータ451は、例えば、一つ以上の単語を含む発話表現と、その発話表現に対応する特徴量(例えば、音声特徴量)と、その発話表現で意図された内容を示す発話意図情報とが関連付けられた情報を含む。特徴量は、例えば特徴ベクトルである。 The utterance comprehension model data 451 includes information for estimating the state of dialogue and understanding the utterance. The utterance understanding model data 451 is used, for example, to generate utterance intention information indicating the intention of utterance. The utterance comprehension model data 451 is, for example, an utterance expression including one or more words, a feature amount (for example, a voice feature amount) corresponding to the utterance expression, and utterance intention information indicating the content intended by the utterance expression. Contains information associated with. The feature quantity is, for example, a feature vector.

より具体的には、発話理解モデルデータ451は、例えば、「が欲しい」という発話表現と、この発話表現に対応する特徴量と、「店舗検索」というユーザのアクションを示す発話意図情報とが関連付けられた情報を含む。また例えば、発話理解モデルデータ451は、「はどこ」という発話表現と、この発話表現に対応する特徴量と、「場所検索」というユーザのアクションを示す発話意図情報とが関連付けられた情報を含む。また例えば、発話理解モデルデータ451は、「靴」という発話表現と、この発話表現に対応する特徴量と、「靴」という対象を示す発話意図情報とが関連付けられた情報を含む。また例えば、発話理解モデルデータ451は、「トイレ」という発話表現と、この発話表現に対応する特徴量と、「トイレ」という対象を示す発話意図情報とが関連付けられた情報を含む。 More specifically, the utterance understanding model data 451 associates, for example, the utterance expression "I want", the feature amount corresponding to this utterance expression, and the utterance intention information indicating the user's action "store search". Contains the information provided. Further, for example, the utterance understanding model data 451 includes information associated with the utterance expression "where", the feature amount corresponding to this utterance expression, and the utterance intention information indicating the user's action "location search". .. Further, for example, the utterance understanding model data 451 includes information in which the utterance expression "shoes", the feature amount corresponding to the utterance expression, and the utterance intention information indicating the object "shoes" are associated with each other. Further, for example, the utterance understanding model data 451 includes information in which the utterance expression "toilet", the feature amount corresponding to the utterance expression, and the utterance intention information indicating the object "toilet" are associated with each other.

応答コンテンツデータ452は、ユーザによる発話に対する応答として提供される情報を含む。例えば、対話エンジン103Bが店舗に関する様々な情報を提供する対話のために利用される場合、応答コンテンツデータ452は、店名、取扱商品、価格帯、営業時間、場所等が関連付けられた店舗情報を含む。応答コンテンツデータ452は、例えば、「靴屋A」という店名と、「革靴」および「スニーカー」を示す取扱商品と、「高級」を示す価格帯とが関連付けられた情報を含んでいる。 The response content data 452 includes information provided as a response to the user's utterance. For example, when the dialogue engine 103B is used for a dialogue that provides various information about a store, the response content data 452 includes store information associated with the store name, products handled, price range, business hours, location, and the like. .. The response content data 452 includes, for example, information associated with the store name "shoe store A", the products handled indicating "leather shoes" and "sneakers", and the price range indicating "luxury".

応答形式データ453は、発話意図情報に基づいて、応答文の形式(応答形式)を決定するための情報を含む。応答形式には、例えば、要求、挨拶、質問、応答、提案、確認、回答が含まれる。 The response format data 453 includes information for determining the format of the response sentence (response format) based on the utterance intention information. Response formats include, for example, requests, greetings, questions, responses, suggestions, confirmations, and answers.

より具体的には、応答形式データ453は、例えば、アクション「未知」および対象「未知」の組み合わせと、質問形式(request(X=アクション,Y=対象))とが関連付けられた情報を含む。また例えば、応答形式データ453は、アクション「店舗検索」および対象「未知」の組み合わせと、提案形式(offer(X=対象,Y=店))とが関連付けられた情報を含む。また例えば、応答形式データ453は、アクション「場所検索」および対象「未知」の組み合わせと、質問形式(request(X=対象))とが関連付けられた情報を含む。 More specifically, the response format data 453 includes, for example, information in which a combination of the action "unknown" and the target "unknown" is associated with the question format (request (X = action, Y = target)). Further, for example, the response format data 453 includes information in which a combination of the action “store search” and the target “unknown” is associated with the proposal format (offer (X = target, Y = store)). Further, for example, the response format data 453 includes information in which a combination of the action “location search” and the target “unknown” is associated with the question format (request (X = target)).

応答生成モデルデータ454は、応答文を生成するための情報を含む。応答生成モデルデータ454は、例えば、応答形式と応答文とが関連付けられた情報を含む。
より具体的には、応答生成モデルデータ454は、例えば、質問形式(request(X=対象))と、応答文「Xについてご希望はありますが」とが関連付けられた情報を含む。また例えば、応答生成モデルデータ454は、例えば、確認形式(confirm(X=x))と、応答文「Xはxということでよろしいでしょうか」とが関連付けられた情報を含む。また例えば、応答生成モデルデータ454は、例えば、提案形式(offer(X=対象,Y=店))と、応答文「Xを扱っているお店としてYが見つかりました」とが関連付けられた情報を含む。
The response generation model data 454 includes information for generating a response statement. The response generation model data 454 includes, for example, information in which the response format and the response statement are associated with each other.
More specifically, the response generation model data 454 includes, for example, information in which the question format (request (X = target)) and the response sentence "I have a request for X" are associated with each other. Further, for example, the response generation model data 454 includes, for example, information in which the confirmation format (confirm (X = x)) and the response sentence "Is it okay to say that X is x?" Are associated with each other. Further, for example, the response generation model data 454 is associated with, for example, the proposal format (offer (X = target, Y = store)) and the response sentence "Y was found as a store handling X". Contains information.

対話エンジン103Bは、このような発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454を用いて、顧客端末31,32との間で発話データを送受信する。 The dialogue engine 103B uses such utterance understanding model data 451 and response content data 452, response format data 453, and response generation model data 454 to transmit and receive utterance data to and from customer terminals 31 and 32.

より具体的には、発話受付部41は、通信デバイス107を介して、ユーザが使用する顧客端末31,32から発話データを受け付ける。発話データは、ユーザによる発話を示す。発話データは任意のデータ形式を有し、例えば、音声データ、音声特徴量データ、テキストデータ等である。発話受付部41は、発話データが音声データである場合、音声データを用いて特徴量を抽出してもよいし、当該音声データに音声認識処理を施すことにより、発話を示すテキストデータを取得してもよい。 More specifically, the utterance receiving unit 41 receives the utterance data from the customer terminals 31 and 32 used by the user via the communication device 107. The utterance data indicates the utterance by the user. The utterance data has an arbitrary data format, for example, voice data, voice feature amount data, text data, and the like. When the utterance data is voice data, the utterance reception unit 41 may extract a feature amount using the voice data, or obtains text data indicating the utterance by performing voice recognition processing on the voice data. You may.

応答制御部42は、ユーザによる発話の意図を推定するために、発話理解モデルデータ451を用いて、発話データに含まれる発話表現に対応する発話意図情報を特定する。応答制御部42は、例えば、発話に、「靴」という発話表現と、「が欲しい」という発話表現とが含まれている場合、「靴」という対象を示す発話意図情報と、「店舗検索」というアクションを示す発話意図情報とを特定する。つまり、応答制御部42は、「靴が欲しい」という発話表現に基づいて、ユーザによる発話の意図が「靴」の「店舗検索」であることを推定することができる。 The response control unit 42 uses the utterance understanding model data 451 to specify the utterance intention information corresponding to the utterance expression included in the utterance data in order to estimate the utterance intention by the user. For example, when the utterance includes the utterance expression "shoes" and the utterance expression "wants", the response control unit 42 includes the utterance intention information indicating the target "shoes" and the "store search". The utterance intention information indicating the action is specified. That is, the response control unit 42 can estimate that the intention of the user's utterance is "store search" of "shoes" based on the utterance expression "I want shoes".

次いで、応答制御部42は、応答形式データ453と応答コンテンツデータ452とを用いて、特定された発話意図情報に基づく応答形式を決定する。応答制御部42は、応答形式データ453と応答コンテンツデータ452とを用いて、例えば、「靴」という対象を示す発話意図情報と、「店舗検索」というアクションを示す発話意図情報とに基づき、応答形式として、提案形式(offer(X=靴,Y=靴屋A))を決定する。 Next, the response control unit 42 determines the response format based on the specified utterance intention information by using the response format data 453 and the response content data 452. The response control unit 42 uses the response format data 453 and the response content data 452 to respond based on, for example, the utterance intention information indicating the target "shoes" and the utterance intention information indicating the action "store search". As the format, the proposal format (offer (X = shoes, Y = shoe store A)) is determined.

生成部43は、応答生成モデルデータ454を用いて、決定された応答形式に基づく応答文を生成する。より具体的には、生成部43は、例えば、提案形式(offer(X=靴,Y=靴屋A))に対応する応答文「靴を扱っているお店として靴屋Aが見つかりました」を生成する。 The generation unit 43 uses the response generation model data 454 to generate a response sentence based on the determined response format. More specifically, the generation unit 43 has found, for example, the response sentence "Shoe store A as a store that handles shoes" corresponding to the proposal format (offer (X = shoes, Y = shoe store A)). "Is generated.

出力制御部44は、生成された応答文を出力する。出力制御部44は、応答文を任意の形式で出力することができる。出力制御部44は、例えば、応答文の読み上げ音声データを、ユーザによる発話データの送信元である顧客端末31,32に送信する。また、出力制御部44は、応答文を示すテキストデータを顧客端末31,32に送信してもよい。また例えば、出力制御部44は、応答文の読み上げ音声データと、当該応答文を示すテキストデータとの両方を顧客端末31,32に送信してもよい。 The output control unit 44 outputs the generated response statement. The output control unit 44 can output the response statement in any format. The output control unit 44 transmits, for example, the read-aloud voice data of the response sentence to the customer terminals 31 and 32, which are the sources of the utterance data by the user. Further, the output control unit 44 may transmit text data indicating a response sentence to the customer terminals 31 and 32. Further, for example, the output control unit 44 may transmit both the read-aloud voice data of the response sentence and the text data indicating the response sentence to the customer terminals 31 and 32.

図5のフローチャートを参照して、サーバ装置10によって実行される対話処理の手順の例を説明する。この対話処理は、例えば、サーバ装置10のCPU101が対話エンジン103Bに含まれる命令群を実行することによって実現される。 An example of the procedure of the dialogue processing executed by the server device 10 will be described with reference to the flowchart of FIG. This dialogue processing is realized, for example, by the CPU 101 of the server device 10 executing the instruction group included in the dialogue engine 103B.

まず、発話受付部41は、顧客端末31,32から、ユーザによる発話の発話データを受信したか否かを判定する(ステップS11)。発話データを受信していない場合、ステップS11の手順に戻り、発話データを受信したか否かが再度判定される。 First, the utterance reception unit 41 determines whether or not the utterance data of the utterance by the user has been received from the customer terminals 31 and 32 (step S11). If the utterance data has not been received, the process returns to step S11, and it is determined again whether or not the utterance data has been received.

発話データを受信した場合(ステップS11のYES)、応答制御部42は、この発話データ491を単語に分割することにより、分割データ492を生成する(ステップS12)。発話データ491は、例えば、「靴が欲しい」という発話に対応する音声データを含む。応答制御部42は、この発話データ491を解析することによって、発話に含まれる単語「靴」、「が」、「欲し」、および「い」を示す分割データ492を生成する。 When the utterance data is received (YES in step S11), the response control unit 42 generates the divided data 492 by dividing the utterance data 491 into words (step S12). The utterance data 491 includes, for example, voice data corresponding to the utterance "I want shoes". By analyzing the utterance data 491, the response control unit 42 generates divided data 492 indicating the words "shoes", "ga", "want", and "i" included in the utterance.

応答制御部42は、分割データ492に含まれる単語毎の特徴量493を抽出する(ステップS13)。単語毎の特徴量493は、例えば特徴ベクトル列である。 The response control unit 42 extracts the feature amount 493 for each word included in the divided data 492 (step S13). The feature amount 493 for each word is, for example, a feature vector sequence.

次いで、応答制御部42は、発話理解モデルデータ451を用いて、発話理解処理を実行する(ステップS14)。応答制御部42は、発話理解処理を実行することによって、特徴量493から発話意図情報494を生成する。この発話意図情報494は、発話によって意図されたアクションと対象とを示す情報を含み、例えば、アクションが「店舗検索」であり、対象が「靴」であることを示す情報を含んでいる。 Next, the response control unit 42 executes the utterance understanding process using the utterance understanding model data 451 (step S14). The response control unit 42 generates the utterance intention information 494 from the feature amount 493 by executing the utterance understanding process. The utterance intention information 494 includes information indicating the action intended by the utterance and the target, and includes, for example, information indicating that the action is "store search" and the target is "shoes".

そして、応答制御部42は、応答コンテンツデータ452および応答形式データ453を用いて、応答制御処理を実行する(ステップS15)。応答制御部42は、応答制御処理を実行することによって、特徴量493および発話意図情報494に基づいて応答形式495を決定する。応答形式495は、応答の種別とその内容(例えば、対象、店、等)とを示す情報を含み、例えば、種別が「提案」(offer)であり、対象が「靴」であり、店が「靴屋A」であることを示す情報を含んでいる。 Then, the response control unit 42 executes the response control process using the response content data 452 and the response format data 453 (step S15). The response control unit 42 determines the response format 495 based on the feature amount 493 and the utterance intention information 494 by executing the response control process. The response format 495 includes information indicating the type of response and its contents (for example, target, store, etc.), for example, the type is "offer", the target is "shoes", and the store It contains information indicating that it is "shoe store A".

生成部43は、応答生成モデルデータ454を用いて、応答形式495から応答文496を生成する(ステップS16)。生成部43は、応答形式495の内容をユーザに伝えるための具体的な応答文496として、例えば、「靴を扱っているお店として靴屋Aが見つかりました」を生成する。 The generation unit 43 generates the response sentence 496 from the response format 495 using the response generation model data 454 (step S16). The generation unit 43 generates, for example, "Shoe store A was found as a store that handles shoes" as a specific response sentence 496 for communicating the contents of the response format 495 to the user.

出力制御部44は、通信デバイス107を介して応答文496を顧客端末31,32に送信する(ステップS17)。出力制御部44は、この応答文496を、音声データとして送信してもよいし、テキストデータとして送信してもよい。顧客端末31,32では、この応答文496が、スピーカやイヤホンから音声として出力されてもよいし、ディスプレイの画面上にテキストとして表示されてもよい。 The output control unit 44 transmits the response sentence 496 to the customer terminals 31 and 32 via the communication device 107 (step S17). The output control unit 44 may transmit the response sentence 496 as voice data or text data. In the customer terminals 31 and 32, the response sentence 496 may be output as voice from the speaker or earphone, or may be displayed as text on the screen of the display.

次いで、発話受付部41は、対話が終了したか否かを判定する(ステップS18)。対話が終了していない場合(ステップS18のNO)、ステップS11の手順に戻る。対話が終了した場合、この対話処理を終了する。 Next, the utterance reception unit 41 determines whether or not the dialogue has ended (step S18). If the dialogue is not completed (NO in step S18), the process returns to step S11. When the dialogue ends, this dialogue processing ends.

これにより、対話システム2を構成するサーバ装置10と顧客端末31,32との間で対話処理を行うことができる。 As a result, dialogue processing can be performed between the server device 10 constituting the dialogue system 2 and the customer terminals 31 and 32.

図4に戻り、サーバ装置10によって実行される編集支援サーバプログラム103Cの機能構成について説明する。編集支援サーバプログラム103Cは、受信制御部46、送信制御部48、および編集処理部47を備える。 Returning to FIG. 4, the functional configuration of the editing support server program 103C executed by the server device 10 will be described. The editing support server program 103C includes a reception control unit 46, a transmission control unit 48, and an editing processing unit 47.

受信制御部46は、通信デバイス107を介して、クライアント装置20から、例えば、編集のためのシナリオデータ(編集用シナリオデータ)の要求を受信する。 The reception control unit 46 receives, for example, a request for scenario data for editing (scenario data for editing) from the client device 20 via the communication device 107.

編集処理部47および送信制御部48は、この要求に応じて、少なくとも一つのシナリオに対応する編集用シナリオデータをクライアント装置20に送信する。より具体的には、編集処理部47は、要求しているクライアント装置20に応じた編集用シナリオデータを取得する。編集処理部47は、例えば、クライアントデータ455を参照することによって、当該クライアント装置20に割り当てられたクライアントID、当該クライアント装置20に付与された権限、等に基づいて、シナリオデータベース45から特定の編集用シナリオデータを読み出す。 In response to this request, the editing processing unit 47 and the transmission control unit 48 transmit the editing scenario data corresponding to at least one scenario to the client device 20. More specifically, the editing processing unit 47 acquires editing scenario data according to the requesting client device 20. The editing processing unit 47, for example, by referring to the client data 455, makes a specific edit from the scenario database 45 based on the client ID assigned to the client device 20, the authority given to the client device 20, and the like. Read the scenario data for the client.

図6はクライアントデータ455の一構成例を示す。クライアントデータ455は、複数のクライアント装置20に対応する複数のレコードを含む。各レコードは、例えば、クライアントID、編集用シナリオデータ、および権限を含む。 FIG. 6 shows a configuration example of client data 455. The client data 455 includes a plurality of records corresponding to the plurality of client devices 20. Each record contains, for example, a client ID, editing scenario data, and permissions.

あるクライアント装置20に対応するレコードにおいて、「クライアントID」は、そのクライアント装置20に付与された識別情報を示す。なお、「クライアントID」には、クライアント装置20を使用するユーザ(管理者)に付与された識別情報が設定されてもよい。 In the record corresponding to a certain client device 20, the "client ID" indicates the identification information given to the client device 20. The "client ID" may be set with the identification information given to the user (administrator) who uses the client device 20.

「編集用シナリオデータ」は、そのクライアント装置20のための編集用シナリオデータを示す。より具体的には、「編集用シナリオデータ」には、例えば、その編集用シナリオデータの格納場所(例えば、ファイル名、ファイルパス等)が設定され得る。また、「編集用シナリオデータ」には、発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454の内で、編集用シナリオシナリオデータとして用いられるデータを特定するための情報が設定されてもよい。さらに、「編集用シナリオデータ」には、発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454の少なくともいずれかを用いて、その編集用シナリオデータを生成するための情報が設定されてもよい。 “Editing scenario data” indicates editing scenario data for the client device 20. More specifically, in the "editing scenario data", for example, a storage location (for example, a file name, a file path, etc.) of the editing scenario data can be set. Further, in the "editing scenario data", in order to specify the data used as the editing scenario scenario data among the speech understanding model data 451 and the response content data 452, the response format data 453, and the response generation model data 454. Information may be set. Further, in the "editing scenario data", at least one of the utterance understanding model data 451 and the response content data 452, the response format data 453, and the response generation model data 454 is used to generate the editing scenario data. Information may be set.

「権限」は、そのクライアント装置20に与えられたシナリオの編集の権限を示す。「権限」には、例えば、クライアント装置20の権限のレベルが設定される。編集支援システム1では、この権限のレベルに応じて、シナリオ内の編集可能な部分と編集不能な部分とを制御することができる。 “Authority” indicates the authority to edit the scenario given to the client device 20. In "authority", for example, the authority level of the client device 20 is set. In the editing support system 1, the editable part and the non-editable part in the scenario can be controlled according to the level of this authority.

このようなクライアントデータ455を用いることによって、編集処理部47は、要求しているクライアント装置20に応じた編集用シナリオデータを取得することができる。編集用シナリオデータは、シナリオデータ450の一部であって、そのクライアント装置20を使用するユーザが少なくとも一部を編集可能なシナリオを示す。なお、この編集用シナリオデータはあらかじめ作成されていてもよいし、クライアント装置20からの要求に応じて、編集処理部47が、シナリオデータ450(すなわち、発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454)から、特定のデータを編集用シナリオデータとして読み出してもよい。また、編集処理部47が、要求に応じて、シナリオデータ450を用いて編集用シナリオデータを生成してもよい。 By using such client data 455, the editing processing unit 47 can acquire editing scenario data according to the requesting client device 20. The editing scenario data is a part of the scenario data 450, and indicates a scenario in which a user using the client device 20 can edit at least a part of the scenario data 450. The editing scenario data may be created in advance, and in response to a request from the client device 20, the editing processing unit 47 sends the scenario data 450 (that is, the speech understanding model data 451 and the response content data 452, Specific data may be read out as editing scenario data from the response format data 453 and the response generation model data 454). Further, the editing processing unit 47 may generate editing scenario data using the scenario data 450, if requested.

送信制御部48は、読み出された編集用シナリオデータを、通信デバイス107を介してクライアント装置20に送信する。これにより、サーバ装置10は、クライアント装置20に、この編集用シナリオデータに基づくシナリオ編集画面が表示させ、編集のためのオブジェクトを提示させることができる。 The transmission control unit 48 transmits the read editing scenario data to the client device 20 via the communication device 107. As a result, the server device 10 can cause the client device 20 to display the scenario editing screen based on the editing scenario data and present the object for editing.

また、受信制御部46は、クライアント装置20から、編集されたシナリオを示す編集データを受信する。編集処理部47は、この編集データを用いてシナリオデータベース45内のデータを更新する。編集データは、例えば、送信された編集用シナリオデータに示されるシナリオが、クライアント装置20のユーザによって編集された部分およびその編集内容、クライアント装置20のユーザによって当該シナリオに追加された部分およびその追加内容等を示している。編集処理部47は、この編集データに基づいて、シナリオデータ450を書き換える(更新する)。編集処理部47は、例えば、シナリオが編集された部分およびその編集内容に基づいて、発話理解モデルデータ451、応答コンテンツデータ452、応答形式データ453、および応答生成モデルデータ454の少なくともいずれかに含まれる、対応するデータを書き換える。 Further, the reception control unit 46 receives the edited data indicating the edited scenario from the client device 20. The editing processing unit 47 uses this editing data to update the data in the scenario database 45. The edited data includes, for example, a part of the scenario shown in the transmitted editing scenario data edited by the user of the client device 20 and its edited contents, and a part added to the scenario by the user of the client device 20 and its addition thereof. The contents etc. are shown. The editing processing unit 47 rewrites (updates) the scenario data 450 based on the editing data. The editing processing unit 47 is included in at least one of the utterance understanding model data 451 and the response content data 452, the response format data 453, and the response generation model data 454 based on the edited portion of the scenario and the edited content thereof, for example. Rewrite the corresponding data.

以上の構成により、編集支援システム1では、クライアント装置20のユーザによる編集に応じて、シナリオデータ450を書き換えることができる。そして、対話システム2では、サーバ装置10と顧客端末31,32との間で、書き換えられたシナリオデータ450に基づく対話を行うことができる。 With the above configuration, the editing support system 1 can rewrite the scenario data 450 according to the editing by the user of the client device 20. Then, in the dialogue system 2, a dialogue can be performed between the server device 10 and the customer terminals 31 and 32 based on the rewritten scenario data 450.

次いで、クライアント装置20によって実行される編集支援クライアントプログラム203Bの機能構成について説明する。編集支援クライアントプログラム203Bは、受信制御部51、表示制御部52、操作受付部53、および送信制御部54を備える。 Next, the functional configuration of the editing support client program 203B executed by the client device 20 will be described. The editing support client program 203B includes a reception control unit 51, a display control unit 52, an operation reception unit 53, and a transmission control unit 54.

操作受付部53は、クライアント装置20を使用するユーザによる様々な操作を受け付ける。操作受付部53は、例えば、編集用シナリオデータを要求するための操作を受け付ける。操作受付部53は、例えば、編集支援クライアントプログラム203Bが起動された場合や、ユーザによって特定の操作が行われた場合等に、編集用シナリオデータが要求されたと判断する。 The operation reception unit 53 receives various operations by the user who uses the client device 20. The operation reception unit 53 receives, for example, an operation for requesting editing scenario data. The operation reception unit 53 determines that the editing scenario data has been requested, for example, when the editing support client program 203B is started or when a specific operation is performed by the user.

送信制御部54は、編集用シナリオデータが要求された場合、通信デバイス207を介して、サーバ装置10に編集用シナリオデータを要求する。受信制御部51は、通信デバイス207を介して、サーバ装置10から編集用シナリオデータを受信する。 When the editing scenario data is requested, the transmission control unit 54 requests the editing scenario data from the server device 10 via the communication device 207. The reception control unit 51 receives the editing scenario data from the server device 10 via the communication device 207.

表示制御部52は、受信された編集用シナリオデータを用いて、シナリオ編集画面をLCD204Aに表示する。表示制御部52は、例えば、ユーザによる第1発話を示し、当該第1発話の内の編集可能な第1部分を示す第1オブジェクトと、サーバ装置10によって生成される第2発話を示し、当該第2発話の内の編集可能な第2部分を示す第2オブジェクトとをLCD204Aの画面に表示(提示)する。シナリオ編集画面の例については、図7から図12を参照して後述する。 The display control unit 52 displays the scenario editing screen on the LCD 204A using the received editing scenario data. The display control unit 52 indicates, for example, a first utterance by the user, a first object indicating an editable first portion of the first utterance, and a second utterance generated by the server device 10. A second object indicating the editable second part of the second utterance is displayed (presented) on the screen of the LCD204A. An example of the scenario editing screen will be described later with reference to FIGS. 7 to 12.

また、操作受付部53および表示制御部52は、表示されたシナリオ編集画面上での操作に応じて、シナリオの編集を受け付ける。この操作は、例えば、キーボードや、タッチパネル204Bのようなポインティングデバイスを用いた操作である。表示制御部52は、ユーザによる操作に応じて、シナリオ編集画面上の発話を示すオブジェクトの少なくとも一部を変更したり、シナリオ編集画面上に発話を示す新たなオブジェクトを追加したりする。また、操作受付部53は、ユーザによる操作に基づき、シナリオ上の編集された部分や編集内容を示す編集データを生成する。 Further, the operation reception unit 53 and the display control unit 52 accept editing of the scenario according to the operation on the displayed scenario editing screen. This operation is an operation using, for example, a keyboard or a pointing device such as the touch panel 204B. The display control unit 52 changes at least a part of the object indicating the utterance on the scenario editing screen, or adds a new object indicating the utterance on the scenario editing screen according to the operation by the user. Further, the operation reception unit 53 generates edit data indicating the edited part and the edited content in the scenario based on the operation by the user.

編集データは、クライアント装置20のユーザによって、例えば、シナリオ編集画面上でオブジェクトの少なくとも一部が変更された場合には、その変更された部分および変更内容を示すデータを含み、またシナリオ編集画面上でオブジェクトが追加された場合には、その追加された部分および追加内容を示すデータを含む。上述したように、サーバ装置10では、この編集データに基づいて、シナリオデータベース45内のデータを更新することができる。 The edited data includes, for example, when at least a part of the object is changed on the scenario edit screen by the user of the client device 20, data indicating the changed part and the changed content, and on the scenario edit screen. When an object is added in, it contains data indicating the added part and the added contents. As described above, the server device 10 can update the data in the scenario database 45 based on the edited data.

なお、シナリオデータで示されるシナリオには、発話だけでなく、画像も含まれていてもよい。この画像は、例えば、ユーザによる発話に応答する発話に合わせて、顧客端末31,32の画面上に表示される画像である。画像には、例えば、ショッピングモールや各ショップのキャラクタの画像が用いられてもよい。したがって、編集支援システム1では、シナリオに含まれる発話と同様にして、画像も編集(変更)することができる。 The scenario shown in the scenario data may include not only utterances but also images. This image is, for example, an image displayed on the screens of the customer terminals 31 and 32 in accordance with the utterance in response to the utterance by the user. For the image, for example, an image of a character of a shopping mall or each shop may be used. Therefore, in the editing support system 1, the image can be edited (changed) in the same manner as the utterance included in the scenario.

ここで、編集支援システム1における具体的な動作のいくつかの例を示す。
まず、サーバ装置10の編集処理部47および送信制御部48が、ショッピングモール端末21(第1クライアント装置)に、ユーザによる発話とサーバ装置10(対話エンジン103B)によって生成される発話とを含む対話の第1シナリオを示す第1シナリオデータを送信する場合について例示する。この第1シナリオデータは、ユーザによる第1発話の内、ショッピングモール端末21のユーザによって編集可能な第1部分と、サーバ装置10によって生成される第2発話の内、ショッピングモール端末21のユーザによって編集可能な第2部分とを示す情報を含み得る。これら第1部分と第2部分とは、例えば、クライアント装置20の種別や、クライアント装置20を使用するユーザの種別に応じて任意に設定することができる。
Here, some examples of specific operations in the editing support system 1 are shown.
First, the editing processing unit 47 and the transmission control unit 48 of the server device 10 make a dialogue in the shopping mall terminal 21 (first client device) including the utterance by the user and the utterance generated by the server device 10 (dialogue engine 103B). The case where the first scenario data indicating the first scenario of the above is transmitted will be illustrated. This first scenario data is obtained by the user of the shopping mall terminal 21 in the first part of the first utterance by the user that can be edited by the user of the shopping mall terminal 21 and the second utterance generated by the server device 10. It may contain information indicating an editable second part. These first and second parts can be arbitrarily set according to, for example, the type of the client device 20 and the type of the user who uses the client device 20.

ショッピングモール端末21の受信制御部51は、第1シナリオデータを受信する。表示制御部52は、第1シナリオデータに示される第1シナリオに基づいて、ユーザによる第1発話を示す第1オブジェクトであって、第1発話の内の編集可能な第1部分をさらに示す第1オブジェクトと、サーバ装置10によって生成される第2発話を示す第2オブジェクトであって、当該第2発話の内の編集可能な第2部分をさらに示す第2オブジェクトとをLCD204Aの画面に表示する。そして、操作受付部53および送信制御部54は、ショッピングモール端末21を使用するユーザによって、第1部分と第2部分の少なくとも一方を編集するための操作が行われた場合、編集された第1部分と第2部分の少なくとも一方を示す第1編集データをサーバ装置10に送信する。 The reception control unit 51 of the shopping mall terminal 21 receives the first scenario data. The display control unit 52 is a first object indicating the first utterance by the user based on the first scenario shown in the first scenario data, and further indicates an editable first portion of the first utterance. One object and a second object indicating the second utterance generated by the server device 10 and further indicating the editable second part of the second utterance are displayed on the screen of the LCD 204A. .. Then, when the user using the shopping mall terminal 21 performs an operation for editing at least one of the first portion and the second portion, the operation reception unit 53 and the transmission control unit 54 are edited first. The first edit data indicating at least one of the portion and the second portion is transmitted to the server device 10.

サーバ装置10の受信制御部46は、第1編集データを受信する。編集処理部47は、この第1編集データを用いて、第1シナリオに含まれる、第1発話の内の第1部分と第2発話の内の第2部分の少なくとも一方を変更して、第1シナリオデータを書き換える。 The reception control unit 46 of the server device 10 receives the first edit data. The editing processing unit 47 uses the first editing data to change at least one of the first part of the first utterance and the second part of the second utterance included in the first scenario, and the first 1 Rewrite the scenario data.

これにより、第1シナリオの内の第1部分および第2部分だけが、ショッピングモール端末21のユーザによって編集されるように制御することができる。 Thereby, only the first part and the second part in the first scenario can be controlled to be edited by the user of the shopping mall terminal 21.

なお、第1シナリオデータは、第1発話の内、ショッピングモール端末21のユーザによって編集不能な第3部分と、第2発話の内、ショッピングモール端末21のユーザによって編集不能な第4部分とを示す情報を含んでいてもよい。その場合、ショッピングモール端末21の表示制御部52によって表示される第1オブジェクトは、第1発話の内の編集不能な第3部分をさらに示し、また第2オブジェクトは、第2発話の内の編集不能な第4部分をさらに示すようにしてもよい。 The first scenario data includes a third part of the first utterance that cannot be edited by the user of the shopping mall terminal 21 and a fourth part of the second utterance that cannot be edited by the user of the shopping mall terminal 21. It may include information to indicate. In that case, the first object displayed by the display control unit 52 of the shopping mall terminal 21 further indicates the non-editable third part in the first utterance, and the second object is the edit in the second utterance. The impossible fourth part may be further shown.

また、第1シナリオデータは、第1シナリオの対話に新たな発話を追加可能な位置を示す情報を含んでいてもよい。その場合、ショッピングモール端末21の表示制御部52は、第1シナリオに新たな発話を追加するための第5オブジェクトを画面に表示する。操作受付部53および送信制御部54は、ショッピングモール端末21を使用するユーザによって、この第5オブジェクトを用いて第3発話を追加するための操作が行われた場合、第3発話を示す追加データをサーバ装置10に送信する。 In addition, the first scenario data may include information indicating a position where a new utterance can be added to the dialogue of the first scenario. In that case, the display control unit 52 of the shopping mall terminal 21 displays the fifth object for adding a new utterance to the first scenario on the screen. The operation reception unit 53 and the transmission control unit 54 are additional data indicating the third utterance when the user using the shopping mall terminal 21 performs an operation for adding the third utterance using the fifth object. Is transmitted to the server device 10.

サーバ装置10の受信制御部46は、追加データを受信する。編集処理部47は、この追加データを用いて、第1シナリオに第3発話を追加するように、第1シナリオデータを書き換える。 The reception control unit 46 of the server device 10 receives the additional data. The editing processing unit 47 uses this additional data to rewrite the first scenario data so as to add the third utterance to the first scenario.

これにより、第1シナリオに新たな発話を追加することができ、また、新たな発話が追加される位置を制御することができる。 As a result, a new utterance can be added to the first scenario, and the position where the new utterance is added can be controlled.

次いで、サーバ装置10の編集処理部47および送信制御部48が、第1シナリオデータをショップ端末22(第2クライアント装置)に送信する場合について例示する。送信される第1シナリオデータは、ユーザによる第1発話の内、ショップ端末22を使用するユーザによって編集可能な第5部分と、サーバ装置10によって生成される第2発話の内、ショップ端末22を使用するユーザによって編集可能な第6部分とを示す情報を含む。ショッピングモール端末21を使用するユーザによって編集可能な第1発話の内の第1部分は、ショップ端末22を使用するユーザによって編集可能な第1発話の内の第5部分と異なり得る。同様に、ショッピングモール端末21を使用するユーザによって編集可能な第2発話の内の第2部分は、ショップ端末22を使用するユーザによって編集可能な第2発話の内の第6部分と異なり得る。これは、ショッピングモール端末21を使用するユーザが第1シナリオを編集(変更)できる権限と、ショップ端末22を使用するユーザが第1シナリオを編集できる権限とが異なるためである。 Next, a case where the editing processing unit 47 and the transmission control unit 48 of the server device 10 transmit the first scenario data to the shop terminal 22 (second client device) will be illustrated. The transmitted first scenario data includes the fifth part of the first utterance by the user, which can be edited by the user using the shop terminal 22, and the shop terminal 22 in the second utterance generated by the server device 10. Contains information indicating a sixth part that can be edited by the user. The first part of the first utterance editable by the user using the shopping mall terminal 21 may differ from the fifth part of the first utterance editable by the user using the shop terminal 22. Similarly, the second part of the second utterance editable by the user using the shopping mall terminal 21 may differ from the sixth part of the second utterance editable by the user using the shop terminal 22. This is because the authority for the user using the shopping mall terminal 21 to edit (change) the first scenario is different from the authority for the user using the shop terminal 22 to edit the first scenario.

ショップ端末22の表示制御部52は、第1シナリオデータに示される第1シナリオに基づいて、第1発話を示す第3オブジェクトであって、第5部分をさらに示す第3オブジェクトと、第2発話を示す第4オブジェクトであって、第6部分をさらに示す第4オブジェクトとをLCD204Aの画面に表示する。 The display control unit 52 of the shop terminal 22 is a third object indicating the first utterance based on the first scenario shown in the first scenario data, and the third object further indicating the fifth part and the second utterance. The fourth object indicating the sixth part and the fourth object further indicating the sixth part are displayed on the screen of the LCD 204A.

そして、操作受付部53は、ショップ端末22を使用するユーザによって、第5部分と第6部分の少なくとも一方を編集するための操作が行われた場合、編集された第5部分と第6部分の少なくとも一方を示す第2編集データをサーバ装置10に送信する。 Then, when the user who uses the shop terminal 22 performs an operation for editing at least one of the fifth part and the sixth part, the operation reception unit 53 of the edited fifth part and the sixth part. The second edit data indicating at least one of them is transmitted to the server device 10.

サーバ装置10の受信制御部46は、第2編集データを受信する。編集処理部47は、この第2編集データを用いて、第1シナリオに含まれる、第1発話の内の第5部分と第2発話の内の第6部分の少なくとも一方を変更して、第1シナリオデータを書き換える。 The reception control unit 46 of the server device 10 receives the second edited data. The editing processing unit 47 uses the second editing data to change at least one of the fifth part of the first utterance and the sixth part of the second utterance included in the first scenario, and the second 1 Rewrite the scenario data.

これにより、第1シナリオの内の第5部分および第6部分だけが、ショップ端末22のユーザによって編集されるように制御することができる。 As a result, only the fifth and sixth parts of the first scenario can be controlled to be edited by the user of the shop terminal 22.

次いで、サーバ装置10の編集処理部47および送信制御部48が、ショッピングモール端末21に、上記第1シナリオを示す第1シナリオデータと、第1発話を含む対話の第2シナリオを示す第2シナリオデータとを送信する場合について例示する。つまり、第1シナリオと第2シナリオとは、いずれも第1発話を含んでいる。 Next, the editing processing unit 47 and the transmission control unit 48 of the server device 10 tell the shopping mall terminal 21 the first scenario data showing the first scenario and the second scenario showing the second scenario of the dialogue including the first speech. An example is given in the case of transmitting data. That is, both the first scenario and the second scenario include the first utterance.

ショッピングモール端末21の受信制御部51は、サーバ装置10から第1シナリオデータと第2シナリオデータとを受信する。表示制御部52は、第1シナリオデータに示される第1シナリオに基づく第1ページであって、第1オブジェクトと第2オブジェクトとを含む第1ページをLCD204Aの画面に表示する。上述したように、第1オブジェクトは、ユーザによる第1発話と、当該第1発話の内の編集可能な第1部分とを示す。また、第2オブジェクトは、サーバ装置10によって生成される第2発話と、当該第2発話の内の編集可能な第2部分とを示す。 The reception control unit 51 of the shopping mall terminal 21 receives the first scenario data and the second scenario data from the server device 10. The display control unit 52 displays the first page, which is the first page based on the first scenario shown in the first scenario data and includes the first object and the second object, on the screen of the LCD 204A. As described above, the first object represents a first utterance by the user and an editable first portion of the first utterance. The second object also indicates a second utterance generated by the server device 10 and an editable second portion of the second utterance.

次いで、操作受付部53および表示制御部52は、ショッピングモール端末21を使用するユーザによって、第1部分を編集するための操作が行われた後、第2シナリオデータに示される第2シナリオに基づいて、第1発話を示す第6オブジェクトであって、当該第1発話の内の編集可能な第3部分が、その第1部分に対する編集内容に基づいて変更された第6オブジェクトを含む第2ページを画面に表示する。 Next, the operation reception unit 53 and the display control unit 52 are based on the second scenario shown in the second scenario data after the operation for editing the first portion is performed by the user who uses the shopping mall terminal 21. The second page is the sixth object indicating the first utterance, and the editable third part of the first utterance includes the sixth object modified based on the edited contents for the first part. Is displayed on the screen.

より具体的には、操作受付部53は、ショッピングモール端末21を使用するユーザによって、第1部分を編集するための操作を受け付け、表示制御部52は、編集された第1部分を表示する。この後に、操作受付部53は、ショッピングモール端末21を使用するユーザによって、第2シナリオデータに示される第2シナリオに基づく第2ページを表示するための操作を受け付けた場合、第2シナリオに基づいて、第1発話を示す第6オブジェクトであって、当該第1発話の内の編集可能な第3部分が、第1部分に対する編集内容に基づいて変更された第6オブジェクトを画面に表示する。また、送信制御部54は、編集された第1部分と変更された第3部分とを示す第3編集データをサーバ装置10に送信する。 More specifically, the operation reception unit 53 receives an operation for editing the first portion by the user who uses the shopping mall terminal 21, and the display control unit 52 displays the edited first portion. After that, when the operation reception unit 53 receives an operation for displaying the second page based on the second scenario shown in the second scenario data by the user who uses the shopping mall terminal 21, the operation reception unit 53 is based on the second scenario. The sixth object indicating the first utterance, and the editable third part of the first utterance, displays the sixth object modified based on the edited contents for the first part on the screen. Further, the transmission control unit 54 transmits the third edited data indicating the edited first portion and the modified third portion to the server device 10.

サーバ装置10の受信制御部46は、ショッピングモール端末21から第3編集データを受信する。編集処理部47は、この第3編集データを用いて、第1シナリオに含まれる、第1発話の内の前記第1部分を変更して、第1シナリオデータを書き換え、また第2シナリオに含まれる、第1発話の内の第3部分を変更して、第2シナリオデータを書き換える。 The reception control unit 46 of the server device 10 receives the third edited data from the shopping mall terminal 21. The editing processing unit 47 uses the third editing data to change the first part of the first utterance included in the first scenario, rewrite the first scenario data, and include it in the second scenario. The third part of the first utterance is changed to rewrite the second scenario data.

このような構成により、第1シナリオに基づく第1ページ上での編集内容が、第2シナリオに基づく第2ページ上にも反映されるので、ユーザによる編集作業の煩雑さを軽減することができる。 With such a configuration, the editing content on the first page based on the first scenario is also reflected on the second page based on the second scenario, so that the complexity of the editing work by the user can be reduced. ..

次いで、図7から図12は、クライアント装置20によって表示されるシナリオ編集画面のいくつかの例を示す。 Next, FIGS. 7 to 12 show some examples of the scenario editing screen displayed by the client device 20.

まず、図7に示すシナリオ編集画面6には、複数のシナリオを編集するための複数のシナリオ編集ページ61,62,6Nが含まれている。これら複数のシナリオ編集ページ61,62,6Nは、例えば、同じタイプのテンプレートを使用している複数のシナリオに対応する。テンプレートは、例えば、発話と状態遷移の少なくとも一方が規定されたテンプレートである。複数のシナリオ編集ページ61,62,6Nは、シナリオ編集画面6内に重ねて配置されている。ユーザは、複数のシナリオ編集ページ61,62,6Nの内の1ページを選択する操作、例えば、あるページ内のいずれかの位置をタップする操作によって、そのページを複数のシナリオ編集ページ61,62,6Nの最上部に配置することができる。ユーザは、その最上部に配置された1ページに対してシナリオの編集操作を行うことができる。 First, the scenario editing screen 6 shown in FIG. 7 includes a plurality of scenario editing pages 61, 62, 6N for editing a plurality of scenarios. These plurality of scenario edit pages 61, 62, 6N correspond to, for example, a plurality of scenarios using the same type of template. The template is, for example, a template in which at least one of utterance and state transition is defined. The plurality of scenario editing pages 61, 62, 6N are arranged so as to overlap in the scenario editing screen 6. The user selects one of the plurality of scenario edit pages 61, 62, 6N, for example, by tapping any position in a certain page, the page is displayed on the plurality of scenario edit pages 61, 62. , Can be placed at the top of 6N. The user can edit the scenario for one page arranged at the top of the page.

各シナリオ編集ページ61,62,6Nでは、そのシナリオで意図されたアクション(例えば、店舗検索、場所検索等)のための状態遷移が変更されない範囲で、発話を編集することができる。この発話の編集は、例えば、発話内容の変更や発話の追加を含む。 On each scenario edit page 61, 62, 6N, the utterance can be edited within the range in which the state transition for the action intended in the scenario (for example, store search, place search, etc.) is not changed. Editing this utterance includes, for example, changing the content of the utterance or adding an utterance.

図7に示すように、最上部に配置された第1シナリオ編集ページ61には、ページの左側に、システムによって生成される発話(すなわち、サーバ装置10によって生成される発話)を示す発話オブジェクト71,73,75が含まれ、ページの右側に、ユーザによる発話を示す発話オブジェクト72,74が含まれている。また、第1シナリオ編集ページ61には、ページの左側に、システムによって生成される発話を追加するための追加オブジェクト791,793が含まれ、ページの右側に、ユーザによる発話を追加するための追加オブジェクト792がさらに含まれている。追加オブジェクト791,792,793は、例えば、シナリオ内で発話の追加が可能な位置に配置されている。 As shown in FIG. 7, on the first scenario edit page 61 arranged at the top, the utterance object 71 showing the utterance generated by the system (that is, the utterance generated by the server device 10) is displayed on the left side of the page. , 73, 75 are included, and on the right side of the page, utterance objects 72, 74 indicating utterances by the user are included. In addition, the first scenario edit page 61 includes additional objects 791,793 for adding system-generated utterances on the left side of the page, and additions for adding user utterances on the right side of the page. An additional object 792 is included. The additional objects 791,792,793 are arranged, for example, at positions in the scenario where utterances can be added.

各発話オブジェクト71〜75では、発話の内容を示すテキストの内、ユーザによって編集可能な部分711,722,732,752と編集不能な部分712,721,731,741,751とが示されている。例えば、発話オブジェクト71では、編集可能な部分「あけましておめでとうございます」711と、編集不能な部分「どうされましたか」712とが示されている。 In each utterance object 71-75, in the text indicating the content of the utterance, a part 711,722,732,752 that can be edited by the user and a part 712,721,731,741,751 that cannot be edited are shown. .. For example, in the utterance object 71, the editable part "Happy New Year" 711 and the non-editable part "What happened" 712 are shown.

編集可能な部分711,722,732,752と編集不能な部分712,721,731,741,751とは、ユーザによってそれぞれ識別されるように表示される。図7に示す例では、編集可能な部分711,722,732,752が下線によって示され、編集不能な部分712,721,731,741,751が矩形で囲まれることによって示されている。編集可能な部分711,722,732,752と編集不能な部分712,721,731,741,751とを識別するための表示形態は、この例に限られず、異なる色、ハイライト、太字等、これら二種類の部分を識別可能な表示形態であればどのような表示形態であってもよい。 The editable portion 711,722,732,752 and the non-editable portion 712,721,731,741,751 are displayed so as to be identified by the user, respectively. In the example shown in FIG. 7, editable portions 711,722,732,752 are underlined and non-editable portions 712,721,731,741,751 are shown by being enclosed in a rectangle. The display form for distinguishing the editable part 711,722,732,752 from the non-editable part 712,721,731,741,751 is not limited to this example, and different colors, highlights, bold, etc. Any display form may be used as long as these two types of parts can be identified.

また、ユーザが編集可能な部分711,722,732,752に対する特定の操作(例えば、タップ操作)を行ったことに応じて、その編集可能な部分711,722,732,752のいずれかの位置にカーソルが表示され、発話の内容を表すテキストの編集が開始されるようにしてもよい。なお、編集不能な部分712,721,731,741,751に対する操作は、何等受け付けられないようにしてもよい。これにより、クライアント装置20のユーザに与えられた権限の範囲内でシナリオが編集されるように制御することができる。 Further, depending on the user performing a specific operation (for example, a tap operation) on the editable portion 711,722,732,752, any position of the editable portion 711,722,732,752. A cursor may be displayed at and the editing of the text representing the content of the utterance may be started. It should be noted that any operation on the non-editable part 712,721,731,741,751 may not be accepted. As a result, it is possible to control the scenario to be edited within the range of authority given to the user of the client device 20.

ユーザが、例えば、ショッピングモールの管理者である場合には、年始のセールの時期に設定した時候の挨拶文を、春のセールの時期の挨拶文に変更するために、オブジェクト71に含まれる編集可能な部分「あけましておめでとうございます」711を、「めっきり春らしくなりましたね」に変更するための操作を行うことができる。 If the user is, for example, an administrator of a shopping mall, the editable content included in the object 71 is to change the greeting of the time set at the time of the New Year's sale to the greeting of the time of the spring sale. You can perform an operation to change the part "Happy New Year" 711 to "It looks like spring."

図8に示すように、編集可能な部分「あけましておめでとうございます」711は、「めっきり春らしくなりましたね」711Aに変更されている。この編集可能な部分711Aは、変更されたことが識別できるように、例えば、異なる色、ハイライト、太字等で表示されてもよい。また、ユーザは、この編集可能な部分711Aをさらに変更することもできる。 As shown in FIG. 8, the editable part "Happy New Year" 711 has been changed to "It looks like spring" 711A. The editable portion 711A may be displayed, for example, in different colors, highlights, bold, etc. so that the changes can be identified. The user can also further modify this editable portion 711A.

複数のシナリオ編集ページ61,62,6Nは、例えば、同じタイプのテンプレートを使用している複数のシナリオや、同じ発話を含む複数のシナリオに対応している。そのため、第1シナリオ編集ページ61上の編集可能な部分711への変更が、他のシナリオ編集ページ62,6N上の対応する部分にも反映されるようにしてもよい。これにより、図9に示すように、第2シナリオ編集ページ62上でも、オブジェクト81に、時候の挨拶文に対応する編集可能な部分「めっきり春らしくなりましたね」811Aが示されている。 The plurality of scenario editing pages 61, 62, 6N correspond to, for example, a plurality of scenarios using the same type of template and a plurality of scenarios including the same utterance. Therefore, the change to the editable part 711 on the first scenario editing page 61 may be reflected in the corresponding part on the other scenario editing pages 62 and 6N. As a result, as shown in FIG. 9, on the second scenario editing page 62, the editable part “It looks like spring” 811A corresponding to the greeting of the time is shown on the object 81.

また、ユーザが、例えば、ショッピングモール内のあるショップの管理者である場合には、発話に含まれる特定の値、例えば、月、週、日、時間等で規定される期間で変動する商品の割引率の値を変更したり、発話の印象をショップのコンセプト等に基づく印象(例えば、丁寧な印象、カジュアルな印象等)に変えるために発話の語尾を変更したりすることもできる。また、このようなショップの管理者が、ショッピングモール全体の情報や他のショップの情報を含む発話を変更できないようにすることもできる。 In addition, when the user is, for example, the manager of a certain shop in a shopping mall, a specific value included in the utterance, for example, a product that fluctuates in a period specified by a month, a week, a day, an hour, or the like. It is also possible to change the value of the discount rate, or change the ending of the utterance in order to change the impression of the utterance to an impression based on the concept of the shop (for example, a polite impression, a casual impression, etc.). It is also possible to prevent the manager of such a shop from changing the utterance including the information of the entire shopping mall and the information of other shops.

例えば、ショップの管理者であるユーザは、図9に示したような編集可能な部分「20%オフです」854を、図10に示す「40%オフでーす」854Aに変更するための操作を行うことができる。また、図10に示すシナリオ編集画面6では、この編集可能な部分854A以外の発話(部分)が編集できないように表示されている。これにより、クライアント装置20の種別またはクライアント装置20を使用するユーザの種別に応じて、シナリオ内の編集可能な部分を制御することができる。 For example, a user who is a shop administrator can change the editable part "20% off" 854 as shown in FIG. 9 to "40% off" 854A shown in FIG. It can be performed. Further, on the scenario editing screen 6 shown in FIG. 10, utterances (parts) other than the editable part 854A are displayed so that they cannot be edited. Thereby, the editable part in the scenario can be controlled according to the type of the client device 20 or the type of the user who uses the client device 20.

次いで、図11は、シナリオに発話が追加される例を示す。シナリオには、そのシナリオで意図されたアクション(例えば、店舗検索、場所検索等)のための状態遷移が変更されない範囲で、発話を追加することができる。例えば、シナリオには状態遷移が変更されない雑談の発話(対話)を追加することができる。 Next, FIG. 11 shows an example in which an utterance is added to the scenario. Utterances can be added to the scenario as long as the state transition for the action intended in the scenario (eg, store search, location search, etc.) is not changed. For example, it is possible to add a chat utterance (dialogue) in which the state transition is not changed to the scenario.

図11に示す例では、追加された発話を示すオブジェクト76が示されている。このオブジェクト76は、新たに追加されたことが識別できるように表示されてもよい。 In the example shown in FIG. 11, an object 76 indicating the added utterance is shown. The object 76 may be displayed so that it can be identified that it has been newly added.

また、新たな発話が追加された場合、追加された発話がシナリオに対して適切であるか否かを示す情報76Aが、オブジェクト76に関連付けて表示されてもよい。この情報76Aでは、例えば、入力された発話が他のシナリオで既に使用されていること、入力された発話がこのシナリオで意図されたアクションのためのテンプレートを変更する可能性があること、等が示される。ユーザは、この情報76Aに応じて、発話の内容を変更するための操作や、発話の追加をキャンセルするための操作を行うこともできる。 Further, when a new utterance is added, information 76A indicating whether or not the added utterance is appropriate for the scenario may be displayed in association with the object 76. In this information 76A, for example, the input utterance is already used in another scenario, the input utterance may change the template for the action intended in this scenario, and so on. Shown. The user can also perform an operation for changing the content of the utterance or an operation for canceling the addition of the utterance according to the information 76A.

また、図12のシナリオ編集画面9に示すように、追加された発話を示すオブジェクト96,97を含むシナリオ編集ページ91のシナリオが、サーバ装置10に既に登録されている場合には、ユーザに登録するか否かを問い合わせるダイアログ99が表示されてもよい。このダイアログ99には、例えば、シナリオを登録するためのボタン991と、シナリオの登録をキャンセルするためのボタン992とが含まれている。ユーザはいずれかのボタン991,992を選択する操作によって、シナリオの登録または登録のキャンセルを指示することができる。 Further, as shown in the scenario edit screen 9 of FIG. 12, if the scenario of the scenario edit page 91 including the objects 96 and 97 indicating the added utterances is already registered in the server device 10, it is registered in the user. A dialog 99 asking whether or not to do so may be displayed. The dialog 99 includes, for example, a button 991 for registering a scenario and a button 992 for canceling the registration of the scenario. The user can instruct to register the scenario or cancel the registration by selecting any of the buttons 991 and 992.

次いで、図13のフローチャートを参照して、サーバ装置10によって実行されるシナリオ編集処理の手順の例を説明する。このシナリオ編集処理は、例えば、サーバ装置10のCPU101が編集支援サーバプログラム103Cに含まれる命令群を実行することによって実現される。 Next, an example of the procedure of the scenario editing process executed by the server device 10 will be described with reference to the flowchart of FIG. This scenario editing process is realized, for example, by the CPU 101 of the server device 10 executing the instruction group included in the editing support server program 103C.

まず、受信制御部46は、クライアント装置20から編集のためのシナリオデータが要求されたか否かを判定する(ステップS21)。より具体的には、受信制御部46は、クライアント装置20から通信デバイス107を介して、編集のためのシナリオの要求を示すデータが受信されたか否かを判定する。クライアント装置20から編集のためのシナリオが要求されていない場合(ステップS21のNO)、ステップS21の手順に戻り、クライアント装置20から編集のためのシナリオが要求されたか否かが再度判定される。 First, the reception control unit 46 determines whether or not the scenario data for editing is requested from the client device 20 (step S21). More specifically, the reception control unit 46 determines whether or not data indicating a request for a scenario for editing has been received from the client device 20 via the communication device 107. If the scenario for editing is not requested from the client device 20 (NO in step S21), the process returns to step S21, and it is determined again whether or not the scenario for editing is requested from the client device 20.

クライアント装置20から編集のためのシナリオが要求された場合(ステップS21のYES)、編集処理部47は、シナリオデータベース45から、要求したクライアント装置20に対応する編集用シナリオデータを読み出す(ステップS22)。そして、送信制御部48は、読み出された編集用シナリオデータをクライアント装置20に送信する(ステップS23)。クライアント装置20では、この編集用シナリオデータに基づくシナリオ編集画面が表示される。 When a scenario for editing is requested from the client device 20 (YES in step S21), the editing processing unit 47 reads out the editing scenario data corresponding to the requested client device 20 from the scenario database 45 (step S22). .. Then, the transmission control unit 48 transmits the read editing scenario data to the client device 20 (step S23). The client device 20 displays a scenario editing screen based on the editing scenario data.

次いで、受信制御部46は、クライアント装置20から、編集されたシナリオを示す編集データを受信したか否かを判定する(ステップS24)。編集データを受信していない場合(ステップS24のNO)、ステップS24の手順に戻り、編集データを受信したか否かが再度判定される。 Next, the reception control unit 46 determines whether or not the edit data indicating the edited scenario has been received from the client device 20 (step S24). If the edited data has not been received (NO in step S24), the process returns to step S24, and it is determined again whether or not the edited data has been received.

一方、編集データを受信した場合(ステップS24のYES)、編集処理部47は、この編集データを用いてシナリオデータベース45内のデータを更新する(ステップS25)。 On the other hand, when the edited data is received (YES in step S24), the editing processing unit 47 updates the data in the scenario database 45 using the edited data (step S25).

次いで、図14のフローチャートを参照して、クライアント装置20によって実行されるシナリオ編集処理の手順の例を説明する。このシナリオ編集処理は、例えば、クライアント装置20のCPU201が編集支援クライアントプログラム203Bに含まれる命令群を実行することによって実現される。 Next, an example of the procedure of the scenario editing process executed by the client device 20 will be described with reference to the flowchart of FIG. This scenario editing process is realized, for example, by the CPU 201 of the client device 20 executing the instruction group included in the editing support client program 203B.

まず、操作受付部53は、編集のためのシナリオの表示が要求されたか否かを判定する(ステップS31)。操作受付部53は、例えば、編集支援クライアントプログラム203Bが起動された場合、ユーザによって特定の操作が行われた場合等に、編集のためのシナリオの表示が要求されたと判断する。編集のためのシナリオの表示が要求されていない場合(ステップS31のNO)、ステップS31の手順に戻り、編集のためのシナリオの表示が要求されたか否かが再度判定される。 First, the operation reception unit 53 determines whether or not the display of the scenario for editing is requested (step S31). The operation reception unit 53 determines that the display of the scenario for editing is requested, for example, when the editing support client program 203B is started, or when a specific operation is performed by the user. If the display of the scenario for editing is not requested (NO in step S31), the process returns to step S31, and it is determined again whether or not the display of the scenario for editing is requested.

編集のためのシナリオの表示が要求された場合(ステップS31のYES)、送信制御部54は、通信デバイス207を介して、サーバ装置10に編集のためのシナリオを要求する(ステップS32)。受信制御部51は、通信デバイス207を介して、サーバ装置10から編集用シナリオデータを受信する(ステップS33)。そして、表示制御部52は、受信した編集用シナリオデータを用いて、シナリオ編集画面をLCD204Aに表示する(ステップS34)。このシナリオ編集画面の例は、図7から図12を参照して上述した通りである。 When the display of the scenario for editing is requested (YES in step S31), the transmission control unit 54 requests the server device 10 for the scenario for editing via the communication device 207 (step S32). The reception control unit 51 receives the editing scenario data from the server device 10 via the communication device 207 (step S33). Then, the display control unit 52 displays the scenario editing screen on the LCD 204A using the received editing scenario data (step S34). An example of this scenario editing screen is as described above with reference to FIGS. 7 to 12.

次いで、操作受付部53および表示制御部52は、表示されたシナリオ編集画面上での操作に応じて、シナリオの編集を受け付ける(ステップS35)。表示制御部52は、操作に応じて、シナリオ編集画面上の発話を示すオブジェクトの少なくとも一部を変更したり、シナリオ編集画面上に発話を示す新たなオブジェクトを追加したりする。 Next, the operation receiving unit 53 and the display control unit 52 accept editing of the scenario according to the operation on the displayed scenario editing screen (step S35). The display control unit 52 changes at least a part of the object indicating the utterance on the scenario editing screen, or adds a new object indicating the utterance on the scenario editing screen according to the operation.

そして、操作受付部53は、シナリオの編集が完了したか否かを判定する(ステップS36)。操作受付部53は、編集の完了を示す特定の操作(例えば、編集完了ボタンをタップする操作)に基づいて、シナリオの編集が完了したと判断する。シナリオの編集が完了していない場合(ステップS36のNO)、ステップS35の手順に戻り、さらなるシナリオの編集が受け付けられる。 Then, the operation reception unit 53 determines whether or not the editing of the scenario is completed (step S36). The operation reception unit 53 determines that the editing of the scenario is completed based on a specific operation indicating the completion of editing (for example, an operation of tapping the editing completion button). If the scenario editing is not completed (NO in step S36), the process returns to step S35, and further scenario editing is accepted.

シナリオの編集が完了した場合(ステップS36のYES)、送信制御部54は、編集内容を示す編集データをサーバ装置10に送信する(ステップS37)。 When the editing of the scenario is completed (YES in step S36), the transmission control unit 54 transmits the editing data indicating the edited content to the server device 10 (step S37).

以上説明したように、本実施形態によれば、対話エンジンで用いられるシナリオデータを容易に編集することができる。サーバ装置10のシナリオデータベース45は、ユーザによる発話を示す発話データを用いて、この発話に応答する発話を示す発話データを生成するために、ユーザによる発話とサーバ装置10によって生成される発話とを含む対話の複数のシナリオを示すシナリオデータを格納する。送信制御部48は、複数のシナリオの内の第1シナリオを示す第1シナリオデータをクライアント装置20に送信する。クライアント装置20の受信制御部51は、サーバ装置10から第1シナリオデータを受信する。表示制御部52は、第1シナリオデータに示される第1シナリオに基づいて、ユーザによる第1発話を示す第1オブジェクトであって、当該第1発話の内の編集可能な第1部分をさらに示す第1オブジェクトと、サーバ装置10によって生成される第2発話を示す第2オブジェクトであって、当該第2発話の内の編集可能な第2部分をさらに示す第2オブジェクトとをLCD204Aの画面に表示する。操作受付部53および送信制御部54は、クライアント装置20を使用するユーザによって、第1部分と第2部分の少なくとも一方を編集するための操作が行われた場合、編集された第1部分と第2部分の少なくとも一方を示す第1編集データをサーバ装置10に送信する。サーバ装置10の受信制御部46は、さらに、クライアント装置20から第1編集データを受信し、編集処理部47は、第1編集データを用いて、第1シナリオに含まれる、第1発話の内の第1部分と第2発話の内の第2部分の少なくとも一方を変更して、第1シナリオデータを書き換える。 As described above, according to the present embodiment, the scenario data used in the dialogue engine can be easily edited. The scenario database 45 of the server device 10 uses the utterance data indicating the utterance by the user to generate the utterance data by the user and the utterance generated by the server device 10 in order to generate the utterance data indicating the utterance in response to the utterance. Stores scenario data showing multiple scenarios of the included dialogue. The transmission control unit 48 transmits the first scenario data indicating the first scenario among the plurality of scenarios to the client device 20. The reception control unit 51 of the client device 20 receives the first scenario data from the server device 10. The display control unit 52 is a first object indicating the first utterance by the user based on the first scenario shown in the first scenario data, and further indicates an editable first part of the first utterance. The first object and the second object indicating the second utterance generated by the server device 10 and further indicating the editable second part of the second utterance are displayed on the screen of the LCD 204A. do. When the user who uses the client device 20 performs an operation for editing at least one of the first portion and the second portion, the operation reception unit 53 and the transmission control unit 54 have the edited first portion and the first portion. The first edit data indicating at least one of the two parts is transmitted to the server device 10. The reception control unit 46 of the server device 10 further receives the first edit data from the client device 20, and the edit processing unit 47 uses the first edit data to include the first utterance included in the first scenario. The first scenario data is rewritten by changing at least one of the first part and the second part of the second utterance.

第1部分と第2部分とは、例えば、クライアント装置20や管理者の種別に応じて任意に設定できる。したがって、対話のためのシナリオデータ上の編集可能(変更可能)な部分がクライアント装置20や管理者の種別等に応じて制御されるので、対話エンジン103Bで用いられるシナリオデータ450を容易に且つ適切に編集することができる。 The first part and the second part can be arbitrarily set according to, for example, the type of the client device 20 and the administrator. Therefore, since the editable (changeable) part of the scenario data for dialogue is controlled according to the type of the client device 20 and the administrator, the scenario data 450 used in the dialogue engine 103B can be easily and appropriately used. Can be edited to.

また、本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。 Further, each of the various functions described in the present embodiment may be realized by a circuit (processing circuit). Examples of processing circuits include programmed processors such as central processing units (CPUs). This processor executes each of the described functions by executing a computer program (instruction group) stored in the memory. This processor may be a microprocessor including an electric circuit. Examples of processing circuits also include digital signal processors (DSPs), application specific integrated circuits (ASICs), microcontrollers, controllers, and other electrical circuit components. Each of the components other than the CPU described in this embodiment may also be realized by a processing circuit.

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Further, since various processes of the present embodiment can be realized by a computer program, the present embodiment and the present embodiment can be obtained only by installing and executing the computer program on a computer through a computer-readable storage medium in which the computer program is stored. A similar effect can be easily achieved.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

1…編集支援システム、2…対話システム、10…サーバ装置、20…クライアント装置(編集端末)、31,32…顧客端末、40…ネットワーク、103B…対話エンジン、103C…編集支援サーバプログラム、41…発話受付部、42…応答制御部、43…生成部、44…出力制御部、45…シナリオデータベース、450…シナリオデータ、451…発話理解モデルデータ、452…応答コンテンツデータ、453…応答形式データ、454…応答生成モデルデータ、455…クライアントデータ、46…受信制御部、47…編集処理部、48…送信制御部、203B…編集支援クライアントプログラム、51…受信制御部、52…表示制御部、53…操作受付部、54…送信制御部。 1 ... Editing support system, 2 ... Dialogue system, 10 ... Server device, 20 ... Client device (editing terminal), 31, 32 ... Customer terminal, 40 ... Network, 103B ... Dialogue engine, 103C ... Editing support server program, 41 ... Speech reception unit, 42 ... Response control unit, 43 ... Generation unit, 44 ... Output control unit, 45 ... Scenario database, 450 ... Scenario data, 451 ... Speech understanding model data, 452 ... Response content data, 453 ... Response format data, 454 ... Response generation model data, 455 ... Client data, 46 ... Reception control unit, 47 ... Editing processing unit, 48 ... Transmission control unit, 203B ... Editing support client program, 51 ... Reception control unit, 52 ... Display control unit, 53 … Operation reception unit, 54… Transmission control unit.

Claims (5)

サーバ装置と第1クライアント装置と第2クライアント装置とによって構成される編集支援システムであって、
前記サーバ装置は、ユーザによる発話を示す発話データを用いて、前記発話に応答する発話を示す発話データを生成するために、ユーザによる発話と前記サーバ装置によって生成される発話とを含む対話の複数のシナリオを示すシナリオデータと、第1編集用シナリオデータと、第2編集用シナリオデータとを記憶媒体に格納するように構成され
前記第1編集用シナリオデータは、
前記シナリオデータによって示される前記複数のシナリオの内の、ユーザによる1つの第1発話と前記サーバ装置によって生成される1つの第2発話とを含む第1シナリオと、
前記第1シナリオで意図されたアクションのための第1状態遷移と、
前記第1クライアント装置を使用する第1ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第1部分および前記第2発話の内の第2部分を示す第1情報と、
前記第1ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第3部分および前記第2発話の内の第4部分を示す第2情報と、を示し
前記第2編集用シナリオデータ
前記第1シナリオと、
前記第1状態遷移と、
前記第2クライアント装置を使用する第2ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第5部分および前記第2発話の内の第6部分を示す第3情報と、
前記第2ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第7部分および前記第2発話の内の第8部分を示す第4情報と、を示し
前記サーバ装置は、
前記第1編集用シナリオデータを前記第1クライアント装置に送信し、
前記第2編集用シナリオデータを前記第2クライアント装置に送信するように構成され、
前記第1クライアント装置は、
前記サーバ装置から前記第1編集用シナリオデータを受信し、
前記第1編集用シナリオデータに示される前記第1シナリオと前記第1情報と前記第2情報とに基づいて、前記第1発話を示す第1オブジェクトであって、前記第1部分と前記第3部分とをさらに示す第1オブジェクトと、前記第2発話を示す第2オブジェクトであって、前記第2部分と前記第4部分とをさらに示す第2オブジェクトとを画面に表示し、
前記第1ユーザによって、前記第1部分と前記第2部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第1部分と前記第2部分の少なくとも一方を示す第1編集データを前記サーバ装置に送信するように構成され、
前記サーバ装置は、さらに、
前記第1クライアント装置から前記第1編集データを受信し、
前記第1編集データを用いて、格納した前記シナリオデータに示される第1シナリオにおいて記第1発話の内の前記第1部分と前記第2発話の内の前記第2部分の少なくとも一方を変更することによって、前記シナリオデータを書き換えるように構成され、
前記第2クライアント装置は、
前記サーバ装置から前記第2編集用シナリオデータを受信し、
前記第2編集用シナリオデータに示される前記第1シナリオと前記第3情報と前記第4情報とに基づいて、前記第1発話を示す第3オブジェクトであって、前記第5部分と前記第7部分とをさらに示す第3オブジェクトと、前記第2発話を示す第4オブジェクトであって、前記第6部分と前記第8部分とをさらに示す第4オブジェクトとを画面に表示し、
前記第2ユーザによって、前記第5部分と前記第6部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第5部分と前記第6部分の少なくとも一方を示す第2編集データを前記サーバ装置に送信するように構成され、
前記サーバ装置は、さらに、
前記第2クライアント装置から前記第2編集データを受信し、
前記第2編集データを用いて、格納した前記シナリオデータに示される前記第1シナリオにおいて記第1発話の内の前記第5部分と前記第2発話の内の前記第6部分の少なくとも一方を変更することによって、前記シナリオデータを書き換えるように構成される編集支援システム。
It is an editing support system composed of a server device, a first client device, and a second client device.
The server device uses the utterance data indicating the utterance by the user, and in order to generate the utterance data indicating the utterance in response to the utterance, a plurality of dialogues including the utterance by the user and the utterance generated by the server device. and scenario data indicating a scenario of a first editing scenario data is configured to store a second editing scenario data in a storage medium,
The first editing scenario data is
Among the plurality of scenarios indicated by the scenario data, a first scenario including one first utterance by the user and one second utterance generated by the server device, and
The first state transition for the action intended in the first scenario ,
The first part of the first utterance and the second of the second utterances, which are editable by the first user using the first client device and do not change the first state transition. The first information showing the part and
With the second information indicating the third part in the first utterance and the fourth part in the second utterance, which is not editable by the first user and is a range for changing the first state transition. , Indicates
The second editing scenario data is
The first scenario and
With the first state transition
The fifth part of the first utterance and the sixth part of the second utterance, which are editable by the second user using the second client device and do not change the first state transition. The third information showing the part and
With the fourth information indicating the seventh part in the first utterance and the eighth part in the second utterance, which is not editable by the second user and is a range for changing the first state transition. , Indicates
The server device
The first editing scenario data is transmitted to the first client device,
It is configured to transmit the second editing scenario data to the second client device.
The first client device is
Receiving said scenario data for the first editing from the server device,
It is shown in the first editing scenario data, based on the first scenario and the first information and the second information, a first object representing the first utterance, the said first portion second A first object further indicating the three parts and a second object indicating the second utterance, which further indicates the second part and the fourth part, are displayed on the screen.
When the first user performs an operation for editing at least one of the first portion and the second portion, the first edit indicating at least one of the edited first portion and the second portion is performed. It is configured to send data to the server device
The server device further
The first edit data is received from the first client device, and the first edit data is received.
Using the first editing data, Oite the first scenario illustrated in the scenario data stored, at least before Symbol said second portion of said first portion and of the second utterance of the first utterance by changing one, it is constructed prior to rewriting the carboxymethyl Nariodeta,
The second client device is
Receiving said scenario data for the second editing from the server apparatus,
The second is shown in the editing scenario data, based on the first scenario and the third information and the fourth information, a third object representing the first utterance, the said fifth portion second A third object further indicating the seven parts and a fourth object indicating the second utterance, which further indicates the sixth part and the eighth part, are displayed on the screen.
When the second user performs an operation for editing at least one of the fifth part and the sixth part, a second edit indicating at least one of the edited fifth part and the sixth part is performed. It is configured to send data to the server device
The server device further
The second edit data is received from the second client device, and the second edit data is received.
Using said second editing data, Oite the first scenario illustrated in the scenario data stored before Symbol of the sixth portion of said fifth portion of said second utterance of the first utterance by changing at least one, before editing support system configured to rewrite the carboxymethyl Nariodeta.
前記シナリオデータによって示される前記複数のシナリオの内の第2シナリオは、前記第1発話を含む対話のシナリオであり
前記サーバ装置は、さらに、第3編集用シナリオデータを前記記憶媒体に格納するように構成され、
前記第3編集用シナリオデータは、
前記第2シナリオと
前記第2シナリオで意図されたアクションのための第2状態遷移と、
前記第1ユーザによって編集可能であって、前記第2状態遷移を変更しない範囲である、前記第1発話の内の第9部分を示す第5情報と、を示し
前記サーバ装置は、さらに、前記第1編集用シナリオデータと前記第3編集用シナリオデータとを前記第1クライアント装置に送信するように構成され、
前記第1クライアント装置は、さらに、
前記サーバ装置から前記第1編集用シナリオデータと前記第3編集用シナリオデータとを受信し、
前記第1編集用シナリオデータに示される前記第1シナリオと前記第1情報と前記第2情報とに基づいて、前記第1オブジェクトと前記第2オブジェクトとを含む第1ページを画面に表示し、
前記第1ユーザによって、前記第1部分を編集するための操作が行われた後、前記第3編集用シナリオデータに示される前記第2シナリオと前記第5情報とに基づいて、前記第1発話を示す第6オブジェクトであって、前記第9部分が前記第1部分に対する編集内容に基づいて変更された第6オブジェクトを含む第2ページを前記画面に表示するように構成される請求項1記載の編集支援システム。
The second scenario of the plurality of scenario illustrated by the scenario data are scenarios dialogue including the first utterance,
The server device is further configured to store the third editing scenario data in the storage medium.
The third editing scenario data is
Said second scenario,
The second state transition for the action intended in the second scenario ,
The fifth information indicating the ninth part of the first utterance, which is editable by the first user and does not change the second state transition , is shown .
The server device is further configured to transmit the first editing scenario data and the third editing scenario data to the first client device.
The first client device further
The first editing scenario data and the third editing scenario data are received from the server device, and the data is received.
It is shown in the first editing scenario data, based on the first scenario and the first information and the second information, to display the first page and a second object and the first object on the screen ,
By the first user, after the operation for editing the first portion is performed, the third is shown in the editing scenario data, on the basis of said fifth information and the second scenario, the first Claim 1 configured to display on the screen a second page of a sixth object indicating an utterance, the ninth portion of which includes a sixth object modified based on an edit to the first portion. Described editing support system.
前記第1クライアント装置は、さらに、編集された前記第1部分と変更された前記第9部分とを示す第3編集データを前記サーバ装置に送信するように構成され、
前記サーバ装置は、さらに、
前記第1クライアント装置から前記第3編集データを受信し、
前記第3編集データを用いて、格納した前記シナリオデータに示される前記第1シナリオにおいて記第1発話の内の前記第1部分を変更することによって、前記シナリオデータを書き換え、格納した前記シナリオデータに示される前記第2シナリオにおいて前記第1発話の内の前記第9部分を変更することによって、前記シナリオデータを書き換えるように構成される請求項2記載の編集支援システム。
The first client device is further configured to transmit third edited data indicating the edited first portion and the modified ninth portion to the server device.
The server device further
The third edit data is received from the first client device, and the third edit data is received.
Using said third editing data, Oite the first scenario illustrated in the scenario data stored by previous SL modify the first portion of the first utterance, before rewriting a carboxymethyl Nariodeta by changing the ninth portion of said scenario data Oite before Symbol first utterance to the second scenario illustrated in storing, before carboxymethyl Nariodeta claim 2 configured to rewrite the Editing support system.
サーバ装置と第1クライアント装置と第2クライアント装置とによって構成される編集支援システムの編集支援方法であって、
前記編集支援方法は、ユーザによる発話を示す発話データを用いて、前記発話に応答する発話を示す発話データを生成するために、ユーザによる発話とサーバ装置によって生成される発話とを含む対話の複数のシナリオを示すシナリオデータと、第1編集用シナリオデータと、第2編集用シナリオデータとを前記サーバ装置内の記憶媒体に格納し、
前記第1編集用シナリオデータは、
前記シナリオデータによって示される前記複数のシナリオの内の、ユーザによる1つの第1発話と前記サーバ装置によって生成される1つの第2発話とを含む第1シナリオと、
前記第1シナリオで意図されたアクションのための第1状態遷移と
前記第1クライアント装置を使用する第1ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第1部分および前記第2発話の内の第2部分を示す第1情報と、
前記第1ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第3部分および前記第2発話の内の第4部分を示す第2情報と、を示し
前記第2編集用シナリオデータ
前記第1シナリオと、
前記第1状態遷移と、
第2クライアント装置を使用する第2ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第5部分および前記第2発話の内の第6部分を示す第3情報と、
前記第2ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第7部分および前記第2発話の内の第8部分を示す第4情報と、を示し
前記編集支援方法は、さらに、
前記第1編集用シナリオデータを前記サーバ装置から前記第1クライアント装置に送信し、
前記第2編集用シナリオデータを前記サーバ装置から前記第2クライアント装置に送信し、
前記第1編集用シナリオデータに示される前記第1シナリオと前記第1情報と前記第2情報とに基づいて、前記第1発話を示す第1オブジェクトであって、前記第1部分と前記第3部分とをさらに示す第1オブジェクトと、前記第2発話を示す第2オブジェクトであって、前記第2部分と前記第4部分とをさらに示す第2オブジェクトとを前記第1クライアント装置の画面に表示し、
前記第1ユーザによって、前記第1部分と前記第2部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第1部分と前記第2部分の少なくとも一方を示す第1編集データを前記サーバ装置に送信し、
前記第1編集データを用いて、前記記憶媒体に格納された前記シナリオデータに示される前記第1シナリオにおいて記第1発話の内の前記第1部分と前記第2発話の内の前記第2部分の少なくとも一方を変更することによって前記シナリオデータを書き換え、
前記第2編集用シナリオデータに示される前記第1シナリオと前記第3情報と前記第4情報とに基づいて、前記第1発話を示す第3オブジェクトであって、前記第5部分と前記第7部分とをさらに示す第3オブジェクトと、前記第2発話を示す第4オブジェクトであって、前記第6部分と前記第8部分とをさらに示す第4オブジェクトとを前記第2クライアント装置の画面に表示し、
前記第2ユーザによって、前記第5部分と前記第6部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第5部分と前記第6部分の少なくとも一方を示す第2編集データを前記サーバ装置に送信し、
前記第2編集データを用いて、前記記憶媒体に格納された前記シナリオデータに示される前記第1シナリオにおいて記第1発話の内の前記第5部分と前記第2発話の内の前記第6部分の少なくとも一方を変更することによって、前記シナリオデータを書き換える編集支援方法。
It is an editing support method of an editing support system composed of a server device, a first client device, and a second client device.
The editing support method uses utterance data indicating utterances by the user, and in order to generate utterance data indicating utterances in response to the utterances, a plurality of dialogues including utterances by the user and utterances generated by the server device. and scenario data indicating a scenario of stores a first editing scenario data, a scenario data for the second editing in a storage medium in the server apparatus,
The first editing scenario data is
Among the plurality of scenarios indicated by the scenario data, a first scenario including one first utterance by the user and one second utterance generated by the server device, and
A first state transition for the action intended by the first scenario,
A editable by the first user using the first client device, a range that does not change the first state transition, a second of the first portion and the second utterance of the first utterance The first information showing the part and
With the second information indicating the third part in the first utterance and the fourth part in the second utterance, which is not editable by the first user and is a range for changing the first state transition. , Indicates
The second editing scenario data is
The first scenario and
With the first state transition
The fifth part of the first utterance and the sixth part of the second utterance, which are editable by a second user using the second client device and do not change the first state transition. The third information indicating
With the fourth information indicating the seventh part in the first utterance and the eighth part in the second utterance, which is not editable by the second user and is a range for changing the first state transition. , Indicates
The editing support method further
The first editing scenario data is transmitted from the server device to the first client device,
The second editing scenario data is transmitted from the server device to the second client device.
It is shown in the first editing scenario data, based on the first scenario and the first information and the second information, a first object representing the first utterance, the said first portion second A first object further indicating the three parts and a second object indicating the second utterance and further indicating the second part and the fourth part are displayed on the screen of the first client device. Display and
When the first user performs an operation for editing at least one of the first portion and the second portion, the first edit indicating at least one of the edited first portion and the second portion is performed. Data is transmitted to the server device,
Using the first editing data, Oite the first scenario illustrated in the scenario data stored in the storage medium, before Symbol of said second utterance and the first portion of the first utterance by changing at least one of said second portion, rewriting said sheet Nariodeta,
The second is shown in the editing scenario data, based on the first scenario and the third information and the fourth information, a third object representing the first utterance, the said fifth portion second A third object further indicating the seven parts and a fourth object indicating the second utterance, which further indicates the sixth part and the eighth part, are displayed on the screen of the second client device. Display and
When the second user performs an operation for editing at least one of the fifth part and the sixth part, a second edit indicating at least one of the edited fifth part and the sixth part is performed. Data is transmitted to the server device,
Using said second editing data, Oite the first scenario illustrated in the scenario data stored in the storage medium, before Symbol of said fifth portion and said second utterance of the first utterance by changing at least one of said sixth portion, edit support method before rewriting the alkoxy Nariodeta.
サーバ装置と第1クライアント装置とによって構成される編集支援システムであって、
前記サーバ装置は、
ユーザによる発話を示す発話データを用いて、前記発話に応答する発話を示す発話データを生成するために、ユーザによる発話と前記サーバ装置によって生成される発話とを含む対話の複数のシナリオを示すシナリオデータと、第1編集用シナリオデータとを記憶媒体に格納するように構成され
前記第1編集用シナリオデータは、
前記シナリオデータによって示される前記複数のシナリオの内の、ユーザによる1つの第1発話と前記サーバ装置によって生成される1つの第2発話とを含む第1シナリオと、
前記第1シナリオで意図されたアクションのための第1状態遷移
前記第1クライアント装置を使用する第1ユーザによって編集可能であって、前記第1状態遷移を変更しない範囲である、前記第1発話の内の第1部分および前記第2発話の内の第2部分を示す第1情報と、
前記第1ユーザによって編集不能であって、前記第1状態遷移を変更する範囲である、前記第1発話の内の第3部分および前記第2発話の内の第4部分を示す第2情報と、
前記第1シナリオに新たな発話を追加可能な位置を示す第3情報と、を示し
前記サーバ装置は、前記第1編集用シナリオデータを前記第1クライアント装置に送信するように構成され、
前記第1クライアント装置は、
前記サーバ装置から前記第1編集用シナリオデータを受信し、
前記第1編集用シナリオデータに示される前記第1シナリオと前記第1情報と前記第2情報と前記第3情報とに基づいて、前記第1発話を示す第1オブジェクトであって、前記第1部分と前記第3部分とをさらに示す第1オブジェクトと、前記第2発話を示す第2オブジェクトであって、前記第2部分と前記第4部分とをさらに示す第2オブジェクトと、前記第1シナリオに、新たな発話を追加するための第3オブジェクトとを画面に表示し、
前記第1クライアント装置を使用するユーザによって、前記第1部分と前記第2部分の少なくとも一方を編集するための操作が行われた場合、編集された前記第1部分と前記第2部分の少なくとも一方を示す第1編集データを前記サーバ装置に送信するように構成され、
前記サーバ装置は、さらに、
前記第1クライアント装置から前記第1編集データを受信し、
前記第1編集データを用いて、格納した前記シナリオデータに示される前記第1シナリオにおいて記第1発話の内の前記第1部分と前記第2発話の内の前記第2部分の少なくとも一方を変更することによって、前記シナリオデータを書き換えるように構成され、
前記第1クライアント装置は、さらに、
前記第1ユーザによって、前記第3オブジェクトを用いて1つの第3発話を追加するための操作が行われた場合、前記第3発話が第2シナリオで使用されているならば、前記第3発話が適切でないことを示す情報を表示し、
前記第1ユーザによって、前記第3発話が追加された前記第1シナリオを登録するための操作が行われた場合、前記第3発話を示す追加データを前記サーバ装置に送信するように構成され、
前記サーバ装置は、さらに、
前記第1クライアント装置から前記追加データを受信し、
前記追加データを用いて、格納した前記シナリオデータに示される前記第1シナリオに前記第3発話を追加することによって、前記シナリオデータを書き換えるように構成される編集支援システム。
An editing support system consisting of a server device and a first client device.
The server device
Using the speech data representing a speech by the user, in order to generate the speech data representing a speech responsive to the speech, a plurality of scenarios of interaction and a speech produced by the speech with the server device by a user shows The scenario data and the scenario data for the first editing are configured to be stored in the storage medium.
The first editing scenario data is
Among the plurality of scenarios indicated by the scenario data, a first scenario including one first utterance by the user and one second utterance generated by the server device, and
A first state transition for the action intended by the first scenario,
The first part of the first utterance and the second of the second utterances, which are editable by the first user using the first client device and do not change the first state transition. The first information showing the part and
With the second information indicating the third part in the first utterance and the fourth part in the second utterance, which is not editable by the first user and is a range for changing the first state transition. ,
The third information indicating the position where a new utterance can be added to the first scenario and the third information are shown .
The server device is configured to transmit the first editing scenario data to the first client device.
The first client device is
Receiving said scenario data for the first editing from the server device,
The first represented the editing scenario data, based on the first scenario and the first information and the second information and the third information, a first object representing the first utterance, the first A first object further indicating the first portion and the third portion, a second object indicating the second utterance, and a second object further indicating the second portion and the fourth portion, and the first object. Display a third object on the screen to add a new utterance to the scenario,
When an operation for editing at least one of the first portion and the second portion is performed by a user who uses the first client device, at least one of the edited first portion and the second portion is performed. Is configured to transmit the first edit data indicating the above to the server device.
The server device further
The first edit data is received from the first client device, and the first edit data is received.
Using the first editing data, Oite the first scenario illustrated in the scenario data stored before Symbol of the second portion of the first portion and of the second utterance of the first utterance by changing at least one, it is constructed prior to rewriting the carboxymethyl Nariodeta,
The first client device further
Wherein the first user, the third case of operation to add one third utterance using an object is performed, the third utterance is used in the second scenario Runa mules, the third Display information indicating that the utterance is not appropriate,
When the first user performs an operation for registering the first scenario to which the third utterance is added, additional data indicating the third utterance is configured to be transmitted to the server device.
The server device further
Upon receiving the additional data from the first client device,
The additional data using a stored said by adding the third utterance to the first scenario illustrated in the scenario data, before editing support system configured to rewrite the carboxymethyl Nariodeta.
JP2019087758A 2017-03-22 2019-05-07 Editing support system and editing support method Active JP6914989B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019087758A JP6914989B2 (en) 2017-03-22 2019-05-07 Editing support system and editing support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017055422A JP2018159980A (en) 2017-03-22 2017-03-22 Editing support system, editing support apparatus and editing support method
JP2019087758A JP6914989B2 (en) 2017-03-22 2019-05-07 Editing support system and editing support method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017055422A Division JP2018159980A (en) 2017-03-22 2017-03-22 Editing support system, editing support apparatus and editing support method

Publications (2)

Publication Number Publication Date
JP2019164815A JP2019164815A (en) 2019-09-26
JP6914989B2 true JP6914989B2 (en) 2021-08-04

Family

ID=68064611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019087758A Active JP6914989B2 (en) 2017-03-22 2019-05-07 Editing support system and editing support method

Country Status (1)

Country Link
JP (1) JP6914989B2 (en)

Also Published As

Publication number Publication date
JP2019164815A (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US20170336933A1 (en) Interactive audio validation/assistance system and methodologies
US11763804B2 (en) Leveraging dialogue history in updated dialogue
US20220129491A1 (en) Method for supporting agent and computing device thereof
US20210012168A1 (en) Print, and production method and production system for touch-read content of print
US20120169771A1 (en) Information presenting system, information presenting method, and storage medium
WO2020143411A1 (en) Insurance recommendation method and device for visual impaired group
JP6914989B2 (en) Editing support system and editing support method
WO2025026411A1 (en) Information display method and related device
US9620111B1 (en) Generation and maintenance of language model
WO2018083679A1 (en) System and method for providing personalized solutions using bots
JP6032250B2 (en) Program generating apparatus, information processing apparatus, control method, and program
US10831515B2 (en) Determination apparatus and determination system
KR102725821B1 (en) Method and apparatus for providing music production service
CN110705733A (en) Number picking method, device, electronic device and computer-readable storage medium
WO2020008663A1 (en) Information processing device, information processing method, and program
US10600410B2 (en) Edit assisting system, edit assisting device and edit assisting method
JP2018101249A (en) Robot, robot system, server, information collecting method and program
US20190303182A1 (en) System and method for providing advice and assistance through task-tracking systems
CN119669226A (en) Data storage method, question-answering method and related equipment
JP7589387B1 (en) Writing support system, writing support method and program
JP7331917B2 (en) Information processing system and information processing system control method
US12254052B2 (en) Device, system and method for providing wish list- to-content matching service
JP6564917B1 (en) Method and program for supporting response operation
JP7006656B2 (en) Programs and information processing equipment
WO2024247765A1 (en) Information providing system and information providing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210714

R151 Written notification of patent or utility model registration

Ref document number: 6914989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151