Nothing Special   »   [go: up one dir, main page]

JP2016076117A - 情報処理装置及び発話内容出力方法 - Google Patents

情報処理装置及び発話内容出力方法 Download PDF

Info

Publication number
JP2016076117A
JP2016076117A JP2014206599A JP2014206599A JP2016076117A JP 2016076117 A JP2016076117 A JP 2016076117A JP 2014206599 A JP2014206599 A JP 2014206599A JP 2014206599 A JP2014206599 A JP 2014206599A JP 2016076117 A JP2016076117 A JP 2016076117A
Authority
JP
Japan
Prior art keywords
utterance
information
user
emotion
response type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014206599A
Other languages
English (en)
Other versions
JP6450138B2 (ja
Inventor
可奈子 大西
Kanako Onishi
可奈子 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2014206599A priority Critical patent/JP6450138B2/ja
Publication of JP2016076117A publication Critical patent/JP2016076117A/ja
Application granted granted Critical
Publication of JP6450138B2 publication Critical patent/JP6450138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力する。
【解決手段】発話解析部2がユーザの発話内容に基づいてユーザの感情を特定し、応答種別決定部4が、当該感情に基づいてユーザの発話内容の応答種別を決定する。また、発話生成部7は、パーソナルDB10からユーザの嗜好情報(例えば、トピック情報、エンティティ情報)を取得し、応答種別に即したテンプレートを発話DB8から取得し、当該テンプレートにユーザの嗜好情報を当てはめた内容を発話内容として出力する。
【選択図】図1

Description

本発明は、情報処理装置及び発話内容出力方法に関する。
従来から、ユーザの自然言語による発話に対して、コンピュータが自然言語による応答をすることができる対話型装置がある。例えば、特許文献1には、ユーザが発した音声からキーワードを抽出し、そのキーワードに対応する健康状態(例えば、「普通」、「良好」、「怒り」、及び「喜び」等の感情に関する情報)を特定し、特定した健康状態に応じた行動パターンの提案の応答をしている。
再公表2004−27527号公報
上記のように、上記特許文献1には、感情に応じた行動パターンの提案に関する応答をしているが、感情のみに基づいて行動提案の応答をすることになる。よって、必ずしもユーザ個々に適切な応答ができないという問題点があった。例えば、ユーザの趣味や経験に即した応答ができないという問題点があった。
本発明は、上記を鑑みてなされたものであり、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容(応答内容)を出力し得る、発話装置及び発話方法を提供することを目的とする。
本発明に係る情報処理装置は、ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、ユーザの嗜好情報を取得する嗜好情報取得手段と、感情特定手段により特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定手段と、応答種別決定手段により決定された応答種別と、嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、発話生成手段によって生成された発話内容を出力する発話出力手段と、を備える。
本発明に係る発話内容方法は、情報処理装置で実行される発話内容出力方法であって、ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、ユーザの嗜好情報を取得する嗜好情報取得ステップと、感情特定ステップにより特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定ステップと、応答種別決定ステップにより決定された応答種別と、嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、発話生成ステップによって生成された発話内容を出力する発話出力ステップと、を含む。
この発明によれば、ユーザの嗜好情報に基づいて発話内容を生成するので、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。
上記情報処理装置では、感情特定手段により特定された感情と、応答種別決定手段により決定された応答種別とを履歴情報として記憶する履歴記憶手段をさらに備え、応答種別決定手段は、履歴情報から過去の感情特性の変化に基づいて応答種別を決定してもよい。このように、情報処理装置は、履歴情報を用いて感情の特定の変化に基づいて応答種別を決定するので、画一的に感情に基づいて発話内容を決定する場合と比較して、よりユーザにとって適切な発話内容を出力することができる。
上記情報処理装置では、発話内容のテンプレート情報を記憶するテンプレート記憶手段をさらに備え、発話生成手段は、テンプレート記憶手段により記憶されているテンプレートに嗜好情報を当てはめた内容を発話内容として生成してもよい。この場合、情報処理装置は、嗜好情報を発話内容に含めるので、よりユーザ嗜好に沿った発話内容を出力するので、ユーザにとって適切な発話内容を出力することができる。
上記情報処理装置では、嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、発話生成手段は、テンプレート記憶手段により記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成してもよい。この場合、情報処理装置は、テンプレートに嗜好情報の具体的事物情報又は、当該具体的事物情報の上位概念化した情報の何れかを当てはめた内容を発話内容として生成するので、嗜好情報の深さの異なる情報を選択的に提供することができるので、ユーザにとって適切な発話内容を出力することができる。
上記情報処理装置では、具体的事物の上位概念情報間において優先度が定められ、発話生成手段は、上位概念情報間における優先度の高い上位概念情報の内容を当てはめた内容を発話内容として生成してもよい。この場合、情報処理装置は、上位概念間の順位に基づいて、発話内容を出力するので、よりユーザ嗜好に沿った発話内容を出力することができる。
上記情報処理装置では、感情特定手段は、ユーザの発話内容から話題を抽出し、発話生成手段は、感情特定手段により抽出された話題をさらに基づいて発話内容を生成してもよい。この場合、情報処理装置は、ユーザの発話内容から特定される感情だけでなく、ユーザの話題も抽出して、その話題に基づいて発話内容を生成するので、よりユーザの状態に即した発話内容を出力することができる。
本発明によれば、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。
本実施形態に係る通信端末装置1の機能構成を示すブロック図である。 発話感情DB3が記憶する情報の一例を示す図である。 応答種別DB5が記憶する情報の一例を示す図である。 応答履歴DB6が記憶する情報の一例を示す図である。 発話DB8が記憶する情報の一例を示す図である。 パーソナルDB10が記憶する情報の一例を示す図である。 通信端末装置1のハードウェア構成を示すブロック図である。 通信端末装置1の処理を示すフローチャートである。 テンプレート生成処理を示すフローチャートである。
以下、図面を参照しながら、本実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
図1は、本実施形態に係る通信端末装置1(情報処理装置)の機能構成を示すブロック図である。通信端末装置1は、ユーザの発話内容を特定し、その発話内容に基づいた発話(ユーザの発話に対する応答)を出力する装置である。
通信端末装置1は、例えば、スマートフォンやタブレット等の端末装置である。ただし、通信端末装置1は、ユーザの発話内容を特定し、それに応じて発話出力できる装置であればよく、これらの装置に限られない。
上述のように通信端末装置1は、ユーザの発話内容を特定し、それに応じた発話内容を出力する。このような機能を実現するために、通信端末装置1は、発話解析部2(感情特定手段)と、発話感情DB3と、応答種別決定部4(応答種別決定手段)と、応答種別DB5と、応答履歴DB6(履歴記憶手段)と、発話生成部7(嗜好情報取得手段、発話生成手段)と、発話DB8(テンプレート記憶手段)と、トピック推定部9と、パーソナルDB10と、パーソナライズ情報入力部11と、発話出力部12(発話出力手段)とを備える。
発話解析部2は、ユーザの発話を受け付ける手段(例えば、マイク等)により受け付けられたユーザの発話の内容に基づいてユーザの感情を特定する部分である。発話解析部2は、ユーザの発話内容を通信端末装置1が備えるマイク等により、音声波形に変換し、変換した音声波形に基づいてユーザの発話内容を、公知技術により特定する。
発話解析部2は、ユーザの発話内容を、公知技術により単語単位で特定する。例えば、「勉強疲れた」とユーザが発話した場合、発話解析部2は、「勉強」「疲れた」と単語単位で特定する。
そして、発話解析部2は、発話内容から特定した単語に基づいてユーザの感情を特定する。具体的には、発話解析部2は、特定した単語と、発話感情DB3の情報とを比較して特定した単語から感情を特定する。
ここで、発話感情DB3が保持する情報を図2に示す。図2に示すように、各感情に対応する情報である「発話」と、感情を示す「感情」と、当該感情がポジティブであるか、ネガティブであるかを示す情報(感情特性)である「PN」とを有する。
例えば、「ウキウキ」、「わーい」、「嬉しい」という単語は、感情が「喜」であり、「PN」がポジティブであることを示す。これは、ユーザが喜んでいる場合に、「ウキウキ」、「わーい」、「嬉しい」と発話しているケースが多いため、これらの単語と「喜」とを対応付けている。また、喜んでいる時は、一般にポジティブな状態であるので、感情が「喜」にポジティブが対応付けられている。このように、図3の発話感情DB3は、発話と、感情と、感情の特性(ポジティブ・ネガティブ)とを関連付けて記憶しているので、発話解析部2が、当該発話感情DB3を参照することにより、ユーザの発話内容に基づいて、ユーザの感情を特定することができる。
例えば、発話解析部2は、発話感情DB3を参照し、特定した単語が「わーい」であれば、感情が「喜」であり、ポジティブであると特定する。
このように、発話解析部2は、ユーザの発話内容を受け付けて、その発話内容からユーザの感情を特定する。また、発話解析部2は、特定した感情に基づいて、ユーザがポジティブかネガティブかを特定する。
そして、発話解析部2は、特定した単語及び感情(ポジティブかネガティブかを含む)を応答種別決定部4へ通知する。なお、発話解析部2は、感情だけでなく、ユーザが発話した内容の話題を特定するようにしてもよい。例えば、図示しない話題を特定するための話題特定用の単語を予め通信端末装置1で記憶しておき、発話解析部2は、ユーザが発話した内容と話題特定用の単語とを比較して、話題を特定する。例えば、話題特定用の単語に「テニス」と記憶しておき、ユーザの発話内容が「テニス疲れた」である場合、発話解析部2は、発話内容の「テニス」と話題特定用の単語の「テニス」が合致するので、話題がテニスであると判断する。また、話題特定用の単語に当該単語の上位概念化した単語を対応付けておいてもよい。例えば、話題特定用の単語「テニス」に、当該単語の上位概念化した「スポーツ」を対応付けておいてもよい。この場合、発話解析部2は、話題を「テニス」ではなく、「スポーツ」と判断するようにしてもよい。
なお、発話解析部2は、上記のように、予め記憶している単語とその単語に対応する感情に基づいて、感情を特定したが、公知技術の機械学習によって特定するようにしてもよい。また、発話解析部2は、話題を特定する際も機械学習により特定するようにしてもよい。例えば、発話解析部2は、大量のコーパスに対して話題らしい部分をマークして、その部分がどのような条件のもとに出現しているかを学習する。具体的には、発話解析部2は、「は」の前に出現する「名詞」は話題らしさが+1%といった情報が羅列されたモデルを作成し、それを用いて話題を抽出する。
応答種別決定部4は、発話解析部2により特定された感情と、ユーザの嗜好情報とに基づいて応答種別を決定する部分である。ここで、ユーザの嗜好情報とは、ユーザに特化した情報であり、趣味や特技等の情報が含まれる。また、当該趣味や特技の具体的な情報を上位概念化した情報も嗜好情報として含まれる。応答種別とは、通信端末装置1が応答する内容のカテゴリを意味し、例えば、賞賛、提案等が含まれる。
まず、応答種別決定部4は、発話解析部2によって特定された感情(ポジティブかネガティブかを含む)を取得し、取得した感情に対応する応答種別を応答種別DB5が記憶する情報を用いて特定する。なお、発話解析部2によって、ユーザが発話した話題が特定された場合、当該話題も取得する。
ここで、応答種別DB5の例を図3に示す。図3に示すように、応答種別DB5は、「感情」と、「PN」と、ユーザに対する応答種別を示す「応答種別」を有する。例えば、感情が喜に対応する、応答種別は、賞賛、興味、共感、羨望であることを示す(なお、この応答種別には、予め優先度が設けられており、図3の左側が最も優先度が高いものとする)。すなわち、感情が喜びである場合、賞賛、興味、共感、羨望の何れかに関する応答をすることを示す。応答種別決定部4は、応答種別DB5の情報を用いて、発話解析部2から取得した感情が「喜」である場合、応答種別を「賞賛」、「興味」、「共感」、「羨望」の何れかとする。
なお、ここで、「賞賛」は、褒め称える応答をすることを示し、「興味」は、ユーザの発話内容に対して興味を示すような応答をすることを示し、「共感」は、ユーザの発話内容に共感するような応答をすることを示し、「羨望」は、ユーザの発話内容に基づいて羨ましがるような応答をすることを示す。また、感情が「怒」に対応する応答種別に含まれる「提案」は、ユーザに何かを提案することを示す応答をすることを示す。
また、応答種別決定部4は、応答履歴DB6に過去の履歴(通信端末装置1からの応答の履歴)を記憶している場合、当該過去の履歴をさらに基づいて応答種別を決定する。ここで応答履歴DB6が記憶している情報を図4に示す。
図4に示すように、応答履歴DB6は、感情と、応答履歴と、日時とを有する。また、応答履歴DB6は、日時順に記憶しているものとする。例えば、日時「××年××月××日」に、ユーザの発話内容から特定された感情が「喜」である場合に、応答履歴として、賞賛の応答をしたことを示す。応答種別決定部4は、応答履歴DB6に情報を記憶している場合、直近の応答履歴に対応する感情が、ポジティブであるかネガティブであるかに基づいて応答種別の候補を絞る。例えば、応答履歴に対応する感情がポジティブの感情(例えば、喜)である場合、直前の応答履歴に対応する応答種別の優先度を上げる。図4の例の場合、応答履歴の「賞賛」の感情が「喜」であり、ポジティブの感情なので、今回特性した感情に対応する応答種別に「賞賛」が含まれる場合、「賞賛」の優先度を上げる。
また、今回発話解析部2によって特定された感情がネガティブの感情であり、直前の応答履歴に対応する感情もネガティブの感情である場合、直前の応答履歴の応答種別を候補から外すようにしてもよい(今回だけ応答種別の候補から外すようにしてもよいし、応答種別DB5の応答種別の順位を入れ替えてもよい)。すなわち、応答種別決定部4は、直前の応答種別に対応する感情と、今回発話解析部2から取得した感情とが同じである場合、直近の応答履歴とは、異なる応答種別を選択するようにしてもよい。
上述のように、直近の応答履歴のみに基づいて決定するようにしてもよいし、応答種別決定部4は、複数の応答履歴に基づいて決定するようにしてもよい。
例えば、応答種別決定部4は、直近の応答履歴及びその前の応答履歴のそれぞれの感情の変化に基づいて応答種別の優先度を決定するようにしてもよい。例えば、発話解析部2によって特定された感情の特性が、ネガティブからポジティブに変化した場合は、直前の応答履歴の応答種別と同一である、応答種別DB5の応答種別の優先順位を上げるようにしたり、ポジティブからネガティブに変化した場合は、直前の応答履歴の応答種別と同一である、応答種別DB5の応答種別の優先順位を下げるようにしたりする。
例えば、最初の会話で「怒」と特定し、これに基づいて提案を行い、次のユーザの会話が「喜」と特定した場合、ユーザの感情特性がネガティブからポジティブに移行しているため、感情が「怒」である場合に提案することは適切であったことになる。そこで、応答種別決定部4では、ユーザの感情が「怒」である場合に、「提案」の優先順位を変更する。このように、応答種別決定部4は、応答履歴を参照して、感情の特性を考慮して応答種別を決定するので、感情の変化に即して適切な応答種別を決定することができる。
応答種別決定部4は、上述のように、感情特定部3から取得した感情や、応答履歴に基づいて定めた優先度により、応答種別を推定する。そして、応答種別決定部4は、決定した応答種別を発話生成部7へ通知する。また、発話解析部2によって、話題を取得した場合、当該話題を発話生成部7へ通知する。
発話生成部7は、応答種別決定部4によって決定された応答種別と、嗜好情報とに基づいた発話内容を生成する部分である。具体的には、応答種別決定部4から感情等に基づいて決定された応答種別を取得し、パーソナルDB10から嗜好情報を取得し、この2つの情報に基づいて、発話内容を生成する。
ここで、パーソナルDB10に格納されている情報の一例を図5に示す。図5に示すように、パーソナルDB10では、カテゴリと、エンティティと、トピックとが関連づいた情報を有する。このように、カテゴリと、エンティティとを関連付けておくことにより、「ユーザのAは、Bである」ということを示す。まず、カテゴリとは“ユーザのAはB”のAにあたり、例えば所有物や趣味がある。すなわち、カテゴリは、ユーザの嗜好情報の種類を示す。カテゴリは、予め決められた分類を用いるため、限られた種類の単語が入る。
エンティティとは、「ユーザのAはB」のBにあたり、すべての物事の名前(具体的事物情報)が入る可能性がある。トピックとは、「ユーザのAはB」を登録するに至ったユーザの入力(発話)またはエンティティそのものに対して付与されるものである。トピックとは、例えば、エンティティの上位概念情報である。
上記のパーソナルDB10が記憶する情報は、パーソナライズ情報入力部11によって、入力された情報をエンティティ又はトピックとして記憶する。パーソナライズ情報入力部11は、ユーザ操作等に応じて入力された情報を記憶する。
なお、トピックについては、トピック推定部9によって自動で付与するようにしてもよい。トピック推定手法については後述する。図5において、カテゴリ「趣味」エンティティ「△△△の冒険」(ゲーム名)、トピック「ゲーム」というのは、すなわち「ユーザの趣味は△△△の冒険である。△△△の冒険はゲームである」ということを示している。エンティティとトピックはどちらかが空でも良い。両方が空の場合は、ユーザはそのカテゴリについては自己開示していないとみなす。すなわち図5の例においては、ユーザは自身の所有物については情報を開示していないとみなす。
発話生成部7は、発話DB8が記憶しているテンプレートの内、応答種別決定部4によって決定された応答種別に対応するテンプレートに、エンティティ又はトピックを反映させたものを発話内容とする。
図6に、発話DB8に格納されている発話テンプレートの一例を示す。発話テンプレートは、エンティティ名やトピック名で置換する箇所を含んでも良い。なお、置換箇所を含むテンプレートは、ユーザ情報として置換可能なエンティティまたはトピックが登録されている場合に限る。
図6に示すように、テンプレートのIDと、テンプレートに対応するカテゴリと、対象トピックと、テンプレートとを対応付けて記憶している。例えば、IDが「2」のテンプレートは、「[entity]行ってみたら?」であり、このテンプレートの対象となるトピックが「旅行、行事」であり、カテゴリが「趣味」、応答種別が「提案」であることを示している。対象トピックは、予め定められているものであり、当該対象トピックが複数設定されている場合、トピックの優先度を定めるようにしてもよい。すなわち、トピック間において優先度を定めるようにしてもよい。図6の例における対象トピックの内、左側の方が優先度が高いものとする。
発話生成部7は、このテンプレートと、図5のユーザ情報(嗜好情報)とを組み合わせて発話を生成する。まず、発話生成部7は、パーソナルDB10が記憶しているユーザ情報から、エンティティまたはトピックのいずれか、または両方が登録されているカテゴリと、カテゴリに登録されているトピックを抽出する。
この抽出した結果のリストを「カテゴリとトピックのリスト(a)」と呼ぶ。例えばパーソナルDB10に格納されているユーザ情報が図5の状態の場合、カテゴリとトピックのリスト(a)は、「趣味,ゲーム|習慣,|経験,スポーツ|特技,スポーツ|能力,スポーツ|願望,旅行」となる。
ここで「|」はカテゴリの区切りを表し、「,」はカテゴリとトピックを区切るものとする。カテゴリ「所有物」にはエンティティもトピックも登録されていなかったため、リストには含まれていない。カテゴリ「趣味」にはエンティティとトピック両方に情報が記載されていたため、「趣味,ゲーム」としてリストに含まれる。カテゴリ「習慣」にはエンティティのみ情報が存在しているため、カテゴリの「習慣」のみリストに含まれる。このように、発話生成部7は、各カテゴリについて、エンティティ又はトピックが入力されているものをリスト化することにより、テンプレートへユーザ情報を入力可能なカテゴリを特定する。
発話生成部7は、上記のリスト(a)から、発話可能なカテゴリとトピックの組であるリスト(b)を取得する。取得できる組は下記の通りである。
カテゴリ=趣味
カテゴリ=習慣
カテゴリ=経験
カテゴリ=特技
カテゴリ=能力
カテゴリ=願望
カテゴリ=趣味 and トピック=ゲーム
カテゴリ=経験 and トピック=スポーツ
カテゴリ=能力 and トピック=スポーツ
カテゴリ=特技 and トピック=スポーツ
カテゴリ=願望 and トピック=旅行
なお、カテゴリのみ指定されているものは、テンプレートの対象トピックについて制限がないものであることを示す。このように、発話生成部7は、リスト(b)を生成することにより、このリスト(b)を用いてテンプレートに置換可能な(すなわち、発話可能な)テンプレートを特定する。
次に、発話生成部7は、発話DB8から、リスト(b)に含まれるカテゴリとトピックの組であり、かつ応答種別決定部4によって決定された応答種別と一致する発話テンプレートを取得する。
ここでは応答種別決定部4によって決定された応答種別が「提案」だった場合を例に説明する。まず、発話DB8が記憶している発話テンプレートにおいて、応答種別が「提案」のものに限定する。
すなわち、ここではIDナンバー2〜6が該当する。次にそれぞれのカテゴリにおける対象トピックを確認し、発話可能かを判定する。IDナンバー2の発話はカテゴリが「趣味」で、対象トピックが「旅行」または「行事」である。ここで、リスト(b)より、カテゴリ「趣味」のトピックは「ゲーム」であることから、発話生成部7は、IDナンバー2のテンプレートは発話不可と判断する。
同様に、IDナンバー3の発話はカテゴリが「趣味」で対象トピックが「スポーツ」または「ゲーム」である。ここで、リスト(b)には、カテゴリ「趣味」とトピック「ゲーム」の組み合わせが含まれているため、発話生成部7は、IDナンバー3は発話可能と判断する。同様にして、発話生成部7は、IDナンバー4および5は発話不可と判断できる。IDナンバー6と7は、カテゴリ「習慣」または「願望」に対して、対象トピックは空となっている。ここで対象トピックが空とは、対象トピックは何でもよい、すなわち制限はないことを示す。
リスト (b)には、カテゴリ「習慣」には対象トピックはなく、カテゴリ「願望」にはトピック「旅行」が登録されているが、IDナンバー6と7はトピックによらず発話可能であるため、発話生成部7は、どちらも発話可能と判断する。
以上から、発話生成部7は、この例では図6においてIDナンバー3、6、7が発話可能と判断し、これら3つの発話テンプレートを、候補テンプレート(c)とする。そして、発話生成部7は、候補テンプレート(c)の数分繰り返す。繰り返しの処理として、発話生成部7は、まずテンプレート内に置換指定があるかどうかをチェックし、置換指定がない場合は、発話テンプレート(c)に含まれる次のテンプレートへ移る。発話生成部7は、置換指定がある場合は、置換が可能かどうかをチェックする。
図6において、[topic]はトピックへの置換、[entity]はエンティティへの置換を意味している。すなわちここではIDナンバー3、6、7すべてが置換必要と判断される。置換指定がある場合は、次に置換が可能かをチェックする。
図6において、IDナンバー3および7はエンティティでの置き換えが必要であり、IDナンバー6はトピックへの置き換えが必要である。すなわち、例えばIDナンバー3はカテゴリ「趣味」トピック「ゲーム」で発話が可能と判断されたが、エンティティ名も必須ということである。
ここで、図5のユーザ情報を参照すると、カテゴリ「趣味」トピック「ゲーム」に「△△△の冒険」というエンティティ名が登録されている。したがって、IDナンバー3は置換可能、すなわち発話可能と判断される。同様に、IDナンバー6はトピック名による置き換えが指定されている。ここでユーザ情報のカテゴリ「習慣」にはトピックは登録されていない。したがって、IDナンバー6は発話不可と判断される。IDナンバー7はエンティティによる置き換えが指定されている。
ここでユーザ情報のカテゴリ「願望」にはトピック「イギリス」が登録されている。したがって、IDナンバー7は発話可能と判断される。発話生成部7の処理の最後に、発話テンプレート内の置換を行う。図5ではそれぞれ1つのエンティティしか保持していないため、IDナンバー3の[entity]部を「△△△の冒険」に置換し、IDナンバー7の[entity]を「イギリス」に置換する。したがって、発話生成部7により、「△△△の冒険やってみたら?」および「なぜイギリスに興味があるの?」という2つのシステム発話候補が生成される。もし、発話生成部7は、ひとつのテンプレートに対して複数の置換可能なエンティティがある場合はランダムにひとつ選択し置換する。また、最終的に残ったテンプレートが複数ある場合は、複数つなげたものを発話内容とするようにしてもよいし、予め定めたトピック間の優先度や、発話解析部2により取得した話題に基づいていずれか1つに絞るようにしてもよい(話題に基づいて絞る例は後述する)。
このように、発話生成部7は、入力済みのユーザ情報を置換可能であり、応答種別決定部4により決定された応答種別に対応するテンプレートの内容を出力対象の発話内容とする。そして、発話生成部7は、エンティティ又はトピックを置換した後のテンプレートを発話内容として、発話出力部12へ通知する。
また、発話解析部2が発話から話題を抽出している場合は、発話生成部7は、抽出した話題を利用し候補を絞り込むこともできる。これは「テニスで疲れた」といったユーザの発話に対して、趣味がテニスだというユーザ情報を用いて「テニスでリフレッシュしてはいかがですか?」というような発話(図6のテンプレートの場合「テニスやってみたら?」)をすることを防ぐ効果がある。これは特にユーザの感情状態がネガティブである場合に効果が高い。すなわち、ユーザの感情状態がネガティブな場合、発話生成部7は、ユーザ発話の話題と等しいエンティティ又はトピックを置換候補としないようにすればよい。
具体的には、ユーザが「テニス疲れた」と発話した場合には、テニス(トピックは、スポーツ)が話題であり、「疲れた」から感情の特性がネガティブである。ここで、発話生成部7が、図6に示した対象トピックの内、IDナンバー3のテンプレートを発話候補とする場合を検討する。話題を考慮しないと対象トピック間の優先度は、スポーツの方が上である。しかし、話題がスポーツで、感情の特性がネガティブであるので、発話生成部7は、トピックとして、話題と合致するスポーツを除外して、「△△△の冒険やってみたら」というゲームに関する発話内容を発話候補とする。
また、発話生成部7は、発話解析部2により特定された感情がポジティブな感情であれば、話題と等しいエンティティ又はトピックを置換したテンプレートの内容を発話内容とするようにしてもよい。
トピック推定部9は、文や単語にトピックを付与する部分である。トピックの付与は、予め準備した辞書か機械学習により実現可能である。トピック推定部9は、トピックを予め定めており、それらのいずれかに単語や文を分類する。また、トピック推定部9は、分類できない場合、トピックは無いとみなしてよい。トピック推定部9は、単語の場合は辞書を利用し、文の場合は機械学習により実現するとよく、辞書の場合は、大量の単語を集め、予め定めたトピックに分類しておく。トピック推定部9は、入力された単語がいずれかに出現している場合は、そのトピックを与える。
また、トピック推定部9は、入力された単語がどこにも出現していない場合は、トピックは無いとみなす。機械学習の場合も同様に、トピック推定部9は、予め必要なトピックを定める。その後、大量の文を集め、それらをユーザ入力内容に基づいて、トピック推定部9がトピックに分類するようにしてもよい。分類できないものは、トピック無しとして分類してもよい。このデータを正解データと呼ぶ。その後、トピック推定部9は、この正解データをサポートベクターマシン(SVM)などの機械学習の手法を適応し、分類モデルを作成する。分類モデルとは簡単にいうと、“ある単語が出現した場合、トピックAである確率は+1%、トピックBである確率は-1%”といったトピックらしさを記述しているファイルのことである。ここでは簡単のために単語の表層に関して説明したが、トピック推定部9は、実際には単語の表層のunigram(単語単体)、bigram(単語2つ続き)、品詞など、様々な要素を学習し、最も精度が良いモデルを作成している。トピック推定部9は、入力に対してこれらのトピックらしさをすべて確認し、総合的に最もトピックらしいと判断されたトピックを、入力に対するトピックと決定する。その際、トピックらしさがある閾値以下だった場合、トピック推定部9は、トピックは無いと判断してもよい。
発話出力部12は、発話生成部7によって、生成された発話内容を出力する部分である。出力する方法としては、音声出力したり、画面へ表示出力したり、外部の装置へ送信したりする。
通信端末装置1のハードウェア構成を示すブロック図である。図7に示されるように、1又は複数のCPU101と、主記憶装置であるRAM102及びROM103と、入力装置104と、出力装置105と、ネットワークカード等のデータ送受信デバイスである通信モジュール106と、ハードディスクドライブ及び半導体メモリ等の補助記憶装置107を含むコンピュータシステムとして構成されている。これらの構成要素がプログラム等により動作することにより、上述の通信端末装置1の機能が発揮される。
続いて、図8及び図9に示すフローチャートを用いて、通信端末装置1の処理を説明する。
通信端末装置1が備えているマイクなどにより、ユーザからの発話内容を受け付け(ステップS1)、発話解析部2は、当該発話内容を解析し、発話内容に含まれる単語と、発話感情DB3の情報とを比較することにより、感情を特定する(ステップS2 感情特定ステップ)。
そして、応答種別決定部4は、応答種別DB5の情報を参照して、発話解析部2によって特定された感情に対応する応答種別を決定する(ステップS3 応答種別決定ステップ)。
続いて、発話生成部7は、応答種別決定部4によって決定された応答種別に対応するテンプレートに対して、ユーザ情報を置換したテンプレートを生成する(ステップS4 発話生成ステップ)。
そして、発話生成部7は、発話DB8内の発話テンプレートを抽出し、発話テンプレートの内、最も適切な発話内容を特定することにより、発話生成する(ステップS5 発話生成ステップ)。
そして、発話出力部12は、発話生成部7が生成した発話内容を出力して、処理を終了する(ステップS6 発話出力ステップ)。
続いて、図9のフローチャートを用いて、上記ステップS4における、テンプレートデータの中から応答種別と、ユーザ情報とに基づいて出力候補となるテンプレートを決定する処理の詳細な手順を説明する。まず、発話生成部7は、パーソナルDB10からユーザ情報が登録されているカテゴリとトピックのリスト(リスト(a))を取得する(ステップS11)。
そして、発話生成部7は、カテゴリとトピックのリストから発話可能なカテゴリとトピックの組のリスト(リスト(b))を取得する(ステップS12)。そして、発話生成部7は、発話DB8から応答種別決定部4によって決定された応答種別と一致し、且つカテゴリとトピックの組に含まれるカテゴリとトピックの組である発話テンプレートを取得する(ステップS13)。
そして、発話生成部7は、ステップS13で取得した発話テンプレートの1つを抽出し(ステップS14)、当該発話テンプレート内に置換指定がある場合(ステップS15;YES)、置換可能でなければ(ステップS16;NO)、該当テンプレートを発話候補から除去して(ステップS17)、ステップS19へ移動する。なお、ステップS15において、発話テンプレート内に置換指定が無い場合(ステップS15;NO)、ステップS19へ移動する。
ステップS16で、置換可能であれば(ステップS16;YES)、発話生成部7は、発話テンプレートを置換して(ステップS18)、ステップS19へ移動する。
ステップS19では、未抽出のテンプレートがあるか否かを判断し、未抽出のテンプレートがあれば(ステップS19;NO)、ステップS14へ移動し、未抽出のテンプレートがなければ(ステップS19;YES)、処理を終了する。
上述の実施形態では、通信端末装置1に適用する場合について述べたが、サーバ装置等他の種々の情報処理装置に適用するようにしてもよい。
以上述べた通信端末装置1では、発話解析部2がユーザの発話内容に基づいてユーザの感情を特定し、応答種別決定部4が、当該感情に基づいてユーザの発話内容の応答種別を決定する。また、発話生成部7は、パーソナルDB10からユーザの嗜好情報(例えば、トピック情報、エンティティ情報)を取得し、応答種別に即したテンプレートを発話DB8から取得し、当該テンプレートにユーザの嗜好情報を当てはめた内容を発話内容として出力する。この場合、通信端末装置1は、ユーザの嗜好情報に基づいて発話内容を生成するので、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。
また、通信端末装置1は、発話解析部2が過去に特定した感情と、当該感情に基づいて応答種別決定部4が決定した応答種別とを履歴情報として応答履歴DB6に記憶しており、応答種別決定部4は、履歴情報から過去の感情特性の変化に基づいて応答種別を決定する。この場合、通信端末装置1は、履歴情報を用いて感情の特定の変化に基づいて応答種別を決定するので、画一的に感情に基づいて発話内容を決定する場合と比較して、よりユーザにとって適切な発話内容を出力することができる。
また、通信端末装置1は、発話DB8において、発話内容のテンプレート情報を記憶する。発話生成部7は、当該テンプレート情報にエンティティ情報又はトピック情報を当てはめた内容を発話内容として生成する。この場合、通信端末装置1は、嗜好情報(エンティティ情報及びトピック情報)を発話内容に含めるので、よりユーザ嗜好に沿った発話内容を出力するので、ユーザにとって適切な発話内容を出力することができる。
また、通信端末装置1では、パーソナルDB10が記憶する情報として、エンティティ情報及びトピック情報を含む。発話生成部7は、発話DB8が記憶しているテンプレートで定められている種別に応じてエンティティ又はトピック情報を当てはめた内容を発話内容として生成する。この場合、通信端末装置1は、テンプレートにエンティティ情報又はトピック情報の何れかを当てはめた内容を発話内容として生成するので、嗜好情報の深さの異なる情報を選択的に提供することができ、ユーザにとって適切な発話内容を出力することができる。
また、通信端末装置1では、トピック情報間において優先度を定める。発話生成部7は、トピック情報間における優先度の高いトピック情報の内容を当てはめた内容を発話内容として生成する。この場合、通信端末装置1は、トピック間の順位に基づいて、発話内容を出力するので、よりユーザ嗜好に沿った発話内容を出力することができる。
また、通信端末装置1では、発話解析部2は、ユーザの発話内容から話題を抽出し、発話生成部7は、発話解析部2により抽出された話題をさらに基づいて発話内容を生成する。この場合、通信端末装置1は、ユーザの発話内容から特定される感情だけでなく、ユーザの話題も抽出して、その話題に基づいて発話内容を生成するので、よりユーザの状態に即した発話内容を出力することができる。
1…通信端末装置、2…発話解析部、3…発話感情DB、4…応答種別決定部、5…応答種別DB、6…応答履歴DB、7…発話生成部、8…発話DB、9…トピック推定部、10…パーソナルDB、11…パーソナル情報入力部、12…発話出力部、101…CPU、102…RAM、103…ROM、104…入力装置、105…出力装置部、106…通信モジュール、107…補助記憶装置。

Claims (8)

  1. ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、
    前記ユーザの嗜好情報を取得する嗜好情報取得手段と、
    前記感情特定手段により特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定手段と、
    前記応答種別決定手段により決定された応答種別と、前記嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、
    前記発話生成手段によって生成された発話内容を出力する発話出力手段と、
    を備える情報処理装置。
  2. 前記感情特定手段により特定された感情と、前記応答種別決定手段により決定された応答種別とを履歴情報として記憶する履歴記憶手段をさらに備え、
    前記応答種別決定手段は、前記履歴情報から過去の感情特性の変化に基づいて応答種別を決定する、請求項1に記載の情報処理装置。
  3. 発話内容のテンプレート情報を記憶するテンプレート記憶手段をさらに備え、
    前記発話生成手段は、前記テンプレート記憶手段により記憶されているテンプレートに嗜好情報を当てはめた内容を発話内容として生成する、請求項1又は2に記載の情報処理装置。
  4. 前記嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、
    前記発話生成手段は、前記テンプレート記憶手段により記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成する、請求項3に記載の情報処理装置。
  5. 前記具体的事物の上位概念情報間において優先度が定められ、
    前記発話生成手段は、上位概念情報間における優先度の高い上位概念情報の内容を当てはめた内容を発話内容として生成する、請求項4に記載の情報処理装置。
  6. 前記感情特定手段は、ユーザの発話内容から話題を抽出し、
    前記発話生成手段は、前記感情特定手段により抽出された話題をさらに基づいて発話内容を生成する、請求項5に記載の情報処理装置。
  7. 前記発話生成手段は、前記テンプレート記憶手段により記憶されているテンプレートの内、複数のテンプレートを組み合わせた内容を発話内容として生成する、請求項4に記載の情報処理装置。
  8. 情報処理装置で実行される発話内容出力方法であって、
    前記ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、
    前記ユーザの嗜好情報を取得する嗜好情報取得ステップと、
    前記感情特定ステップにより特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定ステップと、
    前記応答種別決定ステップにより決定された応答種別と、前記嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、
    前記発話生成ステップによって生成された発話内容を出力する発話出力ステップと、を含む発話内容出力方法。
JP2014206599A 2014-10-07 2014-10-07 情報処理装置及び発話内容出力方法 Active JP6450138B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014206599A JP6450138B2 (ja) 2014-10-07 2014-10-07 情報処理装置及び発話内容出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014206599A JP6450138B2 (ja) 2014-10-07 2014-10-07 情報処理装置及び発話内容出力方法

Publications (2)

Publication Number Publication Date
JP2016076117A true JP2016076117A (ja) 2016-05-12
JP6450138B2 JP6450138B2 (ja) 2019-01-09

Family

ID=55951477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014206599A Active JP6450138B2 (ja) 2014-10-07 2014-10-07 情報処理装置及び発話内容出力方法

Country Status (1)

Country Link
JP (1) JP6450138B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
JP2018140477A (ja) * 2017-02-28 2018-09-13 シャープ株式会社 発話制御装置、電子機器、発話制御装置の制御方法、および制御プログラム
WO2019189489A1 (ja) * 2018-03-27 2019-10-03 日本電信電話株式会社 応答文生成装置、応答文生成方法、およびプログラム
US10621421B2 (en) 2017-06-08 2020-04-14 Hitachi, Ltd. Computer system, dialogue control method, and computer
CN111192577A (zh) * 2018-10-25 2020-05-22 丰田自动车株式会社 交流装置及交流装置的控制程序
JP2020187500A (ja) * 2019-05-13 2020-11-19 株式会社計数技研 対話装置、発話生成方法、及びプログラム
US10937420B2 (en) 2017-11-10 2021-03-02 Hyundai Motor Company Dialogue system and method to identify service from state and input information
WO2022049613A1 (ja) * 2020-09-01 2022-03-10 三菱電機株式会社 情報処理装置、推定方法、及び推定プログラム
JP7551579B2 (ja) 2021-08-23 2024-09-17 Kddi株式会社 ネガティブな発話をポジティブなオウム返しで返答するプログラム、装置及び方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
JP2004527809A (ja) * 2000-10-30 2004-09-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人のインタラクションをシミュレートする環境反応型ユーザインタフェース/エンタテインメントデバイス
JP2005237668A (ja) * 2004-02-26 2005-09-08 Kazuya Mera コンピュータネットワークにおける感情を考慮した対話装置
JP2007188510A (ja) * 2007-01-24 2007-07-26 P To Pa:Kk 会話制御システム、会話制御方法、プログラム及びプログラムを記録した記録媒体
JP2009140170A (ja) * 2007-12-05 2009-06-25 Toshiba Corp 情報提供方法および情報提供サーバ
JP2012099032A (ja) * 2010-11-05 2012-05-24 Oki Electric Ind Co Ltd 文生成装置及びプログラム
US20130144618A1 (en) * 2011-12-02 2013-06-06 Liang-Che Sun Methods and electronic devices for speech recognition
WO2013190963A1 (ja) * 2012-06-18 2013-12-27 エイディシーテクノロジー株式会社 音声応答装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
JP2004527809A (ja) * 2000-10-30 2004-09-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人のインタラクションをシミュレートする環境反応型ユーザインタフェース/エンタテインメントデバイス
JP2005237668A (ja) * 2004-02-26 2005-09-08 Kazuya Mera コンピュータネットワークにおける感情を考慮した対話装置
JP2007188510A (ja) * 2007-01-24 2007-07-26 P To Pa:Kk 会話制御システム、会話制御方法、プログラム及びプログラムを記録した記録媒体
JP2009140170A (ja) * 2007-12-05 2009-06-25 Toshiba Corp 情報提供方法および情報提供サーバ
JP2012099032A (ja) * 2010-11-05 2012-05-24 Oki Electric Ind Co Ltd 文生成装置及びプログラム
US20130144618A1 (en) * 2011-12-02 2013-06-06 Liang-Che Sun Methods and electronic devices for speech recognition
WO2013190963A1 (ja) * 2012-06-18 2013-12-27 エイディシーテクノロジー株式会社 音声応答装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
JP2018140477A (ja) * 2017-02-28 2018-09-13 シャープ株式会社 発話制御装置、電子機器、発話制御装置の制御方法、および制御プログラム
US10621421B2 (en) 2017-06-08 2020-04-14 Hitachi, Ltd. Computer system, dialogue control method, and computer
US10937420B2 (en) 2017-11-10 2021-03-02 Hyundai Motor Company Dialogue system and method to identify service from state and input information
JP7073839B2 (ja) 2018-03-27 2022-05-24 日本電信電話株式会社 応答文生成装置、応答文生成方法、およびプログラム
WO2019189489A1 (ja) * 2018-03-27 2019-10-03 日本電信電話株式会社 応答文生成装置、応答文生成方法、およびプログラム
JP2019175011A (ja) * 2018-03-27 2019-10-10 日本電信電話株式会社 応答文生成装置、応答文生成方法、およびプログラム
US11429784B2 (en) 2018-03-27 2022-08-30 Nippon Telegraph And Telephone Corporation Response sentence generation device, response sentence generation method, and program
CN111192577A (zh) * 2018-10-25 2020-05-22 丰田自动车株式会社 交流装置及交流装置的控制程序
CN111192577B (zh) * 2018-10-25 2023-10-13 丰田自动车株式会社 交流装置及交流装置的控制程序
JP2020187500A (ja) * 2019-05-13 2020-11-19 株式会社計数技研 対話装置、発話生成方法、及びプログラム
WO2020230788A1 (ja) * 2019-05-13 2020-11-19 株式会社計数技研 対話装置、発話生成方法、及びプログラム
JPWO2022049613A1 (ja) * 2020-09-01 2022-03-10
WO2022049613A1 (ja) * 2020-09-01 2022-03-10 三菱電機株式会社 情報処理装置、推定方法、及び推定プログラム
JP7551579B2 (ja) 2021-08-23 2024-09-17 Kddi株式会社 ネガティブな発話をポジティブなオウム返しで返答するプログラム、装置及び方法

Also Published As

Publication number Publication date
JP6450138B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6450138B2 (ja) 情報処理装置及び発話内容出力方法
JP6980074B2 (ja) メッセージ分類に基づくメッセージ交換スレッドの自動的拡張
US10977452B2 (en) Multi-lingual virtual personal assistant
US10832654B2 (en) Recognizing accented speech
EP2896039B1 (en) Improving phonetic pronunciation
US9747895B1 (en) Building language models for a user in a social network from linguistic information
CN114830148A (zh) 可控制有基准的文本生成
US20160379643A1 (en) Group Status Determining Device and Group Status Determining Method
WO2019075406A1 (en) TEXT SIMPLIFICATION BASED ON READING LEVEL
WO2018061774A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記憶媒体
JP6980411B2 (ja) 情報処理装置、対話処理方法、及び対話処理プログラム
Dethlefs et al. Cluster-based prediction of user ratings for stylistic surface realisation
Glasser Automatic speech recognition services: Deaf and hard-of-hearing usability
CN109155110A (zh) 信息处理装置以及其控制方法、计算机程序
JP2021096847A (ja) ユーザの発言に基づくマルチメディア推奨
ES2751375T3 (es) Análisis lingüístico basado en una selección de palabras y dispositivo de análisis lingüístico
JP2016001242A (ja) 質問文生成方法、装置、及びプログラム
JP2018055422A (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2015219582A (ja) 対話方法、対話装置、対話プログラム及び記録媒体
Markl et al. Language technology practitioners as language managers: arbitrating data bias and predictive bias in ASR
JP6082657B2 (ja) ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム
JP4755478B2 (ja) 応答文生成装置、応答文生成方法、そのプログラムおよび記憶媒体
Hasegawa-Johnson et al. Models of dataset size, question design, and cross-language speech perception for speech crowdsourcing applications
Nenadić et al. Computational modelling of an auditory lexical decision experiment using jTRACE and TISK
US9460716B1 (en) Using social networks to improve acoustic models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181207

R150 Certificate of patent or registration of utility model

Ref document number: 6450138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250