Nothing Special   »   [go: up one dir, main page]

JP6712754B2 - 談話機能推定装置及びそのためのコンピュータプログラム - Google Patents

談話機能推定装置及びそのためのコンピュータプログラム Download PDF

Info

Publication number
JP6712754B2
JP6712754B2 JP2016162927A JP2016162927A JP6712754B2 JP 6712754 B2 JP6712754 B2 JP 6712754B2 JP 2016162927 A JP2016162927 A JP 2016162927A JP 2016162927 A JP2016162927 A JP 2016162927A JP 6712754 B2 JP6712754 B2 JP 6712754B2
Authority
JP
Japan
Prior art keywords
vector
utterance
bow
discourse
phrase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016162927A
Other languages
English (en)
Other versions
JP2018031851A (ja
Inventor
カルロス トシノリ イシイ
カルロス トシノリ イシイ
超然 劉
超然 劉
石黒 浩
浩 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2016162927A priority Critical patent/JP6712754B2/ja
Publication of JP2018031851A publication Critical patent/JP2018031851A/ja
Application granted granted Critical
Publication of JP6712754B2 publication Critical patent/JP6712754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

この発明はヒューマン・マシン対話システムに関し、特に、人間とロボットとの間の自然なインタラクションを可能にするために、発話のターン終了ポイントを検出する技術に関する。
音声認識タスクでは、ユーザの発話終了ポイントを適切に検出することが重要である。また、ヒューマン・マシン対話システムに対しては、発話終了とともに発話のターン終了ポイントを適切に検出することが要求される。一文一答形式の会話、又は単一音声コマンドと違い、自然なコミュニケーションである自由対話(談話)では、話者の1ターンに複数の発話文が含まれることが多々ある。したがって、自由対話音声における発話のターン終了ポイントの推定は困難である。
我々が他の人と会話するとき、その目的は話者の意図を理解し、適切に話者の発話に対して応答することである。発話により何が意図されているかを理解することは、発話内の全ての単語を理解することと同程度に重要であり、円滑な会話に多大な影響を与える。
発話ターン終了ポイントの正確な推定は発話文の切り分けに利用でき、また、発話内容の理解に役立つため、より自然なインタラクション制御に繋がる。さらに、日本語話者が発話する際の頭部動作と発話権交代の関連性が報告されている(非特許文献1)。以上から、発話終了タイミングの推定結果に合わせ、コミュニケーションロボットの動作を制御することで、ロボットの人間らしさを向上させることができる。
C. Liu, C. T. Ishi, H. Ishiguro, Proc. of HRI 2012, pp. 285-292, 2012. R. Hariharan, J. H akkinen, and K. Laurila, ICASSP 2001, vol. 1, pp. 249-252, May 2001. Q. Li, J. Zheng, Q. R. Zhou, and C. Lee, ICASSP 2001, vol. 1, pp. 233-236, May 2001. L. Huang and C. Yang, Proc. ICASSP 2000, vol. 3, pp. 1751-1754, 2000.
従来の研究では、発話のターン終了ポイントの検出には、無音区間(非特許文献2)、ゼロクロス及びエントロピー(非特許文献3、4)が用いられている。しかし、これらの手法による文末検出の精度は環境に左右されやすく、したがってターン終了ポイントの検出の精度も低いという問題がある。また、自然対話にはオーバーラップ及び同時発話も多く含まれているため、無音区間、ゼロクロス、又はエントロピーを用いる従来技術ではターン終了ポイントの正確な検出は困難である。
また、発話の終了は単に発話ターンを他者に譲渡することを意味しない。引き続きそれまでの話者が発話権を保持する場合もあるし、相手に対して質問又は応答を要求している場合もある。すなわち、発話は単に何かを述べるだけではなく、話者間の会話をある方向に進める機能を持つ。このような機能をここでは談話機能と呼ぶ。
ヒューマン・マシン対話システムでは、このような、発話の句末の談話機能を精度高く検出しないと、自然な対話ができないという問題がある。従来の技術では、そのような談話機能の判定を高精度で行うことは難しい。
それ故に本発明は、談話機能を高精度で判定する談話機能検出装置を提供することである。
本発明の第1の局面に係る談話機能推定装置は、発話のテキストデータを受け、当該テキストデータを形態素解析して発話における談話機能推定のための第1の素性ベクトルを生成する第1のベクトル生成手段と、発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第2のベクトルを生成する第2のベクトル生成手段と、第1のベクトル及び第2のベクトルからなる素性ベクトルを入力として受け、句末における発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含む。
好ましくは、第2のベクトル生成手段は、発話中に検出された句末の直前の所定区間を複数個の分割区間に分割する分割手段と、分割手段により分割された各分割区間の基本周波数を要素として第2のベクトルを生成するための手段を含む。
より好ましくは、第1のベクトル生成手段は、発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、形態素解析手段により出力された形態素列を時系列的に記憶するための形態素列記憶手段と、少なくとも、形態素列記憶手段に記憶された最新の所定個数の形態素の各々から得られる品詞情報を要素として、第1のベクトルを生成し分類器に出力するための手段とを含む。
さらに好ましくは、第1のベクトル生成手段は、発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、形態素列に出現する単語の集合(BOW)を表すBOWベクトルを生成するBOWベクトル生成手段と、BOWベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、発話中における各単語の出現頻度とにより正規化し、正規化後BOWベクトルを出力するためのBOWベクトル正規化手段と、BOWベクトル正規化手段の出力する正規化後BOWベクトルの次元を削減して第1のベクトルとして出力するための次元削減手段とを含む。
次元削減手段は、BOWベクトル正規化手段の出力する正規化後BOWベクトルの次元を、潜在的ディリクレ配分法(LDA)により削減して第1のベクトルを生成するための手段を含んでもよい。
次元削減手段は、BOWベクトル正規化手段の出力する正規化後BOWベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、正規化後BOWベクトルが与えられたことに応答してボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として第1のベクトルを生成するための手段とを含んでもよい。
好ましくは、分類手段は、素性ベクトルを入力として受け、句末における発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう学習済のサポートベクトルマシンを含む。
より好ましくは、分類手段は、発話の談話機能に対応する隠れ状態の遷移経路と、各状態における特徴ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、素性ベクトルを入力として受け、当該素性ベクトルを出力した状態の後に、状態の各々に隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、素性ベクトル、隠れマルコフモデル、及びディープニューラルネットワークの出力に基づき、発話の不可視の状態の遷移経路として最尤の経路を推定する最尤推定手段と、最尤推定手段により推定された経路に基づいて発話の談話機能を推定するための手段とを含む。
さらに好ましくは、2のベクトル生成手段は、発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の音声信号中から基本周波数成分を抽出し対数基本周波数成分として記憶するための基本周波数抽出手段と、予め抽出した、発話の話者の音声の基本周波数の対数の平均値を記憶する基本周波数平均記憶手段と、基本周波数抽出手段により抽出された対数基本周波数成分から基本周波数平均記憶手段に記憶された平均値を減ずることにより対数基本周波数成分を正規化し、当該正規化された対数基本周波数成分を要素として第2のベクトルを生成するための手段とを含む。
好ましくは、談話機能推定装置は、発話における話者の音声の基本周波数の対数を所定時間ごとに算出するための基本周波数算出手段と、基本周波数算出手段により所定時間ごとに算出された基本周波数の対数の平均値を算出し、基本周波数平均記憶手段に格納するための手段とをさらに含む。
より好ましくは、談話機能推定装置は、発話の句末を検出して句末信号を出力するための句末検出手段をさらに含む。第1のベクトル生成手段及び第2のベクトル生成手段は、それぞれ、句末検出手段により検出された句末の直前のテキストデータ及び音声信号から第1のベクトル及び第2のベクトルを生成し出力する。
さらに好ましくは、句末検出手段は、発話に対する音声認識を行ってテキストデータを出力する音声認識装置と、音声認識装置の出力するテキストデータの、句末直前の音素情報から、句末として取り扱うべき句末区間を特定する句末特定手段を含む。第2のベクトル生成手段は、句末区間をそれぞれ所定長さの部分区間に区切って各部分区間の基本周波数の対数を抽出するための手段と、抽出するための手段により抽出された各部分区間の基本周波数の対数の間の関係に基づいて、固定長の第2のベクトルを生成するための手段とを含む。
本発明の第2の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの談話機能推定装置として機能させる。
本発明の第1の実施の形態に係る談話機能推定装置を含むヒューマン・マシン対話システムの構成を示す図である。 図1に示す談話機能推定装置の概略構成を示すブロック図である。 本発明の第2の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 本発明の第3の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 第3の実施の形態で使用されるボトルネットネットワークの概略構成を示す模式図である。 第3の実施の形態の分類器で使用されるディープニューラルネットワークの構成を示す模式図である。 第3の実施の形態の分類器による、談話機能の最尤系列の推定過程を説明するための模式図である。 本発明の第4の実施の形態に係る談話機能推定装置の概略構成を示すブロック図である。 本発明の実施の形態において、分類器としてLDAを用いた場合の効果を説明するためのグラフである。 本発明の実施の形態において、分類器としてDNNを用いた場合の効果を説明するためのグラフである。 本発明の各実施の形態に係る談話機能推定装置を実現するためのコンピュータシステムの外観図である。 図11に外観を示すコンピュータシステムの内部構成を示すブロック図である。
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
[第1の実施の形態]
〈概略〉
図1を参照して、本発明の第1の実施の形態に係る談話機能推定装置44は、操作者40が発する音声42から得られる言語情報だけではなく、その韻律情報も含めて談話機能を検出する。検出された談話機能により、ロボット48の頭部動作46を制御したり、ロボット48の応答を制御したりすることで、操作者40とロボット48との間の自然な対話を実現する。
〈構成〉
図2を参照して、本実施の形態に係る談話機能推定装置44は、発話者の音声42を受けて音声認識し、音声認識結果のテキストデータを出力する音声認識装置70、このテキストデータに対して形態素解析を行い、品詞情報などが付された形態素列を出力する形態素解析部72、及び、形態素解析部72が出力した形態素列の品詞情報の時系列を記憶し、それら品詞を要素とするベクトルを出力する時系列品詞情報記憶部74を含む。
この実施の形態が扱う言語は日本語であり、品詞としては11通りである。これらに「その他」を含めて、品詞情報としては12種類を用いる。品詞を要素とするベクトルは、品詞の種類数(12個)の要素を持つ固定長ベクトルであり、該当する品詞に対応する要素の値が1、それ以外の要素の値は0としたものである。
談話機能推定装置44はさらに、音声42からログスケールの基本周波数(F0)を10ミリ秒ごとに抽出するためのF0抽出部76、音声42とは別にあらかじめ準備された、音声42の話者の発話データのF0の平均値をあらかじめ記憶するためのF0平均記憶部78、及び、F0抽出部76が抽出したF0を、10ミリ秒ごとに所定時間分(本実施の形態では150ミリ秒)だけ記憶し、句境界情報84に応答して、F0平均記憶部78に記憶された話者のF0の平均値を減ずることにより話者の音声42のF0を正規化した値を要素とするベクトルを出力するための話者正規化部80と、時系列品詞情報記憶部74の出力するベクトルと話者正規化部80の出力するベクトルとを連結したベクトルを素性ベクトルとして受け、談話機能50を推定して出力するための分類器82とを含む。句境界情報84を生成するための句境界は本実施の形態及び後述する第2及び第3の実施の形態では既知であるものとする。なお、F0の情報を150ミリ秒分だけ用いることとしたのは、日本語の1モーラに相当するのが150ミリ秒程度であることに基づく。なお、この長さは適宜変更してもよい。
分類器82は、本実施の形態ではSVMであり、あらかじめ学習データを用いて、素性ベクトルに対して談話機能50を推定するように機械学習を行っている。また、本実施の形態では、談話機能50は、k(ターンの保持)、g(ターンの譲渡)、及びo(その他)を識別するようにあらかじめ学習済みである。
〈動作〉
話者の音声42が入力されると、音声認識装置70は音声42に対する音声認識を行い、発話の内容に対応するテキストデータを出力する。形態素解析部72はこの出力を受け、付属の形態素解析用辞書(図示せず)を参照して形態素解析を行い、品詞情報が付された形態素列を出力する。時系列品詞情報記憶部74は、この形態素列のうち、品詞情報の時系列を所定個数だけ記憶する。
F0抽出部76は、音声42から10ミリ秒ごとにF0を抽出し話者正規化部80に与える。話者正規化部80は、F0抽出部76から与えられるF0からF0平均記憶部78に記憶されているF0平均値を減算して正規化し、最新の150ミリ秒分を記憶しておき、句境界情報84を受けたことに応答して、記憶されていた150ミリ秒分のF0の値を要素とするベクトルを生成し、分類器82に与える。
分類器82の入力には、時系列品詞情報記憶部74からのベクトルと話者正規化部80からのベクトルとが連結されたものが素性ベクトルとして与えられる。分類器82は、この素性ベクトルに基づいて、音声42により表される発話の句末の談話機能の推定値(k、g、oのいずれか)を推定し出力する。図1に示す頭部動作46を、この談話機能に基づいて制御できる。
実験によれば、この実施の形態による談話機能推定装置44では、談話機能の認識結果の精度として69%という結果を得た。
[第2の実施の形態]
〈構成〉
図3に、本発明の第2の実施の形態に係る談話機能推定装置100のブロック図を示す。この談話機能推定装置100が第1の実施の形態に係る談話機能推定装置44と異なるのは、時系列品詞情報記憶部74に代えて、形態素解析部72の出力する形態素列に基づいて、時系列の品詞情報ではなく、最新の形態素のnグラムをバッグ・オブ・ワーズ(BOWベクトル)表現により表すベクトルを生成するためのベクトル生成部110を含む点と、ベクトル生成部110の出力するBOWベクトルを正規化するためのベクトル正規化部111を含む点と、ベクトル正規化部111により正規化されたBOWベクトルの次元をLDA(Latent Dirichlet Association)により削減する処理を行い、次元が削減されたベクトルを出力するためのベクトル次元削減処理部112を含む点と、図2の分類器82に代えて、ベクトル次元削減処理部112からのベクトルと話者正規化部80の出力するベクトルとを連結したものを素性ベクトルとして受け、音声42の表す発話の談話機能をk、g、q(質問・応答要求)、bc(相槌)のいずれかに分類する、SVMからなる分類器114を含む点とである。分類器114は、あらかじめ上記した4つのタグによりラベル付けされた学習データと、当該学習データに対して話者正規化部80の出力する正規化されたF0とにより学習を行っている。
BOWベクトルは、学習に用いたデータ全体に出現する単語の数だけの要素を持つ。各要素の値は、処理対象の発話データを音声認識した結果の最後のフレーズにおいて、各単語が出現した頻度である。したがってこのベクトルの大部分の要素は0である。
ベクトル正規化部111は、以下のようにしてこのBOWベクトルを正規化する。この正規化では、いわゆるtf-idfを用いる。すなわち、あらかじめ学習に用いたデータ全体での各単語の出現頻度を算出しておく。そして、BOWベクトルの各要素を、その要素に対応する単語の、データ全体での出現頻度で除算した後、ベクトルの大きさが1となるように正規化する。
この正規化されたベクトルをベクトル次元削減処理部112でLDAを用いて処理することによりベクトルの次元を削減する。LDAは、多数の離散的データのための確率的生成モデルである。このモデルは階層的ベイズモデルであって、各句が、あるトピックの集合の有限な混合物であると考える。したがって、各句はトピックの確率の集合として表現できる。一般的に、LDAが扱うトピックの範囲は100〜300程度である。このLDAを用いることによって、ベクトルのサイズを語彙の数からトピックの数にまで削減できる。後述する実験では、トピックの数を512、1024、1536、及び2048に設定した。
〈動作〉
この第2の実施の形態に係る談話機能推定装置100は以下のように動作する。音声認識装置70、形態素解析部72、F0抽出部76、F0平均記憶部78及び話者正規化部80の動作は、第1の実施の形態と同じである。ベクトル生成部110は、形態素解析部72の出力する形態素列に基づいて、最後の句のBOWベクトルを生成し、ベクトル正規化部111に与える。ベクトル正規化部111は、前述した手順にしたがってBOWベクトルを正規化し、ベクトル次元削減処理部112に与える。ベクトル次元削減処理部112は、このように正規化されたBOWベクトルに対してLDA処理を行うことにより、次元が削減されたベクトルを生成する。
分類器114は、ベクトル次元削減処理部112の出力したベクトルと話者正規化部80の出力したベクトルとを連結したものを素性ベクトルとして受け、あらかじめ学習していたパラメータにしたがって談話機能102を推定し出力する。
なお、この実施の形態では分類器114としてSVMを用いている。しかし本発明はそうした実施の形態には限定されず、識別機能を備えた分類器であればどのようなものでも適用できる。例えば、SVMに代えてDNNを用いることもできる。
[第3の実施の形態]
〈構成〉
図4に、第3の実施の形態に係る談話機能推定装置130の概略構成を示す。図4を参照して、この談話機能推定装置130が図3に示す談話機能推定装置100と異なるのは、図2に示すベクトル次元削減処理部112に代えてボトルネックニューラルネットワーク140を含む点、及び、図2のSVMを用いた分類器114に代えて、ディープニューラルネットワーク(DNN)と隱れマルコフモデル(HMM)を組み合わせた分類器142を含む点である。その他の点において、談話機能推定装置130は談話機能推定装置100と同一である。ただし、この実施の形態では、音声のF0を用いる区間の長さは、150ミリ秒〜200ミリ秒であって、事前の実験により適切な値を選択するものとする。
この実施の形態に係る分類器142は、sil(silence)、listening、k、g、i及びqの談話機能を判別する機能を持つ。
ボトルネックニューラルネットワーク140は、図2に示すベクトル次元削減処理部112と同様、ベクトルの次元を削減するためのものである。ボトルネックニューラルネットワーク140は、例えば図5に示すような構成を持つ。この例はあくまで例示である。
図5を参照して、ボトルネックニューラルネットワーク140は、入力ベクトル150を受ける入力層152、入力層152と同じ数のノードを持つ出力層160、及び、入力層152と出力層160との間に設けられた複数の隱れ層154、156及び158を含む。隠れ層154、156及び158のうち、隱れ層156のノード数は他の層と比較して少なくなっている。したがってこの隱れ層156はボトルネック層と呼ばれる。ボトルネックニューラルネットワーク140の学習は、入力層152に入力ベクトル150が与えられたときに、出力層160から出力される出力ベクトル162が入力ベクトル150と等しくなるように、多数の学習データを用いて行われる。学習した後のボトルネックニューラルネットワーク140によれば、入力層152に与えられたベクトルの要素数を一旦ボトルネック層156のノード数まで削減した後、再び入力ベクトルと同じベクトルを再現出来る。つまり、ボトルネック層156の出力は、少ない数で入力ベクトル150の内容を再現するに十分な情報を持っていると考えられる。そこで、ボトルネック層156の出力をボトルネック特徴量164として取り出すことにより、入力ベクトルの次元を削減できる。
図6に、図4の分類器142のうち、隱れマルコフモデルの状態遷移確率を定めるためのDNN180の構成の概略を示す。図6を参照して、DNN180は、素性ベクトル182を受けるように接続された複数のノードを持つ入力層190と、silence、listening、k、g、i、及びqに対応して設けられ、素性ベクトル182が与えられたときに、その直後に隱れマルコフモデルが遷移する状態がこれらである確率を出力する6つのノードを持つ出力層194と、入力層190と出力層194との間に設けられた複数の隠れ層192とを含む。
図7の上段に、隠れマルコフモデルによる状態遷移とそのときの出力(素性)との関係を例示する。この例は、silenceから状態s1及びs2を経てsilenceに状態が遷移することを示す。状態がsilenceのときには、出力からは素性silが得られる。同様に状態がs1のときには素性f1が得られ、状態がs2のときには素性f2が得られる。この素性f1及びf2は、それぞれ状態s1及びs2についてあらかじめ学習により得られた確率密度関数にしたがって出力されるベクトルである。
このDNN180の入力層190に素性ベクトル182が与えられると、DNN180は、隱れマルコフモデルが次にどの様な確率でどの状態に遷移するか示す確率ベクトルを出力する。
図7の下段に示すように、分類器142は、状態210から状態212の間で遷移する確率が最も高い(最尤の)最尤系列218を尤度計算により選択する。図7に示す例では、状態210、214、216及び212の経路が他の経路よりも確率が高く、したがって最尤の経路として選択されている。この場合、状態212が句末を示すとすれば、状態216に対応する談話機能が句末の談話機能であると推定される。
〈動作〉
第3の実施の形態に係る談話機能推定装置130は以下のように動作する。音声認識装置70、形態素解析部72、ベクトル生成部110、ベクトル正規化部111、F0抽出部76、F0平均記憶部78、及び音声認識装置70は第2の実施の形態と同様に動作する。ボトルネックニューラルネットワーク140は、ベクトル正規化部111の出力するベクトルを受けて、ボトルネック特徴量を出力する。話者正規化部80は、直前の所定時間の音声の10ミリ秒ごとのF0を正規化したもののうち、最新の所定個数を要素として持つベクトルを分類器142に与える。
分類器142は、ボトルネックニューラルネットワーク140からのベクトルと話者正規化部80からのベクトルとを連結した素性ベクトルを受け取り、句境界の直前の談話機能の状態のシーケンスを推定し、最後の談話機能132を出力する。
[第4の実施の形態]
〈構成〉
図8に、本発明の第4の実施の形態に係る談話機能推定装置250の概略構成を示す。図8を参照して、談話機能推定装置250が第3の実施の形態に係る談話機能推定装置130と異なるのは、音声認識装置70に代えて、音声認識を行ってテキストデータを出力するのに加えて、発話の句末を検出して句末区間を特定する信号を出力する機能を持つ音声認識装置260を含む点、話者正規化部80に代えて、F0抽出部76の出力するF0を、10ミリ秒ごとに、F0平均記憶部78に記憶されたF0平均値を減算して正規化して複数記憶し、音声認識装置260が出力する信号に応答して、その信号により表される期間に相当するF0の系列をベクトルとして出力する話者正規化部262と、話者正規化部262の出力するF0を用いて、句末の韻律を表す固定長のベクトルを出力する句末区間正規化部264を含む点、及び第3の実施の形態の分類器142に代えて、ボトルネックニューラルネットワーク140の出力するボトルネック特徴量からなるベクトルと、句末区間正規化部264が出力する、句末区間の韻律を示す固定長のベクトルとを連結したベクトルを素性ベクトルとして受け、素性ベクトルに対応する談話機能252を推定し出力する分類器266を含む点である。
話者正規化部262の出力するベクトルの要素数は、句末区間の長さが変動するのに伴って変動する。句末区間正規化部264は、この可変長のベクトルを固定長に正規化する。例えば句末区間正規化部264は、入力される可変長ベクトルにより表される音声の調子を、第1のカテゴリ(上昇調、下降調、平坦調、下降・上昇調等)と、第2のカテゴリ(短い、長い、とても長い)によりそれぞれ分類し、それらのカテゴリを表す情報の組み合わせを表す固定長のベクトルを出力する。または、句末区間正規化部264は、可変数のF0を一定数にダウンサンプリングすることで固定長のベクトルを出力するようにしてもよい。
句末区間正規化部264の出力するベクトルの次元が第3の実施の形態の場合と同じであれば、分類器266は分類器142と同じ構成でもよい。ただし、学習データを変更すべきことはいうまでもない。
〈動作〉
談話機能推定装置250の音声認識装置260は、音声42を音声認識してテキストデータを出力するとともに、句末を検出して句末の区間を特定する信号を話者正規化部262に与える。形態素解析部72、ベクトル生成部110、ベクトル正規化部111及びボトルネックニューラルネットワーク140は第3の実施の形態と同様に動作し、言語情報に基づいて得られた素性のベクトルを分類器266に与える。F0抽出部76は、音声42のF0を10ミリ秒ごとに算出して話者正規化部262に与える。話者正規化部262はこの値からF0平均記憶部78に記憶されていたF0の平均値を減算することにより正規化し、時系列として記憶する。音声認識装置260から句末の期間を特定する信号が与えられると、話者正規化部262は、その期間の正規化後のF0系列を句末区間正規化部264に与える。句末区間正規化部264は、このF0系列を上記した2種類のカテゴリにしたがって分類し、分類されたカテゴリを示すデータをベクトル形式で分類器266に与える。分類器266は、ボトルネックニューラルネットワーク140
からの言語情報に基づく素性のベクトルと、句末区間正規化部264からの、韻律情報に基づく素性のベクトルとを連結したものを素性ベクトルとして受け、学習パラメータにしたがって句末の談話機能を推定し談話機能252を出力する。
[実験結果]
上記した第2の実施の形態の談話機能推定装置100の構成を用いて以下の様な実験を行った。韻律情報(F0)を用いず、言語情報のみによる談話機能を推定する予備実験を行ったところ、ベクトル次元削減処理部112にLDAを用いた場合には、BOW、POSのユニグラム、バイグラム及びトライグラムのいずれを用いた場合よりも高い精度が得られた。そこで、言語情報のみを用いてベクトル次元削減処理部112としてLDAを用いた結果と、言語情報に加えて韻律情報を加えてベクトル次元削減処理部112にLDAを用いた場合の精度を比較した。結果を図9に示す。
図9を参照して、横軸はLDAのトピック数、縦軸は予測精度である。グラフ300は言語情報のみを用いた場合の予測精度を示し、グラフ302は言語情報に加えて韻律情報を加えた場合の予測精度を示す。このグラフから明らかなように、韻律情報を加えることにより、予測精度は大幅に高くなった。また、トピック数100の場合とそれ以外の場合とで精度に明らかな相違があることから、トピック数を100まで減少させると、情報の一部が失われる結果、精度が低くなることが分かる。
図10に、ベクトル次元削減処理部112としてLDAを用い、さらに図3の分類器114としてSVMに代えてDNNを用いた実験結果を示す。実験では、DNNの各隠れ層のノード数を512から2048まで512ずつ変化させ、その予測精度の変化を調べた。このグラフから分かるように、DNNを用いた場合には隠れ層のノード数を増加させると精度も向上する。また、隠れ層のノード数が512のときを除き、分類器114にSVMを用いた場合よりも高い精度が得られることが分かる。
[実施の形態の効果]
以上のように本発明の実施の形態によると、言語情報だけではなく、句末の韻律情報を考慮して句末の談話機能を推定する。したがって、言語情報のみを用いる場合と比較してより高い精度で談話機能を推定できる。さらに、分類器としてSVM、DNN、または隱れマルコフモデルとDNNの組み合わせを用いることにより、学習結果を反映した安定した高精度で句末の談話機能を推定できる。したがって、この談話機能を用いてヒューマン・マシンインターフェイスを構築することにより、より自然なインタラクションを実現できる。
[コンピュータによる実現]
本発明の各実施の形態に係る談話機能推定装置は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図11はこのコンピュータシステム530の外観を示し、図12はコンピュータシステム530の内部構成を示す。
図11を参照して、このコンピュータシステム530は、メモリポート552及びDVD(Digital Versatile Disc)ドライブ550を有するコンピュータ540と、キーボード546と、マウス548と、モニタ542とを含む。
図12を参照して、コンピュータ540は、メモリポート552及びDVDドライブ550に加えて、CPU(中央処理装置)556と、CPU556、メモリポート552及びDVDドライブ550に接続されたバス566と、ブートプログラム等を記憶する読出専用メモリ(ROM)558と、バス566に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ(RAM)560と、ハードディスク554を含む。コンピュータシステム530はさらに、バス566に接続され、音声信号をデジタル化してコンピュータにおいて処理可能な形式に変換するためのサウンドボード568と、他端末との通信を可能とするネットワーク568への接続を提供するネットワークインターフェイスカード(NIC)574を含む。サウンドボード568にはマイクロフォン570が接続される。
コンピュータシステム530を上記した各実施の形態に係る談話機能推定装置の各機能部として機能させるためのコンピュータプログラムは、DVDドライブ550又はメモリポート552に装着されるDVD562又はリムーバブルメモリ564に記憶され、さらにハードディスク554に転送される。又は、プログラムはネットワーク568を通じてコンピュータ540に送信されハードディスク554に記憶されてもよい。プログラムは実行の際にRAM560にロードされる。DVD562から、リムーバブルメモリ564から又はネットワーク568を介して、直接にRAM560にプログラムをロードしてもよい。
このプログラムは、コンピュータ540を、上記各実施の形態に係る談話機能推定装置44、100、130、及び250の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ540にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ540上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ540にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
40 操作者
42 音声
44、100、130、250 談話機能推定装置
46 頭部動作
48 ロボット
50、102、132、252 談話機能
70、260 音声認識装置
72 形態素解析部
74 時系列品詞情報記憶部
76 F0抽出部
78 F0平均記憶部
80、262 話者正規化部
82、114、142、266 分類器
84 句境界情報
110 ベクトル生成部
111 ベクトル正規化部
112 ベクトル次元削減処理部
140 ボトルネックニューラルネットワーク
150 入力ベクトル
152 入力層
154、158、192 隠れ層
156 ボトルネック層
160、194 出力層
162 出力ベクトル
164 ボトルネック特徴量
180 DNN
182 素性ベクトル
190 入力層
210、212、214、216 談話機能の状態
218 最尤系列
264 句末区間正規化部

Claims (17)

  1. 発話のテキストデータを受け、当該テキストデータを形態素解析して前記発話における談話機能推定のための第1のクトルを生成する第1のベクトル生成手段と、
    前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第2のベクトルを生成する第2のベクトル生成手段と、
    前記第1のベクトル及び前記第2のベクトルからなる素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含み、
    前記第1のベクトル生成手段は、
    発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
    前記形態素列に出現する単語の集合(BOW)を表すBOWベクトルを生成するBOWベクトル生成手段と、
    前記BOWベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、前記発話中における各単語の出現頻度とにより正規化し、正規化後BOWベクトルを出力するためのBOWベクトル正規化手段と、
    前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルの次元を削減して前記第1のベクトルとして出力するための次元削減手段とを含む、談話機能推定装置。
  2. 前記第2のベクトル生成手段は、
    発話中に検出された句末の直前の前記所定区間を複数個の分割区間に分割する分割手段と、
    前記分割手段により分割された各分割区間の基本周波数を要素として前記第2のベクトルを生成するための手段を含む、請求項1に記載の談話機能推定装置。
  3. 前記次元削減手段は、前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルの次元を、潜在的ディリクレ配分法(LDA)により削減して前記第1のベクトルを生成するための手段を含む、請求項1又は請求項2に記載の談話機能推定装置。
  4. 前記次元削減手段は、
    前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、
    前記正規化後BOWベクトルが与えられたことに応答して前記ボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として前記第1のベクトルを生成するための手段とを含む、請求項1又は請求項2に記載の談話機能推定装置。
  5. 前記分類手段は、前記素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう学習済のサポートベクトルマシンを含む、請求項1〜請求項の何れかに記載の談話機能推定装置。
  6. 前記分類手段は、
    発話の談話機能に対応する隠れ状態の遷移経路と、各隠れ状態における前記素性ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、
    前記素性ベクトルを入力として受け、当該素性ベクトルを出力した隠れ状態の後に、前記隠れ状態の各々に前記隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、
    前記素性ベクトル、前記隠れマルコフモデル、及び前記ディープニューラルネットワークの出力に基づき、発話の隠れ状態の遷移経路として最尤の経路を推定する最尤推定手段と、
    前記最尤推定手段により推定された経路に基づいて前記発話の談話機能を推定するための手段とを含む、請求項1〜請求項のいずれかに記載の談話機能推定装置。
  7. 発話のテキストデータを受け、当該テキストデータを形態素解析して前記発話における談話機能推定のための第1のクトルを生成する第1のベクトル生成手段と、
    前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し、基本周波数成分の変化を表す第2のベクトルを生成する第2のベクトル生成手段と、
    前記第1のベクトル及び前記第2のベクトルからなる素性ベクトルを入力として受け、前記句末における前記発話の談話機能を、予め定める複数通りの談話機能のいずれかに分類するよう、予め機械学習により学習済の分類手段とを含み、
    前記分類手段は、
    発話の談話機能に対応する隠れ状態の遷移経路と、各隠れ状態における前記素性ベクトルの各要素の出力確率とを表現する隠れマルコフモデルと、
    前記素性ベクトルを入力として受け、当該素性ベクトルを出力した隠れ状態の後に、前記隠れ状態の各々に前記隠れマルコフモデルの状態が遷移する確率を出力するように予め機械学習により学習済のディープニューラルネットワークと、
    前記素性ベクトル、前記隠れマルコフモデル、及び前記ディープニューラルネットワークの出力に基づき、発話の隠れ状態の遷移経路として最尤の経路を推定する最尤推定手段と、
    前記最尤推定手段により推定された経路に基づいて前記発話の談話機能を推定するための手段とを含む、談話機能推定装置。
  8. 前記第2のベクトル生成手段は、
    発話中に検出された句末の直前の前記所定区間を複数個の分割区間に分割する分割手段と、
    前記分割手段により分割された各分割区間の基本周波数を要素として前記第2のベクトルを生成するための手段を含む、請求項に記載の談話機能推定装置。
  9. 前記第1のベクトル生成手段は、
    発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
    前記形態素解析手段により出力された前記形態素列を時系列的に記憶するための形態素列記憶手段と、
    少なくとも、前記形態素列記憶手段に記憶された最新の所定個数の形態素の各々から得られる品詞情報を要素として、前記第1のベクトルを生成し前記分類器に出力するための手段とを含む、請求項7又は請求項に記載の談話機能推定装置。
  10. 前記第1のベクトル生成手段は、
    発話のテキストデータを受け、当該テキストデータを形態素解析し、形態素列を出力するための形態素解析手段と、
    前記形態素列に出現する単語の集合(BOW)を表すBOWベクトルを生成するBOWベクトル生成手段と、
    前記BOWベクトル生成手段の要素を、所定のデータセット中における各単語の出現頻度と、前記発話中における各単語の出現頻度とにより正規化し、正規化後BOWベクトルを出力するためのBOWベクトル正規化手段と、
    前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルの次元を削減して前記第1のベクトルとして出力するための次元削減手段とを含む、請求項又は請求項に記載の談話機能推定装置。
  11. 前記次元削減手段は、前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルの次元を、潜在的ディリクレ配分法(LDA)により削減して前記第1のベクトルを生成するための手段を含む、請求項10に記載の談話機能推定装置。
  12. 前記次元削減手段は、
    前記BOWベクトル正規化手段の出力する前記正規化後BOWベクトルを受けるように接続された、入力と出力とが等しくなるように予め学習済のボトルネックニューラルネットワークと、
    前記正規化後BOWベクトルが与えられたことに応答して前記ボトルネックニューラルネットワークのボトルネック層の各ノードから出力される値を要素として前記第1のベクトルを生成するための手段とを含む、請求項10に記載の談話機能推定装置。
  13. 前記第2のベクトル生成手段は、
    前記発話に対応する音声信号において、発話中に検出された句末の直前の所定区間の前記音声信号中から基本周波数成分を抽出し対数基本周波数成分として記憶するための基本周波数抽出手段と、
    予め抽出した、前記発話の話者の音声の基本周波数の対数の平均値を記憶する基本周波数平均記憶手段と、
    前記基本周波数抽出手段により抽出された前記対数基本周波数成分から前記基本周波数平均記憶手段に記憶された前記平均値を減ずることにより前記対数基本周波数成分を正規化し、当該正規化された前記対数基本周波数成分を要素として前記第2のベクトルを生成するための手段とを含む、請求項1〜請求項12のいずれかに記載の談話機能推定装置。
  14. 前記発話における前記話者の音声の基本周波数の対数を所定時間ごとに算出するための基本周波数算出手段と、
    前記基本周波数算出手段により所定時間ごとに算出された前記基本周波数の対数の平均値を算出し、前記基本周波数平均記憶手段に格納するための手段とをさらに含む、請求項13に記載の談話機能推定装置。
  15. 前記発話の句末を検出して句末信号を出力するための句末検出手段をさらに含み、
    前記第1のベクトル生成手段及び前記第2のベクトル生成手段は、それぞれ、前記句末検出手段により検出された句末の直前の前記テキストデータ及び前記音声信号から前記第1のベクトル及び前記第2のベクトルを生成し出力する、請求項1又は請求項7に記載の談話機能推定装置。
  16. 前記句末検出手段は、前記発話に対する音声認識を行って前記テキストデータを出力する音声認識装置と、
    前記音声認識装置の出力する前記テキストデータの、前記句末直前の音素情報から、前記句末として取り扱うべき句末区間を特定する句末特定手段を含み、
    前記第2のベクトル生成手段は、
    前記句末区間をそれぞれ所定長さの部分区間に区切って各部分区間の基本周波数の対数を抽出するための手段と、
    前記抽出するための手段により抽出された各部分区間の基本周波数の対数の間の関係に基づいて、固定長の前記第2のベクトルを生成するための手段とを含む、請求項1に記載の談話機能推定装置。
  17. コンピュータを、請求項1〜請求項16のいずれかに記載の談話機能推定装置として機能させる、コンピュータプログラム。
JP2016162927A 2016-08-23 2016-08-23 談話機能推定装置及びそのためのコンピュータプログラム Active JP6712754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016162927A JP6712754B2 (ja) 2016-08-23 2016-08-23 談話機能推定装置及びそのためのコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016162927A JP6712754B2 (ja) 2016-08-23 2016-08-23 談話機能推定装置及びそのためのコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2018031851A JP2018031851A (ja) 2018-03-01
JP6712754B2 true JP6712754B2 (ja) 2020-06-24

Family

ID=61303977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162927A Active JP6712754B2 (ja) 2016-08-23 2016-08-23 談話機能推定装置及びそのためのコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6712754B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563119B (zh) * 2018-03-26 2021-06-15 哈尔滨工程大学 一种基于模糊支持向量机算法的无人艇运动控制方法
JP7007617B2 (ja) * 2018-08-15 2022-01-24 日本電信電話株式会社 話し終わり判定装置、話し終わり判定方法およびプログラム
CN109461441B (zh) * 2018-09-30 2021-05-11 汕头大学 一种自适应、无监督式的课堂教学活动智能感知方法
JP2021156922A (ja) * 2020-03-25 2021-10-07 株式会社日立情報通信エンジニアリング 音声認識方法および音声認識プログラム
JP2021156921A (ja) * 2020-03-25 2021-10-07 株式会社日立情報通信エンジニアリング 音声認識方法および音声認識プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009642B2 (ja) * 1997-10-22 2000-02-14 株式会社エイ・ティ・アール音声翻訳通信研究所 音声言語処理単位変換装置
GB9930731D0 (en) * 1999-12-22 2000-02-16 Ibm Voice processing apparatus
JP4729902B2 (ja) * 2003-12-12 2011-07-20 株式会社豊田中央研究所 音声対話システム
JP2008134475A (ja) * 2006-11-28 2008-06-12 Internatl Business Mach Corp <Ibm> 入力された音声のアクセントを認識する技術

Also Published As

Publication number Publication date
JP2018031851A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US11887582B2 (en) Training and testing utterance-based frameworks
KR102677459B1 (ko) 2-레벨 스피치 운율 전송
US11393453B2 (en) Clockwork hierarchical variational encoder
US11264010B2 (en) Clockwork hierarchical variational encoder
KR101229034B1 (ko) 디바이스 인터페이싱을 위한 다중모드 조음 통합
JP5327054B2 (ja) 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
US10460034B2 (en) Intention inference system and intention inference method
EP3370230B1 (en) Voice interaction apparatus, its processing method, and program
JP6712754B2 (ja) 談話機能推定装置及びそのためのコンピュータプログラム
US20230018384A1 (en) Two-Level Text-To-Speech Systems Using Synthetic Training Data
JP2024514064A (ja) ニューラルテキストトゥスピーチのための音素と書記素
EP4409568A1 (en) Contrastive siamese network for semi-supervised speech recognition
US11270691B2 (en) Voice interaction system, its processing method, and program therefor
JP2017102247A (ja) 音声対話システム、音声対話制御法およびプログラム
KR20210081166A (ko) 다국어 음성 환경에서의 언어 식별 장치 및 방법
US20040006469A1 (en) Apparatus and method for updating lexicon
Rashmi et al. Hidden Markov Model for speech recognition system—a pilot study and a naive approach for speech-to-text model
KR20210036169A (ko) 대화 시스템, 대화 처리 방법, 번역 장치 및 번역 방법
WO2023059985A1 (en) Predicting word boundaries for on-device batching of end-to-end speech recognition models
KR102458830B1 (ko) 사용자 중심의 음성 대화 시스템
Nishida et al. Misrecognized Utterance Identification in Support Systems for Daily Human-to-Human Conversations
Takrim et al. Speech to Text Recognition
Korchynskyi et al. Methods of improving the quality of speech-to-text conversion
KR20240068723A (ko) Rnn-T로 구현된 자동 음성 인식 시스템에서 음향과 텍스트 표현의 융합
KANASRO et al. Speech Recognition based web scripting from predefined Context Free Grammar (Language Model & Grammar) programmed in Visual Programming and Text Editor

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6712754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250