JP2001109491A - 連続音声認識装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 大語彙の音声を連続的に認識する際に、認識
可能な語彙のうち指定された語の認識精度を向上し、な
おかつ全体の認識精度の低下を防ぐ。 【構成】 言語モデル修正部６は、言語モデル５１に記
述された全エントリの確率のうち指定語の確率につい
て、重み決定７によってあらかじめ決定された重みを、
確率修正６１により掛け合わせることにより修正する。
こうして言語モデル修正部６によって修正された言語モ
デルを音声認識４において用いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声を認識する音
声認識装置および方法に関する。

【０００２】

【従来の技術】連続音声認識において特定の語彙を認識
する従来手法としては、あらかじめ設定された認識候補
の単語を連続的な会話音声から抽出するワードスポッテ
ィングが考案されている（例えば、古井貞興、「ディジ
タル音声処理」、東海大学出版、１９８５，ｐ．１７６
参照）。この手法では、設定される語が少量であれば効
率良く抽出できることが確認されているが、設定される
語の数が多くなるほど、抽出の精度が低下することもわ
かっている。また、この手法では設定された語以外を認
識することができないため、大語彙の連続音声認識を必
要とする用途には利用できない。以上の点から、大語彙
連続音声認識の枠組において大量の指定語を中心に認識
する手法が必要とされている。

【０００３】音声認識は、観測された音声信号から話者
が何を話したかを推定する問題であり、話者がある言語
を発声し特徴抽出から特徴パラメータｘが得られた場
合、パターン認識の理論から事後確率Ｐ（ｗ｜ｘ）を最
大にするｗを求めればよいことになる。通常、事後確率
ｐ（ｗ｜ｘ）を直接求めるのは困難なので、ベイズの法
則（ｐ（ｗ｜ｘ）＝ｐ（ｘ｜ｗ）ｐ（ｗ）／ｐ（ｘ））
よりｐ（ｘ｜ｗ）ｐ（ｗ）を最大にするｗを求める問題
に置きかえられる（このとき、ｐ（ｘ）はｗによらな
い）。ｐ（ｘ｜ｗ）は音素などを単位とした音響モデル
から特徴パラメータが出現する確率としてあらかじめ学
習により得たデータから求められる。Ｐ（ｗ）は単語な
どを単位とした言語モデルによって求められる。大語彙
連続音声認識の枠組としては、入力される音声信号につ
いて、音素隠れマルコフモデルと統計的言語モデルを用
いて尤度を計算し比較する手法が有効であることが確認
されている（例えば、古井貞興、「大語彙連続音声認識
の現状と展望」、音響学会春季講演論文集、１−６−１
０、１９９８参照）。統計的言語モデルとしては、通
常、あらかじめ用意された大量のテキストデータについ
て二単語間の連鎖確率を求め、それを音声認識時に用い
るのが一般的である。

【０００４】しかし、このようにあらかじめ求められた
確率値を用いる方法は、話者が連続的に発声する場合に
は適切とは言えない。なぜならば、話者が何らかの文脈
に沿って連続的に発声する場合、現れ得る単語や単語間
のつながりが異なってくることが予想され、厳密には利
用すべき言語モデルが異なるべきであるのに、常に同じ
言語モデルを用いているからである。

【０００５】

【発明が解決しようとする課題】文脈の変化が生じる連
続的な発声形態において、より精度良く音声認識を行う
には文脈の変化に応じて言語モデルの確率値を調整する
ことが有効となる。例えば、論文検索サービスの音声イ
ンタフェースにおいてユーザが音声により論文検索を要
求する場合、ユーザはまず初めにキーとなる著者名やキ
ーワードを発声し、検索結果が得られた段階でそれを絞
り込む要求を発声すると考えられる。このような場合、
前半では著者名やキーワードが出現する確率が高いので
あるから、音声認識において用いる言語モデルの確率値
においても、著者名やキーワードについては高くしてお
けば認識結果としてこれらが現れやすくなる。

【０００６】しかし、単純に文脈に沿って現れやすいと
予測される語の確率値を増やすのみでは、全体の認識結
果においてその語が現れやすくなり、本来その語ではな
い語に対しても誤って認識されてしまう恐れが生じる。
そこで、大語彙の音声を連続的に認識する際に、語彙の
うち指定された語の認識精度を向上し、なおかつ全体の
認識精度の低下を防ぐ必要がある。本発明の目的は、言
語モデルに含まれている語彙のうち指定された語の認識
精度を向上させる一方で、なおかつ全体の認識精度の低
下を防止するものである。

【０００７】

【課題を解決するための手段】本発明は、言語モデルに
含まれている語彙、すなわち認識対象語彙のうち、指定
された語の確率に対して重み付けを行ってそれらの語の
認識率を向上させても、全体の認識精度の低下は許容範
囲内に抑えることができるという発見に基づくものであ
る。

【０００８】本発明に係る連続音声認識装置は、認識対
象の音声の連続的な入力を受け付ける音声入力手段と、
該音声の特徴を分析して抽出する特徴抽出手段と、認識
対象語彙の各単語が出現する確率を記述した言語モデル
と、該特徴と該言語モデルを用いて音声認識を行い音声
認識結果を出力する音声認識手段とを有し、言語モデル
に記述される全単語のうち指定された語に関する確率に
対する重みを決定する重み決定手段と、該確率に該重み
を掛け合わせることにより言語モデルにおける各語の確
率を修正する確率修正手段を備えた言語モデル修正手段
を有することを特徴とする。この言語モデル修正手段に
より修正された言語モデルを用いて音声認識が行われ
る。

【０００９】本発明に係る連続音声認識装置は、さら
に、前記の言語モデル修正手段が、言語モデル中の全語
の確率の和が１になるように正規化する確率正規化手段
を含むことを特徴とする。

【００１０】本発明によれば、さらに、前記の重み決定
手段において、特定のデータ群における指定語の出現頻
度に応じて各単語に掛け合わせる重みを決定したり、指
定語のエントロピーを基準にして指定語に関する全ての
確率に掛け合わせる重みを決定することができる。

【００１１】本発明はさらに、認識対象の音声の連続的
な入力を受け付ける入力ステップと、該音声を分析して
特徴を抽出する特徴抽出ステップと、あらかじめ作成さ
れた認識対象語彙の各語が出現する確率を記述した言語
モデルに記述される全単語のうち指定された語に関する
確率に対する重みを決定する重み決定ステップと、該確
率に該重みを掛け合わせることにより該言語モデルにお
ける各語の確率を修正する確率修正ステップと、修正さ
れた確率を含む言語モデルと該特徴とを用いて音声認識
を行い音声認識結果を出力する音声認識ステップとを備
えたことを特徴とする連続音声認識方法を提供する。

【００１２】本発明の方法は、コンピュータプログラム
として実施できるものであり、本発明はそのようなコン
ピュータプログラムを記録したコンピュータ読み取り可
能な記録媒体をも含むものである。

【００１３】本発明の装置または方法は、広く連続音声
認識に有効に利用できるものであるが、対話型の連続音
声認識において特に大きな効果が得られる。コンピュー
タなどにより発せられる質問に対して話者が答える音声
を認識するような場合には、ある質問に対して期待され
る答えがある。本発明は、そのような答えに含まれるい
くつかの限られた語についてその確率を重み付けするこ
とにより、認識精度を向上させることができる一方、全
体の音声認識率はさほど低下させずにすむものである。

【００１４】

【発明の実施の形態】図１は、本発明に係る一実施形態
である連続音声認識システムの構成を示すブロック図で
ある。本実施形態においては、利用者が音声を用いて対
話的に論文を検索することが可能な論文検索サービスの
音声インタフェースに連続音声認識システムが用いられ
る状況を仮定し、入力音声の内容としては論文検索を要
求する日本語文、音声認識結果としては日本語かな漢字
による単語列が出力されると見なして説明する。

【００１５】図１において、この実施形態の連続音声認
識システムは、マイクロフォンを通して入力された入力
音声に対して音声の特徴パラメータを抽出する特徴抽出
手段３と、認識対象語彙の各語が現れる確率をあらかじ
め記述した言語モデル５１と、言語モデルに記述された
確率値のうち、指定語として指定された語に関する確率
に重みを掛け合わせて修正する言語モデル修正手段６
と、修正された言語モデルおよび抽出された特徴パラメ
ータを用いて音声認識を行い音声認識結果を出力する音
声認識手段４とを備えて構成される。

【００１６】本実施形態において入力される音声は、例
えば論文検索サービスの音声インタフェースに連続音声
認識システムが用いられる状況を仮定した場合、「西川
さんという人が書いた論文はありますか」「では３番目
の論文を詳しく見せて下さい」などの日本語による会話
文調の内容である。

【００１７】特徴抽出手段において入力音声から抽出す
る音声の特徴パラメータとしては、周波数スペクトルの
時間変化を表す尺度が用いられることが一般的である。
ここでは１２次元のＬＰＣメルケプストラム距離および
その差分さらに音声信号のパワーの差分を特徴パラメー
タとして用いることを仮定する。ただし、ここで用いる
特徴パラメータの種類と、後に説明する言語モデルとは
無関係である。

【００１８】本実施形態において用いる音声認識手段は
一般的な大語彙連続音声認識方法を用いる。音声認識
は、観測された音声信号から話者が何を話したかを推定
する問題であり、話者がある言語を発声し特徴抽出から
特徴パラメータｘが得られた場合、パターン認識の理論
から事後確率Ｐ（ｗ｜ｘ）を最大にするｗを求めればよ
いことになる。通常、事後確率ｐ（ｗ｜ｘ）を直接求め
るのは困難なので、ベイズの法則（ｐ（ｗ｜ｘ）＝ｐ
（ｘ｜ｗ）ｐ（ｗ）／ｐ（ｘ））よりｐ（ｘ｜ｗ）ｐ
（ｗ）を最大にするｗを求める問題に置きかえられる
（このとき、ｐ（ｘ）はｗによらない）。ｐ（ｘ｜ｗ）
は音素などを単位とした音響モデルから特徴パラメータ
が出現する確率としてあらかじめ学習により得たデータ
から求められる。Ｐ（ｗ）は単語などを単位とした言語
モデルによって求められる。大語彙連続音声認識の枠組
としては、入力される音声信号について、音素隠れマル
コフモデルと統計的言語モデルを用いて尤度を計算し比
較する手法が有効であることが確認されている（例え
ば、上出、古井貞興、「大語彙連続音声認識の現状と展
望」、音響学会春季講演論文集、１−６−１０、１９９
８参照）。

【００１９】言語モデルとしては、近年は統計的言語モ
デルと呼ばれる単語の連鎖確率を用いるのが一般的であ
る。本実施形態においては、下の表１に示すような、隣
接する２単語のペアについてその連鎖確率（共起確率と
も言う）を記述した構造として言語モデルを説明する。
なお、ここでは単語をもとにした例を説明するが、「論
文を」といった、助詞等を含めた適当な区切りを単位と
して言語モデルを構築することができる。言語モデルの
構築方法については、鹿野清宏ほか著、「音声・音情報
のディジタル信号処理」、ｐ．８４−、昭晃堂、１９９
７年１１月に詳しいが、ここでは、あらかじめ用意され
た大量のテキストデータにおける２単語のペアの出現頻
度によりその連鎖確率を求めて得るものとする。ごく限
られた例を示すと下記の表１にようになる。右端の数値
が連鎖確率を対数表示したものである。 〔表１〕 論文 著者 ‐３１６４．４１ 論文 検索 ‐８４２．５７ 論文 探し ‐１２１６．１９ 論文 下さい ‐９３２．６４ 論文 を ‐１０３２．２２

【００２０】本実施形態において、言語モデル修正手段
のうちの重み決定手段は、前述の言語モデルにおける指
定語に関する確率値を修正するための重みを決定する。
また、確率修正手段は言語モデルにおいて指定語に関す
る確率値を探し、重み決定手段により決定された重みを
掛け合わせる。具体的には単語ｗ_Iと単語ｗ_jの連鎖確率
をｐ（ｗ_I｜ｗ_j）、全単語数をＮとする。指定語への重
みをｘとすると、修正された確率値は以下のように現せ
る。 〔式１〕 Ｐ’（ｗ_I｜ｗ_j）＝ｐ（ｗ_I｜ｗ_j）*ｘ 例えば「探し」が指定語である場合、表１に示した言語
モデルは以下の様に修正され得る。なお、言語モデル修
正手段の実行は、連続音声認識システム実行時でも実行
前でもよい。 〔表２〕 論文 著者 ‐３１６４．４１ 論文 検索 ‐８４２．５７ 論文 探し ‐４８２．３５ 論文 下さい ‐９３２．６４ 論文 を ‐１０３２．２２

【００２１】以上説明した様に、大語彙の音声を連続的
に認識する際に、語彙のうち指定された語の認識精度を
向上することを目的として、言語モデルの確率値を修正
する連続音声認識方法を発明した。言語モデルを毎目新
聞データ集９１〜９７年版を用いて作成した２単語連鎖
確率とし、評価する入力音声を毎日新聞記事読み上げ音
声コーパスの話者１００名各１文とし、指定語を「単語
辞書に含まれる名詞のうち出現頻度上位１００単語」と
した場合、この方法を用いない時の指定語の認識率８
１．１６％に対してこの方法を用いて重みを１００とし
た時に認識率９１．３０％を得た。その際に全体の正解
率は前者が７３．９２％であったのに対して後者は６
８．７９％であった。つまり、この方法を用いることに
より、正解率を５％程度下げても指定語の正解率を１０
％向上できることが分かった。その他に指定語を別の基
準で選択した場合も同様の傾向を確認した。なお、ここ
で用いた認識方法は、隠れマルコフモデルによるもので
ある。

【００２２】また、本発明の確率正規化手段によれば、
図２に示すように確率修正手段の後で言語モデル中の全
単語の確率の和が１になるように正規化することによっ
て、確率間の相対的な比較だけでなく絶対的な比較が可
能になるため、音声認識結果としての利用範囲を広げる
ことができる。

【００２３】なお、図２に示す例においては、音声認識
を音素尤度計算４１と単語尤度計算４２とに分けて行っ
ている。音素尤度計算４１においては、予め定められた
音素モデルを使用して、たとえば、隠れマルコフモデル
を用いて音素の尤度を計算することができる。その例と
しては、音素間の調音結合を考慮した混合ガウス分布型
トライフォンを用いる隠れマルコフモデルなどがある
(S. Young, et al., Proc. ARPA Human Language Tech
nology Workshop, pp. 307-312 (1994))。そして単語尤
度計算４２においては、単語のバイグラムやトライグラ
ムのような統計的言語モデルを用いることができる。も
ちろん、本発明は、音声認識をこのように二つに分けて
行う場合に限定されるものではなく、いっぺんに認識結
果を得る方式も採用することができる。

【００２４】さらに、特定のデータ群における指定語の
出現確率に応じて各単語に掛け合わせる重みを決定する
ことによって、より指定語の認識精度を向上することが
できる。具体的には、図３に示すフローチャートを用い
て説明する。

【００２５】図３に示したフローチャートは、指定語が
与えられた場合に言語モデルにおける修正前の出現確率
に対してしきい値判定を行い、その結果に応じて重みを
変えることを目的としている。ここでは２種類の重みを
与えているが、この種類数およびしきい値は変更され得
る。たとえば、重みを３種類以上にすることもできる
が、あまり種類が多すぎても認識率の向上につながるわ
けではない。フローチャートにおいて、まず与えられた
指定語の出現確率を、言語モデルから探索して求め、し
きい値ｐと大小比較を行う。指定語の出現確率がしきい
値ｐより大きければ重みｃ₁を与え、そうでない場合に
はｃ₂を与える。ｃ₁＜ｃ₂である場合、出現確率が高い
指定語には重みを小さく、出現確率が低い指定語には重
みを大きくすることになり、その結果、修正した言語モ
デルにおいて極端に大きな連鎖確率を持つエントリが生
じることを押さえられるため、指定語の挿入誤りを押さ
えることができる。なお、挿入誤りとは、本来発声され
ていないにもかかわらず余計な単語を認識してしまう誤
りのことを言う。一般に言語モデルにおいて確率が高い
エントリは、挿入誤りを起こしやすい傾向がある。

【００２６】なお、エントロピーを利用して、重み付け
を決定する場合には、指定語のある群に関してエントロ
ピーを計算し、その値が大きい群ほどそれについての重
みを小さくするのが好ましい。エントロピーＨは、−Σ
^Ｎ _ｉＰ_ｉｌｏｇＰ_ｉにより計算される。ここで、Ｐ_ｉは
ある単語の出現確率であり、Ｎはある群に属する単語の
数である。

【００２７】

【発明の効果】以上、詳述したように、本発明の連続音
声認識装置によれば、大語彙の音声を連続的に認識する
際に語彙のうち指定された語の認識精度を向上すること
ができる。本発明の装置または方法は、出現する語彙が
比較的に限定されているか、ある程度予測が可能な対話
音声の認識率の向上に役立つ。

【００２８】また、本発明の確率正規化手段を利用する
と、図３に示すように、確率修正手段の後に実行するこ
とによって、言語モデルに対してより正確に連鎖確率を
修正することができ、音声認識結果としての利用範囲が
広がる。

【００２９】そして、特定のデータ群における指定語の
出現頻度に応じて各単語に掛け合わせる重みを決定する
ことによって、修正した言語モデルにおいて極端に大き
な連鎖確率を持つエントリが生じることを押さえられる
ため、指定語の挿入誤りを押さえ、より指定語の認識精
度をさらに向上させることができる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態である、特徴抽出手段
３と、音声認識手段４と、言語モデル修正手段６と、言
語モデル５１を備えた連続音声認識システムの構成を示
すブロック図である。

【図２】確率の正規化を含む本発明にかかる別の実施形
態を示すブロック図である。

【図３】本発明による重み決定方法の一例を示すフロー
チャートである。

【符号の説明】

１ マイクロフォン ２ 増幅器 ３ 特徴抽出手段 ４ 音声認識手段 ５１ 言語モデル ６ 言語モデル修正手段 ６１ 確率修正手段 ７ 重み決定

Claims (5)

【特許請求の範囲】
1. 【請求項１】 認識対象の音声の連続的な入力を受け付
   ける音声入力手段と、該音声を分析して特徴を抽出する
   特徴抽出手段と、認識対象語彙の各語が出現する確率を
   記述した言語モデルと、該特徴と該言語モデルを用いて
   音声認識を行い音声認識結果を出力する音声認識手段と
   を有する連続音声認識装置において、該言語モデルに記
   述される全単語のうち指定された語に関する確率に対す
   る重みを決定する重み決定手段と、該確率に該重みを掛
   け合わせることにより該言語モデルにおける各語の確率
   を修正する確率修正手段とを備え、該確率修正手段から
   得られる修正された確率により修正された言語モデルに
   基づいて音声認識を行うことを特徴とする連続音声認識
   装置。
2. 【請求項２】 前記確率修正手段により修正された確率
   を正規化して、前記言語モデル中の全単語の確率の和が
   １になるようにする確率正規化手段を備えたことを特徴
   とする請求項１記載の連続音声認識装置。
3. 【請求項３】 前記重み決定手段において、特定のデー
   タ群における指定語の出現頻度に応じて各単語に掛け合
   わせる重みを決定することを特徴とする請求項１記載の
   連続音声認識装置。
4. 【請求項４】 前記重み決定手段が指定語のエントロピ
   ーを基準にして指定語に関する全ての確率に掛け合わせ
   る重みを決定することを特徴とする請求項１記載の連続
   音声認識装置。
5. 【請求項５】 認識対象の音声の連続的な入力を受け付
   ける入力ステップと、該音声を分析して特徴を抽出する
   特徴抽出ステップと、あらかじめ作成された認識対象語
   彙の各語が出現する確率を記述した言語モデルに記述さ
   れる全単語のうち指定された語に関する確率に対する重
   みを決定する重み決定ステップと、該確率に該重みを掛
   け合わせることにより該言語モデルにおける各語の確率
   を修正する確率修正ステップと、修正された確率を含む
   言語モデルと該特徴とを用いて音声認識を行い音声認識
   結果を出力する音声認識ステップとを備えたことを特徴
   とする連続音声認識方法。