JPWO2016152132A1 - 音声処理装置、音声処理システム、音声処理方法、およびプログラム - Google Patents

Abstract

音声鑑定で必要となる頻繁に出現するフレーズを音声データから正確に選定できる音声処理装置を提供する。音声処理装置は、音声データから、隣接するセグメントが少なくとも一部重複するように複数のセグメントを生成する生成部と、複数のセグメントを音韻の類似性に基づき分類してクラスタを生成するクラスタリング部と、クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択する選択部と、前記選択されたクラスタに含まれるセグメントを抽出する抽出部とを備える。

Description

本発明は音声データから頻出パターンを抽出する音声処理装置、音声処理システム、音声処理方法、および記録媒体に関する。

近年、警察の犯罪捜査では法科学に基づく科学的手法が広く用いられている。その代表例である指紋鑑定では、犯罪の現場で採取された指紋画像を大量の既知の指紋画像と順次比較して、犯罪に関与した人物が誰なのかを推定する。指紋鑑定に類する手法で、音声を扱うものを声紋鑑定あるいは音声鑑定と呼ぶ。

特許文献１には、音声データから音声認識辞書に登録するキーワードの候補となる未知語の音声データを抽出する技術が記載されている。特許文献１に記載の技術は、音声データの音声のパワー値が閾値ｔｈ１より大きい状態が一定時間以上連続する区間を発話区間として検出し、各発話区間から、パワー値が閾値ｔｈ２より大きい状態が一定時間以上連続する区間ごとに分割する。そして、特許文献１に記載の技術は、この分割した音声データから音素列を取得し、クラスタリングを行い、評価値を算出して未知語を検出し、辞書に登録する。

特許文献２には、誤認識となる要因を判定して利用者に通知する技術が記載されている。特許文献２に記載の技術は、特徴抽出部によって抽出されたメルケプストラム係数（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ；以降「ＭＦＣＣ」と記載）ベクトル列を標準モデルの集合を用いて音素毎のセグメントに分割する。そして、特許文献２に記載の技術は、誤認識となった要因を調べ、分析結果に従い、利用者へ提示するメッセージの文字列を作成し、メッセージをディスプレイに表示することで利用者に通知する。

国際公開第２００９／１３６４４０号 特開２００４−３２５６３５号公報

Ｍ． Ｋｏｔｔｉ， Ｖ． Ｍｏｓｃｈｏｕ， ａｎｄ Ｃ． Ｋｏｔｒｏｐｏｕｌｏｓ， "Ｓｐｅａｋｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ，" Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．８８， Ｎｏ．５， ｐｐ．１０９１−１１２４， Ｍａｙ ２００８． Ｔ．Ａｎａｓｔａｓａｋｏｓ， Ｊ． ＭｃＤｏｎｏｕｇｈ， Ｊ．Ｍａｋｈｏｕｌ， "Ｓｐｅａｋｅｒ ａｄａｐｔｉｖｅ ｔｒａｉｎｉｎｇ： ａ ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ａｐｐｒｏａｃｈ ｔｏ ｓｐｅａｋｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ，" Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ），ｖｏｌ．２， ｐｐ．１０４３−１０４６， Ａｐｒ． １９９７． Ｍ． Ｊ． Ｆ． Ｇａｌｅｓ， "Ｃｌｕｓｔｅｒ ａｄａｐｔｉｖｅ ｔｒａｉｎｉｎｇ ｏｆ ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌｓ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．８， Ｎｏ．４， ｐｐ．４１７−４２８， Ｊｕｌ． ２０００．

しかしながら、特許文献１に記載の技術では、キーワードの候補となる未知語を選定できるが、センテンスを含むフレーズ（例えば、「身代金を用意しろ。」といった文章）は選定できない。特許文献２に記載の技術では、誤認識となるセグメントごとのベクトル列を分析できるが、所望のフレーズを選定できない。すなわち、特許文献１および２に記載の技術では、所望のフレーズを選定できないという問題がある。

本発明の目的は、上記の問題を解決し、所望のフレーズを選定できる音声処理装置、音声処理システム、音声処理方法、および記録媒体を提供することにある。

本発明の一態様に係る音声処理装置は、音声データから、隣接するセグメントが少なくとも一部重複するように複数のセグメントを生成する第１の生成手段と、前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成する第２の生成手段と、前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択する選択手段と、前記選択されたクラスタに含まれるセグメントを抽出する抽出手段とを備える。

本発明の一態様に係る音声処理方法は、音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成し、前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成し、前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択し、前記選択されたクラスタに含まれるセグメントを抽出する。

本発明の一態様に係る記録媒体は、音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成する処理と、前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成する処理と、前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択する処理と、前記選択されたクラスタに含まれるセグメントを抽出する処理とをコンピュータに実行させるプログラムを記憶する、コンピュータ読み取り可能な記録媒体。

本発明は、音声処理装置、音声処理システム、音声処理方法、およびプログラムにおいて、所望のフレーズを選定できるという効果がある。

本発明の第１の実施形態に係る音声処理装置の構成例を示すブロック図である。 本発明の各実施形態および具体例におけるコンピュータの構成例を示す概略ブロック図である。 本発明の第１の実施形態に係る音声処理装置の動作例を示すフローチャートである。 本発明の第１の実施形態に係る音声処理装置がＨＭＭを用いてフレーズを抽出する方法の一例を示す図である。 本発明の第２の実施形態に係る音声処理装置の構成例を示すプロック図である。 本発明の第２の実施形態に係る音声処理装置の動作例を示すフローチャートである。 本発明の第３の実施形態に係る音声処理装置の構成例を示すプロック図である。 本発明の第３の実施形態に係る音声処理装置の動作例を示すフローチャートである。 本発明の第４の実施形態に係る音声処理システムの構成例を示すブロック図である。 本発明の具体例における外部記憶装置が記憶する音声データの一例を示す図である。 本発明の具体例における生成部が音声データを分割する方法の一例を示す図である。 本発明の具体例におけるクラスタリング部が、複数のセグメントをまとめたクラスタを生成する方法の一例を示す図である。

まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。

本発明に関連する音声鑑定方法では、例えば誘拐犯からの身代金要求やテロリストの犯行予告の電話を録音し、録音した音声を既知の音声と比較して、電話の声の主の特定を試みる。

生涯不変な指紋と違い、音声は話される内容によって都度変化する。したがって音声鑑定方法では、同じ内容が話された音声の一部分（区間）を切り出し、比較する。音声鑑定方法では、例えば、誘拐犯の身代金要求では、「金を用意しろ」というフレーズがしばしば出現することが期待されるため、このようなフレーズを発見して切り出し、同じく「金を用意しろ」と話された音声と比較する。

どのようなフレーズを用いるかは、ケースバイケースである。誘拐犯の場合は上述の「金を用意しろ」などが頻繁に出現するので適当と考えられる。振り込め詐欺犯の場合も金にまつわるフレーズが適当であろうが、誘拐犯の場合とはおそらく異なる。またテロリストの場合にはよりよい別のフレーズがあるであろうし、軍やその他政府機関の諜報活動でも異なるフレーズを用いた方がよいであろう。このような頻繁に出現するフレーズの選定は、これまで熟練した鑑定者の経験と勘に頼ってきた。しかしながら、そのような場合、熟練した鑑定者が時間をかけて注意深く音声を観察する必要があり、音声鑑定に必要な所望のフレーズを得ようとすると、大きな人的コストがかかる等の問題がある。

以下で説明される本発明の実施形態によれば、上述の問題等が解決され、所望のフレーズを選定することができる。

以下、本発明の実施形態および具体例について図面を参照して説明する。尚、各実施形態および具体例について、同様な構成要素には同じ符号を付し、適宜説明を省略する。

［第１の実施の形態］
以下、本発明を実施するための第１の形態（以降、「第１の実施形態」と記載）について図面を参照して詳細に説明する。

［構成の説明］
図１は、本発明の第１の実施形態における音声処理装置１０の構成例を示すブロック図である。図１を参照すると、本発明の第１の実施形態における音声処理装置１０は、生成部１１、クラスタリング部１２、選択部１３、および抽出部１４を備える。ここで、生成部１１は、第１の生成部とも記載する。クラスタリング部１２は、第２の生成部とも記載する。

生成部１１は、外部記憶装置が記憶する音声データから、隣接するセグメントの少なくとも一部が重複する、複数のセグメントを生成する。生成部１１は、例えば、外部記憶装置が記憶する音声データを、短い時間単位に細分化して、該細分化した音声データを用いて複数のセグメントを生成する。また、生成部１１が生成する複数のセグメントの時間長は一定の時間長であってもよい。また、生成部１１は、一つの音声データに対して異なる時間長で複数回の分割を行い、この分割した音声データを用いて、種々の時間長のセグメントを生成してもよい。

クラスタリング部１２は、所定の類似度指標に基づき複数のセグメントを分類してクラスタを生成する。

選択部１３は、生成されたクラスタの中から、各クラスタのサイズに基づき少なくとも１つのクラスタを選択する。抽出部１４は、選択されたクラスタに含まれるセグメントを抽出する。ここで、クラスタのサイズとは、例えば、セグメントの総時間長、セグメントの内容（フレーズとも呼ぶ）の出現回数とセグメントの長さとの掛け算で得られる結果等である。

図２は、本発明の各実施形態および具体例におけるコンピュータ１０００の構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１と、主記憶装置１００２と、補助記憶装置１００３と、インターフェース１００４と、入力デバイス１００５と、ディスプレイ装置１００６とを備える。

各実施形態および具体例の音声処理装置１０等は、コンピュータ１０００に実装される。音声処理装置１０等の動作は、プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。例えばＣＰＵ１００１は、上記プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開することで、生成部１１、クラスタリング部１２、選択部１３、および抽出部１４の各部の機能を実現する。

補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インターフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行しても良い。

インターフェース１００４は、ＣＰＵ１００１に接続され、ネットワークあるいは外部記憶媒体に接続される。外部データがインターフェース１００４を介してＣＰＵ１００１に取り込まれても良い。入力デバイス１００５は、例えばキーボード、マウス、タッチパネル、又はマイクである。ディスプレイ装置１００６は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイのような、ＣＰＵ１００１やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（図示せず）等により処理された描画データに対応する画面を表示する装置である。なお、図２に示すハードウェア構成は、一例にすぎず、図２が示す各部それぞれが独立した論理回路で構成されていても良い。

また、プログラムは、前述の処理の一部を実現するためのものであっても良い。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであっても良い。

［動作の説明］
図３を用いて、本実施形態の動作について説明する。図３は、本発明の第１の実施形態における音声処理装置１０の動作例を示すフローチャートである。

生成部１１は、外部記憶装置が記憶する音声データから複数のセグメントを生成する（ステップＳ１０１）。このとき、生成部１１は、隣接するセグメントが、少なくとも時間的に重なりを持つように、複数のセグメントを生成する。セグメントの時間長は、想定するフレーズの時間長に応じて、例えば１秒から数秒の範囲の一定値としてもよい。

また、生成部１１は、一つの音声データに対して異なる時間長で複数回の分割を行い、種々の時間長のセグメントを生成してもよい。また、生成部１１は、非特許文献１に記載された方法などを用いて所定の変化点や無音区間などにおいて音声データを分割し、分割した複数の音声データを用いて、可変長のセグメントを生成してもよい。

クラスタリング部１２は、所定の類似度指標に基づき、複数のセグメントを分類してクラスタを生成する（ステップＳ１０２）。すなわち、クラスタリング部１２は、複数のセグメントをクラスタリングする。クラスタリング部１２は、生成部１１が生成した複数のセグメントから、各セグメント間の類似度を計算し、類似度の高いセグメント同士をまとめたクラスタを生成する。クラスタリング部１２による類似度指標やクラスタ生成の具体的な方法については、例えば非特許文献１に記載の方法を用いることができる。

ここで、類似度指標とは、セグメントを構成する音韻の類似性を測る指標である。類似度指標は、例えば、音響特徴量系列の平均と分散から計算されるバタチャリャ距離、カルバック・ライブラのダイバージェンス、対数尤度比など、音響特徴量の統計量を用いる指標である。これらの指標は、セグメント内の音響特徴量系列の順序を考慮しない。

また、類似度指標を用いる方法は、例えば、順序、すなわち時刻順を考慮する指標を用いてもよい。類似度指標を用いる方法は、例えば、セグメント間で各音響特徴量の最適な対応関係を動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ；以降「ＤＰ」と記載）で求めて類似度を計算するＤＰマッチング法がある。ここで、音響特徴量とは、例えば、ＭＦＣＣである。ＭＦＣＣは音声認識などで広く用いられている。

選択部１３は、クラスタリング部１２におけるクラスタリングが収束した場合（ステップＳ１０３でＹｅｓ）、クラスタリング部１２が生成したクラスタの中から、各クラスタのサイズに基づき、所定の条件を満たすクラスタを選択する（ステップＳ１０４）。選択部１３は、この選択において、頻出するフレーズを発見するという観点からクラスタのサイズを比較し、サイズの大きい順に、少なくとも１つのクラスタを選ぶ。所定の条件とは、より多くのセグメントを含む、セグメントの総時間長がより長い、等が挙げられる。つまり、選択部１３は、例えば、より多くのセグメントを含むクラスタ、あるいはセグメントの総時間長がより長いクラスタを所定の条件を満たすクラスタとして選ぶ。

ここで、クラスタリングが収束する場合とは、例えば、ステップＳ１０１及びステップＳ１０２が所定回数実行された状況、クラスタリングに関する所定の評価値の増減が一定の値以下になった状況等である。なお、クラスタリングが収束する場合とは、クラスタリングに関する所定の評価値の増減が一定の値以下になった状況に付随して、クラスタ間でセグメントの移動がなくなった状況であってもよい。

抽出部１４は、選択部１３で選択されたクラスタに含まれる１または複数のセグメントから、セグメントを抽出する（ステップＳ１０５）。これにより、抽出部１４は、音声データから、所望のフレーズに該当する部分のセグメントを抽出することができる。

ここで、クラスタリング部１２におけるクラスタリングが収束していない場合（ステップＳ１０３でＮｏ）、ステップＳ１０１の処理に戻る。これは、ステップＳ１０１およびステップＳ１０２が相互に依存するため、所定回数、あるいは収束するまで反復してもよいことを示す。

なお、生成部１１とクラスタリング部１２とは、図４が示す構造を有する隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ；以降、「ＨＭＭ」と記載する）を用いて一括実行することも可能である。図４は、音声処理装置１０がＨＭＭを用いてフレーズを抽出する方法の一例を示す図である。すなわち、音声処理装置１０は、外部記憶装置が記憶する音声データを用いて、図４が示すようなＨＭＭを最尤推定法などに基づき学習する。これにより、第１のフレーズ（図４のフレーズ１）、第２のフレーズ（図４のフレーズ２）、…、第Ｎのフレーズ（図４のフレーズＮ）を表現する一方向型ＨＭＭ（Ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ ＨＭＭ）が自動的に形成され、同時に各々に属するセグメントも獲得される。

抽出された音声データの該当部分を聴取することにより、頻出するフレーズを確認し、また音声鑑定に利用することができる。

［効果の説明］
以上のように、本実施形態に係る音声処理装置１０よれば、生成部１１が音声データから、隣接するセグメントが少なくとも一部重複するように、複数のセグメントを生成し、クラスタリング部１２が音韻の類似性に基づき、複数のセグメントを分類してクラスタを生成する。そして、本実施形態に係る音声処理装置１０によれば、選択部１３がクラスタの中から、各クラスタのサイズに基づき少なくとも１つのクラスタを選択する。更に、本実施形態における音声処理装置１０によれば、抽出部１４が選択されたクラスタに含まれるセグメントを抽出するため、音声データの中から所望のフレーズに該当する部分のセグメントを抽出することが可能となる。その理由は、生成部１１が音声データから隣接するセグメントが少なくとも一部が重複するように複数のセグメントを生成しているため、単語よりも短い語から単語よりも長いフレーズを１つのセグメントとして生成できるからである。

また、本実施形態における音声処理装置１０を用いることで、熟練した鑑定者でなくとも音声鑑定に必要な頻出するフレーズを低コストで発見および選定できる。その理由は、音声処理装置１０が、与えられた音声データから、隣接するセグメントが少なくとも一部重複するようにセグメントを生成し、このセグメントをクラスタリングし、類似した多数のセグメントを含むクラスタを選択するからである。そして、音声処理装置１０はこのように選択されたクラスタに含まれるセグメントを抽出するからである。抽出されたセグメントは、生成部１１が生成したセグメントであり、音声データのうちの所望のフレーズを含む部分的な音声データである。これにより、音声処理装置１０は、音声データ中で頻出するフレーズを自動的に発見できるからである。

さらに、本実施形態における音声処理装置１０を用いることで、定量的に頻度の高いフレーズを発見できるため、音声鑑定に有用な頻出フレーズを高い信頼性で発見できる。

［第２の実施の形態］
以下、本発明の第２の実施形態について図面を参照して詳細に説明する。

［構成の説明］
図５は、本発明の第２の実施形態に係る音声処理装置２０の構成例を示すブロック図である。図５を参照すると、本発明の第２の実施形態に係る音声処理装置２０は、正規化学習部１５、音声データ正規化部１６、音声データ処理部１７、第１〜第Ｎの音声データ記憶部（１０１−１〜１０１−Ｎ（Ｎは正の整数））、不特定音響モデル記憶部１０２、及び第１〜第Ｎのパラメタ記憶部（１０３−１〜１０３−Ｎ（Ｎは正の整数））を備える。
ここで、正規化学習部１５は、第３の生成部とも記載する。なお、本実施の形態では、第１〜第Ｎの音声データ記憶部（１０１−１〜１０１−Ｎ）の夫々を区別しない場合、または、総称する場合には、音声データ記憶部１０１と呼ぶ。また、第１〜第Ｎのパラメタ記憶部（１０３−１〜１０３−Ｎ）の夫々を区別しない場合、または、総称する場合には、パラメタ記憶部１０３と呼ぶ。

音声データ記憶手段１０１は、性質の異なる音声データを各々記憶する。すなわち、第１の音声データ記憶部１０１−１、第２の音声データ記憶部１０１−２、・・・、及び第Ｎの音声データ記憶部１０１−Ｎは各々性質の異なる音声データを記憶する。また、第１の音声データ記憶部１０１−１、第２の音声データ記憶部１０１−２、・・・、及び第Ｎの音声データ記憶部１０１−Ｎが記憶する各々性質の異なる音声データは、それぞれ音響的な性質に基づいて分類された音声データである。

不特定音響モデル記憶部１０２は、正規化学習部１５が学習した不特定音響モデルを記憶する。不特定音響モデルとは、音声データ記憶部１０１が記憶する性質の異なる音声データの差異を正規化することで得られるモデルである。

パラメタ記憶部１０３は、音声データの差異を正規化するためのパラメタを各々記憶する。すなわち、第１のパラメタ記憶部１０３−１、第２のパラメタ記憶部１０３−２、・・・、及び第Ｎのパラメタ記憶部１０３−Ｎは、音声データの差異を正規化するためのパラメタを各々記憶する。

正規化学習部１５は、音声データ記憶部１０１が記憶する性質の異なる音声データを用いて、正規化学習を行う。

ここで正規化学習とは、例えば非特許文献２に記載された音響モデルの学習法である。
音響モデルは、音響特徴量の平均ベクトルμ_iによって各音韻ｉを規定するが、正規化学習では平均ベクトルが音声データの性質によって変わり得るとする。即ち、本実施の形態では、平均ベクトル（不特定音響モデル）μ_iを、以下の式（１）のようなアフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）で表現する。

ここで、ｓ＝１、２、・・・、Ｎである。また、Ａ_ｓおよびｂ_ｓは、夫々、音声データの性質の違いを正規化するためのパラメタである。

式（１）により、音声データの性質の違いに影響されない不特定音響モデルμ_iと、音声データの性質の違いを正規化するためのパラメタＡ_Sおよびｂ_Sが得られる。そして、正規化学習部１５は、不特定音響モデルμ_iを不特定音響モデル記憶部１０２に格納する。また、正規化学習部１５は、パラメタＡ_Sおよびｂ_Sを、パラメタ記憶部１０３に記憶する。具体的には、正規化学習部１５は、パラメタＡ_１およびｂ_１を、第１のパラメタ記憶部１０３−１に格納し、パラメタＡ_Ｎおよびｂ_Ｎを第Ｎのパラメタ記憶部１０３−Ｎに格納する。非特許文献２には、話者によって音声データの性質が異なるとし、話者の違いを正規化する方法が記載されているが、音声データの性質の違いは話者に限らず、背景雑音、マイクや通信回線など、種々の想定が可能である。

すなわち、正規化学習部１５は、音声データ記憶部１０１が記憶する性質の異なる音声データの差異を正規化するための正規化パラメタを生成し、パラメタ記憶部１０３に記憶する。また、正規化学習部１５は、音声データ記憶部１０１が記憶する性質の異なる音声データの差異を正規化して不特定音響モデルを学習し、学習した不特定音響モデルを不特定音響モデル１０２に記憶する。ここで、正規化学習部１５は、音声データ記憶部１０１が記憶する性質の異なる音声データの差異を正規化するための正規化パラメタを推定することで、該正規化パラメタを生成する。また、正規化学習部１５は、例えば、反復計算を行う場合では、反復のたびに不特定音響モデルを不特定音響モデル１０２に記憶する。

音声データ正規化部１６は、パラメタ記憶部１０３に記憶されたパラメタを参照し、各々音声データ記憶部１０１に記憶された音声データを正規化し、音声データ処理部１７に送る。具体的には、第ｓの音声データの音響特徴量の時系列ｘ_１、ｘ_２、・・・、ｘ_ｔ、・・・（ｔは正の整数）に対して、第ｓのパラメタを用い、式（１）の逆変換に相当する変換である、式（２）を施す。

正規化を規定するパラメタは、音韻のクラス（摩擦音、破裂音など）に応じて異なるものを用いてもよいし、文脈依存性を考慮して前後の音韻に応じて異なるものを用いてもよい。また、音声データ正規化部１６は、音響特徴量の平均ベクトルだけでなく分散も正規化するようにしてもよい。またこれらに限らず、正規化学習に関して知られている各種の工夫を適用してよい。

音声データ処理部１７は、第１の実施形態における音声処理装置１０と同様の構成および効果を有する。すなわち、音声データ処理部１７は、図１が示す生成部１１、クラスタリング部１２、選択部１３、および抽出部１４の処理を第１の実施形態と同様に実行し、正規化された音声データ中に頻出するフレーズを含むセグメントを出力する。

［動作の説明］
図６を用いて、本実施形態の動作について説明する。図６は、本発明の第２の実施形態における音声処理装置２０の動作例を示すフローチャートである。ここで、図６が示すように、本実施形態における音声データ処理部１７の動作、すなわちステップＳ２０４からステップＳ２０８は、第１の実施形態における音声処理装置１０の動作、すなわちステップＳ１０１乃至ステップＳ１０５と同様であるため、説明を省略する。

正規化学習部１５は、音声データ記憶部１０１から各々音声データを読み出し、正規化学習を行って、各々の音声データの正規化パラメタをパラメタ記憶部１０３に記憶する（ステップＳ２０１）。

正規化学習部１５は、正規化を行って音声データの性質の差異を解消した上で生成した不特定音響モデルを不特定音響モデル記憶部１０２に記憶する（ステップＳ２０２）。

音声データ正規化部１６は、パラメタ記憶部１０３に記憶された正規化パラメタを参照し、それぞれ音声データ記憶部１０１に記憶された音声データを正規化する（ステップＳ２０３）。

音声データ処理部１７は、図３が示す第１の実施形態における音声処理装置１０のステップＳ１０１乃至ステップＳ１０５と同様の処理を実行し、音声データ中に頻出するフレーズを含むセグメントを出力する（ステップＳ２０４乃至ステップＳ２０８）。

［効果の説明］
以上のように、本実施形態における音声処理装置２０よれば、正規化学習部１５が音声データ記憶部１０１から各々音声データを読み出し、正規化学習を行って、各々の音声データの正規化パラメタをパラメタ記憶部１０３に記憶する。正規化学習部１５が正規化を行って各々の音声データの音響的な性質の差異を解消した上で生成した不特定音響モデルを不特定音響モデル記憶部１０２に記憶する。また、音声データ正規化部１６がパラメタ記憶部１０３に記憶された正規化パラメタを参照し、それぞれ音声データ記憶部１０１に記憶された音声データを正規化する。音声データ処理部１７が正規化された音声データ中に頻出するフレーズを含むセグメントを出力する。そのため、本実施形態における音声処理装置２０は、正規化されていない音声データを正規化し、所望のフレーズを選定することが可能である。

また、本実施形態における音声処理装置２０によれば、正規化学習部１５が第１の音声データ、第２の音声データ、…、第Ｎの音声データの音響的な性質の違い（例えば話者の違い）を正規化する学習を行う。音声データ正規化部１６が音響的な性質の違いを解消した後に、音声データ処理部１７が音声データ中に頻出するフレーズを含むセグメントを抽出する。そのため、音声処理装置２０は、音声データ中に頻出するフレーズをより正確に抽出できる。理由としては、本実施形態における音声処理装置２０は、音声データ処理部１７の中のクラスタリング部１２が音声データの性質の違いに影響されて不適切なクラスタ（例えば話者のクラスタ）を生成するような事態を低減することができるからである。

［第３の実施の形態］
以下、本発明の第３の実施形態について図面を参照して詳細に説明する。

［構成の説明］
図７は、本発明の第３の実施形態における音声処理装置３０の構成例を示すブロック図である。図７を参照すると、本発明の第３の実施形態における音声処理装置３０は、第２の実施形態における音声処理装置２０の構成に加え、未分類音声データ記憶部１０４と、音声データ分類部１８と、を備える。ここで、第２の実施形態における音声処理装置２０の構成は既に説明しているため、説明を省略する。また、音声データ分類部１８は、第４の生成部とも記載する。

未分類音声データ記憶部１０４は、音声データを記憶する。

音声データ分類部１８は、音声データ記憶部１０４が記憶する音声データを音響的な性質に基づいて分類し、音声データ記憶部１０１に記憶する。音声データ分類部１８は、例えば、未分類音声データ記憶部１０４に記憶された音声データを音響的な性質の違い、例えば話者の違いに基づいてＮ個のクラスタに分類し、音声データ記憶部１０１に各々記憶する。すなわち、音声データ分類部１８は、未分類音声データ記憶部１０４に記憶された音声データを音響的な性質に基づいて分類することで、Ｎ個のクラスタを生成する。そして、音声データ分類部１８は、第１の音声データ記憶部に第１のクラスタを、第２の音声データ記憶部に第２のクラスタを、・・・、第Ｎの音声データ記憶部に第Ｎのクラスタを記憶する。

ここで、未分類音声データ記憶部１０４に記憶された音声データは、種々の音響的な性質を有する音声データが混在したものであってよい。またＮはあらかじめ定められた定数としてもよいし、処理対象に応じて音声データ分類部１８が自動的に決定するようにしてもよい。これらは公知のクラスタリングの方法を適用することにより実施可能である。

音声データ記憶部１０１は、音声データ分類部１８によって分類された音声データを各々記憶する。

［動作の説明］
図８を用いて、本実施形態の動作について説明する。図８は、本発明の第３の実施形態における音声処理装置３０の動作例を示すフローチャートである。ここで、図８が示すように、本実施形態における音声データ処理部１７の動作、すなわちステップＳ３０６からステップＳ３１０は、第１の実施形態における音声処理装置１０の動作、すなわちステップＳ１０１乃至ステップＳ１０５と同様であるため、説明を省略する。

音声データ分類部１８は、音声データ記憶部１０４が記憶する音声データを音響的な性質に基づいて分類し、音声データ記憶部１０１に記憶する（ステップＳ３０１）。

正規化学習部１５は、音声データ記憶部１０１から各々音声データを読み出し、正規化学習を行って、各々の音声データの正規化パラメタをパラメタ記憶部１０３に記憶する（ステップＳ３０２）。

正規化学習部１５は、正規化を行って音声データの性質の差異を解消した上で生成した不特定音響モデルを不特定音響モデル記憶部１０２に記憶する（ステップＳ３０３）。

音声データ分類部１８および正規化学習部１５の結果が収束した場合（ステップＳ３０４でＹｅｓ）、音声データ正規化部１６は、パラメタ記憶部１０３に記憶された正規化パラメタを参照し、それぞれ音声データ記憶部１０１に記憶された音声データを正規化する（ステップＳ３０５）。

ここで、音声データ分類部１８および正規化学習部１５の結果が収束していない場合（ステップＳ３０４でＮｏ）、ステップＳ３０１のフローへ戻る。これにより、音声データ分類部１８と正規化学習部１５は、結果が収束するまで交互に反復実行できる。

なお、音声データ分類部１８と正規化学習部１５が各々出力する結果は、相互に依存することもある。そのため、音声データ分類部１８と正規化学習部１５との実行回数が所定の閾値になるまでもしくは収束するまで、交互に実行する反復的な動作としてもよい。このような動作は、非特許文献３に記載される方法にならい、尤度最大化などの最適化基準に基づき効率的に実施することが可能である。

音声データ処理部１７は、図６が示す第１の実施形態における音声処理装置１０のステップＳ１０１乃至ステップＳ１０５と同様の処理を実行し、音声データ中に頻出するフレーズを含むセグメントを出力する（ステップＳ３０６乃至ステップＳ３１０）。

［効果の説明］
以上のように、本実施形態における音声処理装置３０によれば、音声データ分類部１８が、音声データ記憶部１０４が記憶する音声データを音響的な性質に基づいて分類し、音声データ記憶部１０１に記憶する。そして、正規化学習部１５が、音声データ記憶部１０１から各々音声データを読み出し、正規化学習を行って、各々の音声データの正規化パラメタをパラメタ記憶部１０３に記憶する。正規化学習部１５が正規化を行って各々の音声データの音響的な性質の差異を解消した上で生成した不特定音響モデルを不特定音響モデル記憶部１０２に記憶する。音声データ正規化部１６がパラメタ記憶部１０３に記憶された正規化パラメタを参照し、それぞれ音声データ記憶部１０１に記憶された音声データを正規化する。音声データ処理部１７が正規化された音声データ中に頻出するフレーズを含むセグメントを出力する。そのため、本実施形態における音声処理装置３０は、分類および正規化されていない音声データを分類および正規化し、所望のフレーズを選定することが可能である。

また、本実施形態における音声処理装置３０によれば、音声データ分類部１８が音声データを音響的な性質の違いに基づいてＮ個のクラスタに分類し、その結果を用いて正規化学習部１５が正規化学習を行うように構成されている。そのため、本実施形態における音声処理装置３０は、第２の実施形態における音声処理装置２０と比べて、音声データの準備コストを低減できる。その理由としては、本実施形態における音声処理装置３０は、音声データをあらかじめ音響的な性質の違いに応じて（例えば話者ごとに）分けておく必要がなく、雑多な音声データの集合を一括で与えて処理することができるからである。

［第４の実施の形態］
［構成の説明］
以下、本発明の第４の実施形態について図面を参照して詳細に説明する。

図９は、本発明の第４の実施形態における音声処理システム４０の構成例を示すブロック図である。図９を参照すると、第４の実施形態における音声処理システム４０は、音声処理装置４１と、音声入力装置４２と、指示入力装置４３と、出力装置４４とを備える。

音声処理装置４１は、入力された音声に対して本発明の第１の実施形態における音声処理装置１０の処理、第２の実施の形態における音声処理装置２０の処理、または、第３の実施形態における音声処理装置３０の処理（以降、「本発明の第１乃至第３の実施形態に記載のフレーズ抽出処理」と記載）を実行する。

音声入力装置４２は、音声を入力する。音声入力装置４２は、任意の音声データを音声処理装置４１に入力するインターフェースとして働く任意のデバイス、すなわち音声信号をデータとして収受するマイクや音声データを記録するメモリなどである。音声入力装置４２は、例えば、図２が示す入力デバイス１００５である。

出力装置４４は、音声処理装置４１が処理を実行した結果を出力する。出力装置４４は、音声処理装置４２の処理結果を、操作者が指示入力装置４３から入力した指示に応じて視覚的あるいは聴覚的手段で出力する、モニターやスピーカーなどの出力デバイスである。出力装置４４の出力方法は、出力装置４４がモニターの場合、例えば、クラスタの一覧をサイズ順に表示する、特定のクラスタの内容を波形図、スペクトログラムなどにより表示する、複数のセグメントを比較できるように並べて表示する、などである。また、出力装置４４がスピーカーの場合、出力装置４４の出力方法は、音声を再生する、などである。出力装置４４は、例えば、ディスプレイ装置１００６で実現される。

指示入力装置４３は、操作者からの指示情報を受けて表示装置に表示する情報を制御する。指示入力装置４３は、出力装置４４が出力する情報に対する処理や音声処理装置４１の処理の実行など、操作者の指示情報を受け取るユーザインタフェースであり、マウスやキーボード、タッチパネルなどの任意の入力デバイスが利用可能である。

［動作の説明］
以下、本発明の第４の実施形態における音声処理システム４０の動作例について説明する。

指示入力装置４３は、操作者からの指示情報を受け取り、音声処理装置４１に処理を実行するよう制御する。音声入力装置４２は、任意の音声データを音声処理装置４１に入力する。音声処理装置４１は、入力された音声データに基づき、本発明の第１乃至第３の実施形態に記載のフレーズ抽出処理を実行し、頻繁に出現するフレーズを含んだクラスタを選択し、さらに選択されたクラスタに含まれるセグメントを抽出する。出力装置４４は、音声処理装置４１の処理結果を、操作者が指示入力装置４３から入力した指示に応じて視覚的あるいは聴覚的手段で出力する。つまり、出力装置４４は、操作者が閲覧したいと希望した形態で、処理結果を出力する。

［効果の説明］
以上のように、本実施形態における音声処理システム４０によれば、指示入力装置４３が操作者から入力される指示情報に応じて、音声処理装置４１に処理を実行するよう制御する。音声入力装置４２が任意の音声データを音声処理装置４１に入力する。音声処理装置４２が入力された音声データに基づき、本発明の第１乃至第３の実施形態に記載のフレーズ抽出を実行し、頻繁に出現するフレーズ（セグメント）を含んだクラスタを選択し、さらに選択されたクラスタに含まれるセグメントを抽出する。出力装置４４が音声処理装置４１の処理結果を、操作者が指示入力装置４３から入力した指示に応じて視覚的あるいは聴覚的手段で出力する。そのため、本実施形態における音声処理システム４０は、音声データに含まれる頻繁に出現するフレーズを含むクラスタやセグメントを出力することが可能である。

また、本実施形態における音声処理システム４０は、操作者が音声からの人物の特定などの分析作業が容易に行える。その理由としては、本実施形態における音声処理システム４０は操作者が閲覧したい形態で、処理結果が出力装置４４に出力されるように構成されているためである。また、本実施形態における音声処理システム４０は、頻繁に出現するフレーズが視覚的、聴覚的に出力されることから、特定の人物がよく話す口癖や話題の傾向などを分析することができる。

（具体例）
以下、本発明の第１の実施形態の具体例を説明する。図１０乃至図１２を用いて、音声処理装置１０が音声データからフレーズを抽出する一例を説明する。

上記外部記憶装置が記憶する音声データからフレーズを抽出する一例の詳細について、図１０乃至図１２を用いて、説明する。図１０は、外部記憶装置が記憶する音声データの一例を示す図である。ここで、外部記憶装置は、例えば、第４の実施形態における音声入力装置４２によって実現される。

図１０が示すように、外部記憶装置は、音声データとその音声データの識別子である音声データＩＤを記憶する。音声データＩＤが「１」の場合、外部記憶装置は、「・・・子どもを預かった。身代金を用意しろ。待ち合わせ場所は・・・」という音声データを記憶する。ここで、外部記憶装置は、図１０が示す音声データの内容に限らない。

図１１は、生成部１１が音声データからセグメントを生成する方法の一例を示す図である。図１１が示すように、生成部１１は、図１０が示す音声データ、すなわち音声データＩＤ「１」である「・・・子どもを預かった。身代金を用意しろ。待ち合わせ場所は・・・」から、複数のセグメントを生成する。図１１が示すように、セグメント１は「預かった」、セグメント２は「預かった。身代」である。図１１が示すように、生成部１１は、音声データを任意（所定の時間等）で細分化し、これらを用いて複数のセグメントを生成する。ここで、生成部１１は、音声データから、セグメント同士が重複するようにセグメントを生成する。すなわち、図１１が示すように、セグメント１は「預かった」、セグメント２は「預かった。身代」というように、セグメント１及び２では、「預かった」が重複している。これにより、音声処理装置１０は、音声データ内から求められるフレーズを抽出できる。

図１２は、クラスタリング部１２が、複数のセグメントをまとめたクラスタを生成する方法の一例を示す図である。図１２が示すように、クラスタは、例えば、セグメントの内容（フレーズ）の識別子であるクラスタＩＤと、セグメントの内容と、全ての音声データ内で出現した、セグメントの内容（フレーズ）が出現した出現回数とを含む。なお、図１２に示す通り、本具体例では、クラスタＩＤと、図１１で示したセグメントの番号とは同じであるとして説明を行う。クラスタは、例えば、クラスタＩＤが「１」のフレーズ「預かった」が全ての音声データ内で２０回出現したことを示す。すなわち、クラスタリング部１２は、図１１が示すように生成部１１が生成した複数のセグメントから、各セグメント間の類似度を計算し、類似度の高い、すなわち同じセグメント同士をまとめたクラスタを生成する。

選択部１３は、クラスタに含まれるセグメントの個数および総時間長を用いてクラスタを比較し、所定の条件を満たすクラスタを選択する。選択部１３は、例えば、クラスタリング部１２が生成した複数のクラスタの中で、各クラスタに含まれるセグメントの数、つまり、フレーズの出現回数に基づき比較する。図１２が示すように、選択部１３は出現回数が３５回の「身代金を」と出現回数３０回の「身代金を用意しろ。」を選択する。次に、選択部１３は、各クラスタのサイズに基づき比較する。選択部１３は、例えば、出現回数とセグメントの長さ、すなわち時間長との掛け算の結果を各クラスタのサイズとし、各クラスタのサイズが一番大きいクラスタを選択する。

図１２が示すように、選択部１３は、例えば、クラスタＩＤが７のクラスタと、クラスタＩＤが８のクラスタとを比較する。選択部１３は、出現回数３５回と「身代金を」の時間長との掛け算の結果と、出現回数３０回と「身代金を用意しろ。」の時間長との掛け算の結果とを比較し、セグメントの内容が「身代金を用意しろ。」であるクラスタを選択する。すなわち、「身代金を用意しろ。」というフレーズが所望のフレーズである。また、選択部１３は、出現回数が同じクラスタ同士の比較の場合は、セグメントの時間長のみを比較して選定してもよい。なお、選択部１３は、上記の方法に限定されず、出現回数や時間長その他音素の数等様々な指標に基づいてサイズを定義し、比較して良い。

そして、抽出部１４は、選択されたクラスタからセグメントを抽出する。これにより、内容が「身代金を用意しろ」であるセグメントである音声データが、抽出される。このセグメントの音声データによって「身代金を用意しろ」というフレーズが頻繁に音声データ中に含まれていることがわかる。

以上のように、本具体例における音声処理装置１０では、例えば、「・・・子どもを預かった。身代金を用意しろ。待ち合わせ場所は・・・」という音声データから頻出フレーズである「身代金を用意しろ」を抽出することが可能である。

以上、実施形態および具体例を用いて本願発明を説明したが、本発明は必ずしも上記実施形態および具体例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる（その技術的思想の範囲内において）様々な変更をし、実施することができる。

この出願は、２０１５年３月２５日に出願された日本出願特願２０１５−０６１８５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 音声処理装置
１１ 生成部
１２ クラスタリング部
１３ 選択部
１４ 抽出部
１５ 正規化学習部
１６ 音声データ正規化部
１７ 音声データ処理部
１８ 音声データ分類部
２０ 音声処理装置
３０ 音声処理装置
４０ 音声処理システム
４１ 音声処理装置
４２ 音声入力装置
４３ 指示入力装置
４４ 出力装置
１０１ 音声データ記憶部
１０２ 不特定音響モデル記憶部
１０３ パラメタ記憶部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インターフェース
１００５ 入力デバイス
１００６ ディスプレイ装置

本発明は音声データから頻出パターンを抽出する音声処理装置、音声処理システム、音声処理方法、およびプログラムに関する。

本発明の目的は、上記の問題を解決し、所望のフレーズを選定できる音声処理装置、音声処理システム、音声処理方法、およびプログラムを提供することにある。

本発明の一態様に係るプログラムは、音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成する処理と、前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成する処理と、前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択する処理と、前記選択されたクラスタに含まれるセグメントを抽出する処理とをコンピュータに実行させる。

Claims (10)

1. 音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成する第１の生成手段と、
   前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成する第２の生成手段と、
   前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択する選択手段と、
   前記選択されたクラスタに含まれるセグメントを抽出する抽出手段と
   を備える音声処理装置。
2. 複数の音声データに基づき、当該複数の音声データの音響的な性質の違いを正規化するための複数の正規化パラメタを生成する第３の生成手段と、
   前記複数の正規化パラメタを用いて、前記音声データを正規化する正規化手段とをさらに備え、
   前記第１の生成手段は、前記正規化された音声データから前記複数のセグメントを生成する請求項１に記載の音声処理装置。
3. 前記選択手段は、クラスタに含まれるセグメントの個数または総時間長を用いて前記クラスタを比較し、選択する請求項１または２に記載の音声処理装置。
4. 前記第２の生成手段は、前記セグメントを構成する音響特徴量の比較によりセグメント間の類似度を計算する請求項１乃至３のいずれか１項に記載の音声処理装置。
5. 前記第２の生成手段は、前記セグメント間のＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングにより類似度を生成する請求項１または２に記載の音声処理装置。
6. 音声データを音響的な性質の違いに基づいて分類してクラスタを生成する第４の生成手段をさらに備え、
   前記第３の生成手段は、前記クラスタに対して正規化パラメタを生成する請求項２記載の音声処理装置。
7. 前記第４の生成手段および前記学習手段は、相互の結果に基づき、前記結果が収束するまで又は実行回数が所定の閾値に達するまで交互に反復実行する請求項６記載の音声処理装置。
8. 音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成し、
   前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成し、
   前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを選択し、
   前記選択されたクラスタに含まれるセグメントを抽出する音声処理方法。
9. 音声データから、隣接するセグメントが少なくとも一部重複する複数のセグメントを生成する処理と、
   前記複数のセグメントを音韻の類似性に基づき分類してクラスタを生成する処理と、
   前記クラスタのサイズに基づいて、所定の条件を満たすクラスタを１つ以上選択する処理と、
   前記選択されたクラスタに含まれるセグメントを抽出する処理と
   をコンピュータに実行させるプログラムを記憶する、コンピュータ読み取り可能な記録媒体。
10. 操作者の指示情報を受け取る指示入力装置と、
    音声データを音声処理装置に入力する音声入力装置と、
    前記指示情報に基づき、前記入力された音声データに対して処理を実行する請求項１から７の何れか１項に記載の音声処理装置と、
    前記音声処理装置の処理結果を出力する出力装置と、を備え、
    前記出力装置は、前記指示情報に応じた前記処理結果の出力する音声処理システム。

Images