JP2006133284A - 音声情報抽出装置 - Google Patents

Abstract

【課題】雑音や背景の音楽などが含まれるコンテンツであっても、それから人声部分を精度よく抽出することができる音声情報抽出装置を提供すること。
【解決手段】音声特徴抽出部２は、入力音声を分析して音声特徴パラメータを出力する。照合部３は、音声特徴抽出部２により抽出された音声特徴パラメータと人声検出用標準パタン５とを照合し、照合結果を人声抽出部１および人声抽出時点決定部４に出力する。人声抽出時点決定部４は、非人声区間が継続したとき人声抽出部１に人声区間抽出の検出指示を出力する。人声抽出部１は、人声抽出時点決定部４から検出指示に従って人声抽出処理を開始する。人声抽出処理では、照合部３からの照合結果が人声区間である場合にそれに対応する区間の音声が抽出される。
【選択図】図１

Description

本発明は、音声情報抽出装置に関し、特に、音楽や背景の音楽などが含まれるコンテンツであっても、それから人声部分を精度よく抽出することができる音声情報抽出装置に関する。

従来、入力音声から人声部分を抽出するには、音声パワーとその継続時間に基づき人声区間を決定する手法が広く採用されている。この手法では、コンテンツにおける音声のパワーを一定間隔ごとに解析し、パワーが予め定めた閾値を上回る状態が予め定められた時間継続した場合に人声区間の開始と判定する。また、パワーが予め定められた閾値を下回る状態が予め定めた時間継続した場合に人声区間の終了と判定する。これにより判定された人声区間の開始から終了までの間の音声を人声部分として抽出する。

図５は、従来の音声情報抽出装置を示すブロック図であり、図６はその動作を説明するための説明図である。音声を含む動画コンテンツを人声抽出部１およびパワー計算部７に入力する。パワー計算部７は、入力音声におけるパワーを一定間隔ごとに求める。図６のＡはパワーを示す。

パワー計算部７で求められたパワーを始端検出部８および終端検出部９に入力する。始端検出部８は、パワーを始端検出閾値TH1と比較し、パワーが閾値TH1を上回る状態が始端検出継続時間T1継続したときに始端検出信号を出力する。また、終端検出部９は、パワーを終端検出閾値TH2と比較し、パワーが閾値TH2を下回る状態が終端検出継続時間T2継続したときに終端検出信号を出力する。

人声抽出部１は、始端検出部８から始端検出信号が出力された時点から終端検出部９から終端検出信号が出力された時点までの区間に対応する音声の区間を人声部分として抽出する。

入力される音声に雑音などが含まれていない場合には、上記のパワーに基づく手法により人声部分を区別して抽出できる。しかしながら、動画コンテンツなどに含まれる音声には、人声以外に背景の音楽や雑音が多数混入している場合が多い。このような場合、人声区間と音楽、背景の雑音などの区間とのパワーの差が小さく、パワーのみにたよったのでは人声区間とそれ以外の区間との区別が困難になる。すなわち、人声区間の始端検出および終端検出に用いるパワー閾値TH1、TH2や継続時間T1、T2を適切に設定して人声区間を正しく抽出することが困難になり、音楽区間や背景の雑音区間を誤って人声区間として検出してしまう、あるいは人声区間であっても検出しない恐れが生じてしまうという課題がある。

また、上記の手法では、音声のパワーが小さい（閾値TH2を下回る）状態が予め定めた時間（終端検出継続時間T2）続いた時点で人声区間の終端と判定するため、複数の文章間で余り長いポーズをおかずに発声された音声の場合やポーズの間に雑音などが含まれていた場合には、それらを１つの文章として検出してしまい、人声区間が細分化されないという課題がある。

本発明の目的は、雑音や背景の音楽などが含まれるコンテンツであっても、それから人声部分を精度よく抽出することができる音声情報抽出装置を提供することにある。

上記課題を解決するために、本発明は、入力音声を分析して音声特徴パラメータを出力する音声特徴抽出部と、前記音声特徴抽出部により抽出された音声特徴パラメータと人声検出用標準パタンとを照合する照合部と、前記照合部による照合の結果を用いて非人声区間が所定時間継続したとき人声区間抽出の指示を出力する人声抽出時点決定部と、前記人声抽出時点決定部から指示に従って人声抽出処理を開始し、前記照合部による照合の結果を用いて入力音声中の人声区間を抽出する人声抽出部とを備えた点に第１の特徴がある。

また、本発明は、入力音声のパワーを求めるパワー計算部と、前記パワー計算部で求められたパワーに基づいて照合音声を抽出する照合音声抽出部と、前記照合音声を分析して音声特徴パラメータを出力する音声特徴抽出部と、前記音声特徴抽出部により抽出された音声特徴パラメータと人声検出用標準パタンとを照合する照合部と、前記照合部による照合の結果を用いて前記照合音声における人声区間を抽出するする人声抽出部とを備え、前記パワー計算部で求められたパワーに基づいて照合部での照合処理および前記人声抽出部での人声抽出処理を開始させる点に第２の特徴がある。

また、本発明は、前記照合音声抽出部が、パワーと閾値との比較により求められた音声区間より前後に余裕を持たせて照合音声を抽出する点に第３の特徴がある。

さらに、本発明は、前記人声検出用標準パタンが、男声標準パタンと女声標準パタンを含む人声標準パタン群と、無音標準パタンと雑音標準パタンと音楽標準パタンを含む非人声標準パタンからなる点に第４の特徴がある。

本発明によれば、入力音声の音声特徴パラメータと人声検出用標準パタンとの照合結果を利用して人声を抽出するので、雑音や背景の音楽などが含まれるコンテンツであっても、それから人声部分を精度よく抽出することができる。

また、非人声区間が所定時間継続したという照合結果に基づいて人声区間抽出を指示するので、複数の文章間でのポーズにより各文章ごとに細分化して人声を抽出できる。

また、人声抽出処理の前に音声のパワーに基づく照合音声抽出処理を行い、照合音声の音声特徴パラメータと人声検出用標準パタンとの照合結果を利用して人声を抽出することにより、人声抽出処理では照合音声抽出処理で抽出された仮の人声区間についてのみ人声抽出処理を実行すればよいので、人声抽出処理での照合などの処理負担が軽減される。

以下、図面を参照して本発明について説明する。図１は、本発明に係る音声情報抽出装置の第１の実施形態を示すブロック図である。本実施形態の音声情報抽出装置は、人声抽出部１、音声特徴抽出部２、照合部３、人声抽出時点決定部４、および人声検出用標準パタン５を備える。

人声検出用標準パタン５は、人声、雑音、音楽、無音などの標準パタンを連結することにより予め作成された人声検出用標準パタンである。図２は、人声検出用標準パタンの例を示す。この人声検出用標準パタン５は、人声標準パタン群５−１と非人声標準パタン群５−２とに大別される。人声標準パタン群５−１は、男声標準パタンと女声標準パタンを含む。非人声標準パタン群５−２は、無音標準パタン、雑音標準パタン、音楽標準パタンを含む。本例の人声検出用標準パタン５を用いることにより、入力音声の男声区間、女声区間、無音区間、雑音区間、音楽区間を区別できる。

処理対象の音声は、例えば音声を含む動画コンテンツとして人声抽出部１および音声特徴抽出部２に入力される。音声特徴抽出部２は、入力音声を分析し、音声特徴パラメータを抽出して出力する。

照合部３は、音声特徴抽出部２により抽出された音声特徴パラメータと人声検出用標準パタン５とを照合し、照合結果を人声抽出部１および人声抽出時点決定部４に出力する。

人声抽出時点決定部４は、入力音声が人声標準パタン（男声標準パタン、女声標準パタン）以外の標準パタン（無音標準パタン、雑音標準パタン、音楽標準パタン）と合致すると判定された期間が予め定めた期間以上継続したことを条件として、人声抽出部１に人声区間抽出の検出指示を出力する。この検出指示は、続いて入力音声が人声標準パタンと合致すると判定された期間の終了時点でリセットされる。このような人声抽出時点決定部４を備えることにより、複数の文章間で余り長いポーズをおかずに発声された音声の場合でもそのポーズを確実に検出でき、複数の文章として確実に細分化できる。

人声抽出部１は、人声抽出時点決定部４から検出指示が出力された場合、人声抽出処理を開始する。人声抽出処理では、照合部３からの照合結果が人声区間である場合にそれに対応する区間の音声を抽出する。なお、人声抽出部１で処理される音声は、照合や検出指示のタイミングに対応したものである必要であるが、これは各系統での音声の基準位置からの経過に基づき、各系統での信号をバッファなどで遅延させるなどして適宜調整することにより容易に実現できる

図３は、音声を含む動画コンテンツと人声検出用標準パタン５との照合結果の例を示す。照合部３で無音(1)、男声(1)、無音(2)、女声(1)、雑音(1)、男声(2)、女声(2)、音楽(1)、無音(3)の各区間が順次検出されたとすると、人声抽出時点決定部４は、一定期間継続する無音(1)、無音(2)、雑音(1)、音楽(1)、無音(3)にそれぞれ基づいて検出指示を人声抽出部１に送出する。これにより人声抽出部１は人声抽出処理を開始し、男声(1)、女声(1)、男声(2)と女声(2)それぞれに対応する区間の入力音声を抽出する。この場合、男声(2)と女声(2)との間には一定期間継続する人声以外の音声区間が検出されないので、これらは一連の音声として抽出される。なお、検出指示は、男声(1)、女声(1)、男声(2)と女声(2)の各区間の終了時点でリセットされる。

図４は、本発明に係る音声情報抽出装置の第２の実施形態を示すブロック図である。図４において、図１、図５と同一あるいは同等の部分には同じ番号を付してある。本実施形態の音声情報抽出装置は、人声抽出部１、音声特徴抽出部２、照合部３、人声検出用標準パタン５、照合音声抽出部６、パワー計算部７、始端検出部８、および終端検出部９を備える。本実施形態は、人声検出用標準パタンとの照合に加え、パワーによる始端検出および終端検出をも利用して人声抽出を行うようにしたものである。照合音声抽出処理部６で仮の人声区間が抽出され、人声抽出部１の処理では該仮の人声区間を対象として人声抽出処理を実行すればよいので、照合などの処理負担が軽減される。

まず、音声を含む動画コンテンツが照合音声抽出部６およびパワー計算部７に入力される。パワー計算部７は、入力音声におけるパワーを求める。パワー計算部２で求められたパワーは始端検出部８および終端検出部９に入力される。始端検出部８は、パワー計算部７で求められたパワーを始端検出閾値TH1と比較し、パワーが閾値TH1を上回る状態が始端検出継続時間T1となったときに始端検出信号を出力し、終端検出部９は、パワーを終端検出閾値TH2と比較し、パワーが閾値TH2を下回る状態が終端検出継続時間T2となったときに終端検出信号を出力する。

照合音声抽出部６は、始端検出部８から始端検出信号が出力された時点から終端検出部９から終端検出信号が出力された時点までの区間に対応する音声の区間を抽出し、照合音声として人声抽出部１および音声特徴抽出部２に出力する。

音声特徴抽出部２は、入力された照合音声を分析し、音声特徴パラメータを抽出して照合部３に出力する。照合部３は、始端検出部８から始端検出信号が出力されると照合処理を開始する。すなわち、始端検出部８から始端検出信号が出力されると、音声特徴抽出部２からの音声特徴パラメータと人声検出用標準パタン５とを照合し、照合結果を人声抽出部１に出力する。

人声抽出部１は、終端検出部９から終端検出信号が出力された後に人声抽出処理を開始する。人声抽出処理では、照合部３からの照合結果が人声区間である場合に、それに対応する区間の照合音声が抽出される。終端検出部９で得られた終端検出信号を検出指示として人声抽出部１に出力することにより、人声抽出部１がそれまでに抽出した人声を１つの区間として出力し、次の人声抽出処理に入ることが可能になる。なお、照合音声抽出部６や人声抽出部１で処理される音声は、始端検出や終端検出、照合のタイミングに対応したものである必要であるが、これは各系統での音声の基準位置からの経過に基づき、各系統での信号をバッファなどで遅延させるなどして適宜調整することにより容易に実現できる。

照合音声抽出部６では、始端検出信号と終端検出信号が検出された間の区間より前後に余裕を持たせた区間、例えば図６に示すように、始端検出信号が検出された時点より時間Ｄだけ前の時点から終端検出信号が検出された時点より時間Ｄ′だけ後の時点までの区間の音声を抽出して照合音声とするのが好ましい。人声全体または一部が削除されることなく後段での処理に供されるようにするためである。これは、バッファなどを用いて始端検出信号に対して入力音声をＤだけ遅延させ、また、終端検出信号をＤ＋Ｄ′だけ遅延させることにより実現できる。なお、人声抽出部１に入力される照合音声と照合結果や検出指示との時間的対応を取ることが必要であり、これは各系統での音声基準位置からの経過をバッファを用いて合わせるなどすることにより容易に実現できる。

本発明によれば、背景雑音などの人声以外の音声が含まれる動画コンテンツからアナウンスなどの人声部分を精度よく抽出することができる。また、抽出された人声部分を音響的な特徴として該特徴に基づく動画コンテンツのシーン分割や話題分割に応用することにより、分割精度の向上を図り、動画コンテンツ閲覧作業の効率化を図ることができる。

本発明に係る音声情報抽出装置の第１の実施形態を示すブロック図である。 人声検出用標準パタンの例を示す図である。 音声を含む動画コンテンツと人声検出用標準パタンとの照合結果の例を示す図である。 本発明に係る音声情報抽出装置の第２の実施形態を示すブロック図である。 従来の音声情報抽出装置を示すブロック図である。 従来の音声情報抽出装置の動作を説明するための説明図である。

符号の説明

１・・・人声抽出部、２・・・音声特徴抽出部、３・・・照合部、４・・・人声抽出時点決定部、５・・・人声検出用標準パタン、５−１・・・人声標準パタン群、５−２・・・非人声標準パタン群、６・・・照合音声抽出部、７・・・パワー計算部、８・・・始端検出部、９・・・終端検出部

Claims (4)

1. 入力音声を分析して音声特徴パラメータを出力する音声特徴抽出部と、
   前記音声特徴抽出部により抽出された音声特徴パラメータと人声検出用標準パタンとを照合する照合部と、
   前記照合部による照合の結果を用いて非人声区間が所定時間継続したとき人声区間抽出の指示を出力する人声抽出時点決定部と、
   前記人声抽出時点決定部からの指示に従って人声抽出処理を開始し、前記照合部による照合の結果を用いて入力音声中の人声区間を抽出する人声抽出部とを備えたことを特徴とする音声情報抽出装置。
2. 入力音声のパワーを求めるパワー計算部と、
   前記パワー計算部で求められたパワーに基づいて照合音声を抽出する照合音声抽出部と、
   前記照合音声を分析して音声特徴パラメータを出力する音声特徴抽出部と、
   前記音声特徴抽出部により抽出された音声特徴パラメータと人声検出用標準パタンとを照合する照合部と、
   前記照合部による照合の結果を用いて前記照合音声における人声区間を抽出するする人声抽出部とを備え、
   前記パワー計算部で求められたパワーに基づいて照合部での照合処理および前記人声抽出部での人声抽出処理を開始させることを特徴とする音声情報抽出装置。
3. 前記照合音声抽出部は、パワーと閾値との比較により求められた音声区間より前後に余裕を持たせて照合音声を抽出すること特徴とする請求項２に記載の音声情報抽出装置。
4. 前記人声検出用標準パタンは、男声標準パタンと女声標準パタンを含む人声標準パタン群と、無音標準パタンと雑音標準パタンと音楽標準パタンを含む非人声標準パタンからなること特徴とする請求項１，２，３のいずれかに記載の音声情報抽出装置。

Images