JP2005266797A - 音源信号分離装置及び方法、並びにピッチ検出装置及び方法 - Google Patents

Abstract

【課題】 複数の音源からの信号をステレオマイクロホンで集音して所望の音源信号を分離する。
【解決手段】 端子１１からのステレオ音声がピッチ検出部１２に入力され、ピッチの２波長分を検出単位としてピッチ検出が行われ、ピッチ及び同じピッチが連続する定常性部分が検出される。遅延補正加算部１３では、所望の音源からの音声の位相を合わせるようにステレオ音声を遅延補正し、足し込むことにより、所望の音源信号が強調された信号を出力する。音源信号分離部１９内の分離係数作成部１４では、音源信号分離部１９内のフィルタ演算回路１５のフィルタ係数を、ピッチ検出部１２で検出されたピッチに応じて作成する。分離係数作成部１４で作成されたフィルタ係数がフィルタ演算回路１５に送られ、フィルタ演算回路１５では、検出されたピッチ毎に更新されるフィルタ係数により遅延補正加算部１３からの出力信号をフィルタ処理することにより、所望の音源信号を分離した波形出力を得る。
【選択図】 図１

Description

本発明は、音源信号分離装置及び方法、並びにピッチ検出装置及び方法に関し、例えば、複数の音源からの音声信号をステレオマイクロホンにより良好に分離するための音源信号分離装置及び方法、並びに音源信号分離に適したピッチ検出を行うためのピッチ検出装置及び方法に関する。

複数種類の音源信号が混在した音響信号から所望の音源信号を分離することが知られている。これは、例えば図２６に示すように、複数人、例えば３人の人物ＳＰＡ，ＳＰＢ，ＳＰＣから発生された音声を、音響−電気変換手段、例えば左右のステレオマイクロホンＭＣＬ，ＭＣＲで集音して、得られた音響信号から所望の一人の人物からの音声信号を分離するような技術である。

このような音源信号分離の従来技術として、特許文献１に開示される音響信号分離回路及びそれを用いたマイクロホン装置がある。これら音響信号分離回路及びそれを用いたマイクロホン装置においては、互いに線形独立な複数の音源信号が線形加算された複数の混合信号をフレーム分割し、フレーム毎に、分離回路によって分離された複数の信号相互間のラグタイムゼロの相関を最小にする混合行列の逆行列を乗算することにより、混合信号から元の音声信号をそれぞれ分離するようにしている。

また、特許文献２には、周囲に雑音が多い環境下において、所望の音声信号を抽出する場合に用いられる、所望の音源を推定する音源信号推定装置が開示されている。

さらに、音源信号の分離のために、ターゲット音声のピッチを求めることが考えられており、このピッチ検出の技術として、特許文献３に開示される音響信号分析方法及び装置並びに音声信号処理方法及び装置がある。これらの装置及び方法においては、入力信号を所定の時間長を持つフレーム毎に切り出して、各フレーム毎に周波数分析を行い、各フレームの周波数分析結果から各フレーム内での調波性評価を行うと共に各フレームの周波数分析結果の振幅のフレーム間差分に対して調波性評価を行い、これらの調波性評価の結果を使用して入力信号のピッチを検出するようにしている。

特開２００１−２２２２８９号公報 特開平７−２８４９２号公報 特開２０００−１８１４９９号公報

一般に、複数音源を分離するには、音源の数以上のマイクロホンが必要とされ、そのような複数のマイクロホンを用いた検討が行われている。例えば、上述の特許文献１においては、２本のマイクロホンに対しては、２音源までしか分離が不可能であることが開示されている。また、上記特許文献２には、複数本のマイクロホン（マイクアレイ）を用いて目標とする音源からの音声信号を抽出する技術が開示されている。これらの技術においては、複数の音源信号が混合された混合信号から所望の音源信号を分離するために、音源の個数以上の本数のマイクロホン（マルチマイク）を用いることが必要とされる。

従って、このような従来技術によっては、例えばカメラ一体型ＶＴＲ（いわゆるビデオカメラ）のような携帯型ＡＶ機器等に用いられるステレオマイクロホンの場合に、３音源以上の音源信号を分離することが困難である。

また、音源信号を分離するに先立ってターゲット音声のピッチを求める場合に、音源信号の分離に適したピッチ検出が望まれる。

本発明は、このような従来の実情に鑑みて提案されたものであり、ステレオマイクロホンのような少数個の集音手段を用いて、複数個の音源からの音声信号（一般的には音響信号）を集音し、目的とする所望の音源からの音声信号を有効に分離可能とするような音源信号分離装置及び方法、並びにピッチ検出装置及び方法を提供することを目的とする。

上述の課題を解決するために、本発明に係る音源信号分離装置は、複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の内の所望の音源信号を強調する音源信号強調手段と、上記入力音響信号の内の上記所望の音源信号のピッチを検出するピッチ検出手段と、検出された上記ピッチと上記音源信号強調手段により強調された音源信号とに基づいて、上記入力音響信号から上記所望の音源信号を分離する音源信号分離手段とを有することを特徴とする。

そして、上記音源信号分離手段の一例として、上記音源信号強調手段からの出力信号から上記所望の音源信号を分離するフィルタ手段と、上記ピッチ検出手段からの検出情報に基づき、上記フィルタ手段のフィルタ係数を出力するフィルタ係数出力手段とを有することを特徴とする。

ここで、上記フィルタ係数出力手段は、上記フィルタ手段の周波数特性を、上記ピッチ検出手段により検出されたピッチの周波数の整数倍の周波数成分を通過させる特性とするフィルタ係数を出力することが好ましい。また、上記フィルタ係数出力手段は、予め何種類かのピッチに応じたフィルタ係数が蓄積された記憶手段を備え、上記ピッチ検出手段により検出されたピッチに応じて上記記憶手段から該ピッチに対応するフィルタ係数を読み出して出力することが好ましい。

また、上記音源信号強調手段からの出力信号の子音帯域を処理する高域処理手段と、上記音源信号強調手段からの出力信号の子音帯域を取り出して上記高域処理手段に送り、上記音源信号強調手段からの出力信号の子音以外の帯域を取り出して上記フィルタ手段に送り、上記音源信号強調手段からの出力信号の母音帯域を取り出して上記ピッチ検出手段に送るフィルタバンク手段とをさらに有することが好ましい。

また、上記複数の集音手段は、左右のステレオマイクロホンであることが挙げられる。また、上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することが好ましい。さらに、上記ピッチ検出手段は、上記所望の音源信号のピッチの２波長分を検出単位としてピッチ検出を行うことが好ましい。

また、上記音源信号分離手段のその他の一例として、上記音源信号強調手段からの出力信号中の同じ若しくは略同じピッチが連続する定常性部分を用い、上記ピッチ検出手段からの検出情報に基づき、基本波形を作成する基本波形作成手段と、上記入力音響信号に基づく信号の少なくとも一部を、上記基本波形作成手段により作成された基本波形の繰り返し波形で置き換えて出力する基本波形置き換え手段とを有することを特徴とする。

ここで、上記ピッチ検出手段は、上記所望の音源信号のピッチの２波長分を検出単位としてピッチ検出を行うことが好ましい。また、上記複数の集音手段は、左右のステレオマイクロホンであることが挙げられる。また、上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することが好ましい。さらに、上記基本波形作成手段は、上記所望の音源信号のピッチが連続する定常性部分について、ピッチの２波長分を単位として加算し平均化することにより基本波形を作成することが好ましい。

次に、本発明に係る音声信号分離方法は、上記目的を達成するため、複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の内の所望の音源信号を強調する工程と、上記入力音響信号の内の上記所望の音源信号のピッチを検出する工程と、検出された上記ピッチと上記強調する工程で強調された音源信号とに基づいて、上記入力音響信号から上記所望の音源信号を分離する工程とを有することを特徴とする。

次に、本発明に係るピッチ検出装置は、上記目的を達成するため、複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の所望の音源信号を強調する音源信号強調手段と、上記音源強調手段からの出力信号中のピッチの２波長分を検出単位として２波長周期を検出する周期検出手段と、上記周期検出手段により検出された２波長周期の変化に基づき同じ若しくは略同じピッチが連続しているか否かを判定し、判定結果に応じてピッチ情報を出力する連続判定手段とを有することを特徴とする。

ここで、上記複数の集音手段は、左右のステレオマイクロホンであることが挙げられる。また、上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することが好ましい。

また、本発明に係るピッチ検出方法は、上記目的を達成するため、複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の所望の音源信号を強調する音源信号強調工程と、上記音源強調工程により得られる出力信号中のピッチの２波長分を検出単位として２波長周期を検出する周期検出工程と、上記周期検出工程により検出された２波長周期の変化に基づき同じ若しくは略同じピッチが連続しているか否かを判定し、判定結果に応じてピッチ情報を出力する連続判定工程とを有することを特徴とする。

次に、本発明に係る音源信号分離装置は、上記目的を達成するため、複数の音源からの音響信号が混合されてなる入力音響信号の所望の音源信号のピッチの２の倍数の波長分を検出単位としてピッチ検出を行うピッチ検出手段と、検出された上記ピッチに基づいて所望の音源信号を分離する音源信号分離手段とを有することを特徴とする。

さらに、本発明に係る音源信号分離方法は、上記目的を達成するため、複数の音源からの音響信号が混合されてなる入力音響信号の所望の音源信号のピッチの２の倍数の波長分を検出単位としてピッチ検出を行う工程と、検出された上記ピッチに基づいて所望の音源信号を分離する工程とを有することを特徴とする。

本発明によれば、複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の内の所望の音源信号を分離するためのフィルタについて、入力音響信号のピッチを検出し検出されたピッチに応じてフィルタ係数を更新しているため、目的とする音源からの音を良好に分離できる。

また、本発明によれば、入力信号のピッチの定常性部分に基づく基本波形を作成し、置き換えているため、目的とする音源からの音に近似した良好な音源信号を分離できる。

さらに、ピッチの２波長分を検出単位としてピッチ検出を行うことにより、信頼性が高く安定したピッチ検出が行える。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

本発明の実施の形態に用いられる音源信号分離装置の具体例の概略構成を図１に示す。

この図１において、入力端子１１には、マイクロホン等により集音された音響信号、具体的には例えばステレオマイクロホンにより集音されたステレオ音声信号が入力され、ピッチ検出部１２及び所望の音源信号を強調する音源信号強調手段としての遅延補正加算部１３に送られる。ピッチ検出部１２からの出力は、音源信号分離部１９内の分離係数作成部１４に送られ、遅延補正加算部１３からの出力は、必要に応じて中域以下の周波数帯域を出力するフィルタ（ローパスフィルタ）２０Ａを介し、音源信号分離部１９内のフィルタ演算回路１５に送られる。フィルタ演算回路１５は、所望のターゲット音声を分離するフィルタであり、ピッチ検出部１２で検出されたピッチが更新される度に、分離係数出力手段である分離係数作成部１４が、検出されたピッチに応じたフィルタ係数を作成し、フィルタ演算回路１５に送っている。また、遅延補正加算部１３からの出力は、必要に応じて高域の周波数帯域を通すフィルタ（ハイパスフィルタ）２０Ｂを介して高域処理部１７に送られ、子音等の非定常波形に対して処理が施される。フィルタ演算回路１５からの出力と、高域処理部１７からの出力とは、加算器１６で加算され、出力端子１８より分離波形出力信号として取り出される。

このような構成を有する音源信号分離装置の具体例において、ピッチ検出部１２は、音声信号における母音等のような同じ若しくは略同じピッチが連続する部分である定常性部分のピッチ（音の高さ）を検出するものであり、このピッチ検出部１２からは、検出されたピッチが出力され、また必要に応じて上記定常性部分を示す情報（例えば連続する区間を示す時間軸上の座標情報）が出力される。遅延補正加算部１３は、所望の音源信号を強調する音源信号強調手段の一例として用いられるものであり、複数（ステレオの場合は２本）のマイクロホンへの音源からの距離に応じた伝搬遅延時間の差に応じて、各マイクロホンからの信号に時間遅延を持たせて加算することにより、所望の音源からの信号を強め、他の信号を弱めるようなものであり、詳細は後述する。分離係数作成部１４は、ピッチ検出部１２で検出された定常性部分のピッチに応じて、所望の音源からの信号を分離するためのフィルタ係数を作成するものであり、詳細は後述する。フィルタ演算回路１５は、分離係数作成部１４からのフィルタ係数を用いて、遅延補正加算部１３からの出力（必要に応じてフィルタ（ローパスフィルタ）２０Ａを介した出力）にフィルタ処理を施し、所望の音源からの信号を分離するものである。高域域処理部１７は、遅延補正加算部１３からの出力に、必要に応じて高域の周波数を通すフィルタ（ハイパスフィルタ）２０Ｂを介した信号の、例えば子音等の非定常波形に対して所定の処理を施し、加算器１６へ出力する。加算器１６では、フィルタ演算回路１５からの出力と高域処理部１７からの出力を加算し、ターゲット音声の分離波形出力信号として出力端子１８に送る。

次に、ピッチ検出部１２の具体例の概略構成を図２に示す。この図２の入力端子２１は、上記図１の入力端子１１に相当し、例えばステレオマイクロホンにより集音されたステレオ音響信号が入力される。、ピッチが定常的に現れる例えば母音帯域を通過させるためのローパスフィルタ（ＬＰＦ）２２を介して、遅延補正加算部２３に送られ、後述するように、所望の音源からの信号を強調するような指向性制御処理が施される。遅延補正加算部２３からの出力は、極大値検出部２４を介し、極大値のゼロクロス間最大値検出部２５を介して、最大値間ピッチ検出部２６に送られる。最大値間ピッチ検出部２６からの出力は、連続判定部２７に送られて、代表ピッチ出力が端子２８から、上記定常性部分の区間を示す座標（時刻）出力が端子２９からそれぞれ取り出される。

ここで、上記図１の遅延補正加算部１３、あるいは図２の遅延補正加算部２３の原理的な構成例について、図３を参照しながら説明する。この図３において、左右のステレオマイクロホンＭＣＬ、ＭＣＲからの信号が、左右のステレオ信号をそれぞれ遅延するバッファメモリ等を用いた遅延回路３２Ｌ、３２Ｒに送られている。上記図２の遅延補正加算部２３の場合には、ピッチ検出の品質を高めるために、左右のステレオ信号を、音声信号における母音等の帯域を通過させるためのローパスフィルタ（ＬＰＦ）２２を介した後に、遅延補正加算部の遅延回路３２Ｌ、３２Ｒに送るようにすればよい。これらの遅延回路３２Ｌ、３２Ｒからの遅延信号は、加算器３４で加算され、遅延補正加算信号として出力端子３５より取り出される。また、必要に応じて、遅延回路３２Ｌ、３２Ｒからの遅延信号を減算器３６で減算して、遅延補正減算信号として出力端子３７より取り出すようにしてもよい。

この図３に示すような原理的構成を有する遅延補正加算部は、所望の分離しようとするターゲット音源からの音声信号のみを増強し、他の信号成分を減衰させるような指向性制御処理を施すものである。図３の例において、ステレオマイクロホンＭＣＬ、ＭＣＲに対して、左側に音源ＳＬ、中央に音源ＳＣ、右側に音源ＳＲが配置されている場合に、例えば、右側の音源ＳＲをターゲット音源とするとき、音源ＳＲから発せられた音は、空気中を伝搬するのに要する時間遅延のため、音源に近い側のマイクロホンＭＣＲに比べて、音源に遠い側のマイクロホンＭＣＬには時間（物理的遅延量）τだけ遅れて集音される。このとき、バッファメモリ等を用いた遅延回路３２Ｌ、３２Ｒに対して、遅延回路３２Ｌの遅延量を遅延回路３２Ｒよりも時間τだけ長く設定することにより、遅延回路３２Ｌ、３２Ｒからの遅延量が補正された出力信号は、図４に示すように、ターゲット音源ＳＲからのターゲット音声については左右の信号の相関係数が高くなり（位相が、より一致し）、その他の音声については相関係数が低くなる（位相が、より不一致となる）。また、中央の音源ＳＣをターゲット音源とする場合には、音源ＳＣから発せられた音はステレオマイクロホンＭＣＬ、ＭＣＲに同時に（遅延時間差なく）集音されるから、遅延回路３２Ｌ、３２Ｒの各遅延量を等しくすることにより、音源ＳＣからのターゲット音声の相関性を高くし、他の音声の相関性を低くすることができる。このように、遅延回路３２Ｌ、３２Ｒの各遅延量を調整して、ターゲット音源からの音声のみについて相関性を高めることができる。

従って、遅延回路３２Ｌ、３２Ｒからの遅延出力信号を加算器３４で加算することにより、相関性の高い音声のみが増強されることになる。特に、母音部分のような繰り返し波形部分では、位相が揃った波形を足し込むことで位相が揃った部分が強調され、位相の揃っていない部分は減衰されることになる。出力端子３５からは、ターゲット音声のみが増強あるいは強調された信号が取り出される。また、遅延回路３２Ｌ、３２Ｒからの遅延出力信号を減算器３６で減算する場合には、位相が揃った部分が引き算されることから、ターゲット音源からの音声のみが減衰されることになり、出力端子３７からはターゲット音声のみ減衰された信号が取り出される。

上記相関係数について説明すると、２本のマイクロホンに入力された音声に対して上述のように遅延量補正された波形は、波形の一致度が高く、逆にその他の音声にのように、位相のずれた波形は一致度が低くなる。この一致度を表す相関係数ｃｏｒは、次の（１）式により求めることができる。この（１）式において、ｍ１，ｍ２は、ステレオマイクロホンＭＣＬ、ＭＣＲのそれぞれの時間サンプルを示し、ｎ対のサンプル値（ｍ１１，ｍ２１），（ｍ１２，ｍ２２），・・・，（ｍ１ｎ，ｍ２ｎ）についての相関係数ｃｏｒを求めている。なお、Ｓ１，Ｓ２は標準偏差である。

次に、上記ピッチ検出部１２におけるピッチ検出動作について説明する。ピッチ検出部１２の具体的な構成例は、上記図２に示した通りである。先ず、マイクロホンからの信号は、例えば図５のように、ターゲット音声とその他の音声とが混在したものとなる。この図５において、実線が実際に得られた信号波形を示し、破線がターゲット音声の信号波形を示している。これは、上述のような遅延補正加算による指向性制御処理を行ってターゲット音声を強調したとしても、その他の音声が残存しており、これらが混在した信号波形となる。ここで、図５におけるターゲット音声の破線に示す信号波形は、振幅方向（レベル方向）の変動が少なく規則的であるのに対して、実線に示す混在信号波形は、レベル方向にも変動が生じていることが分かる。しかしながら、混在信号波形は、ターゲット音声の波形と比較してみると、レベル方向には相関性はないが、時間方向ではピークの間隔が保存されていることが確認できる。

この図５に示すような信号波形のスペクトルをとると、例えば図６のようになり、ある基本周波数Ｆｘの倍数構造を有していることが分かる。この基本周波数Ｆｘは、一般的に音の高さを表すピッチに相当しており、ピッチ周波数とも称され、図５の信号波形における隣り合うピーク間の期間を１周期Ｔｘ（１波長λｘ）とするときの周期（ピッチ周期）の逆数に相当する。すなわち、Ｆｘ＝１／Ｔｘである。図６の例では、例えばピッチ周波数Ｆｘの倍の周波数２Ｆｘの位置にもピークが現れており、一般的に周波数Ｆｘの整数倍の位置にピークが現れる。

ところで、信号波形における隣り合うピーク間に相当するピッチ周期Ｔｘ（ピッチ波長λｘ）に対して、実際の波形信号にはこのピッチ周期よりも長い波長の成分も含まれており、特に２倍のピッチ周期Ｔｙ（＝２Ｔｘ）の成分、すなわち図６のスペクトルでは、ピッチ周波数Ｆｘの１／２の周波数Ｆｙ（＝Ｆｘ／２）の成分が比較的有力に現れていることが分かる。このように１／２ピッチ周波数Ｆｙ（＝Ｆｘ／２）の成分が比較的大きく現れることは、通常の音声信号の場合に一般的にいえることであり、例えば、図７、図８に示すピッチ周波数Ｆｘが約６５０Ｈｚの音声信号の例や、図９、図１０に示すピッチ周波数Ｆｘが約５８０Ｈｚの音声信号の例でも同様に、ピッチの１／２の周波数Ｆｙ（＝Ｆｘ／２）の成分が明瞭に確認できる。なお、図７、図９は時間軸上の音声信号波形を示し、図８、図１０は周波数軸上のスペクトルを示している。

図１１は、上述のようなピッチ周波数Ｆｘの成分と、その１／２の周波数Ｆｙの成分とを合成する場合の例を示す説明図である。この図１１の（ａ）は、ピッチ周波数Ｆｘの基本波形（例えば正弦波）を示し、（ｂ）はピッチ波長の倍の波長、すなわち１／２の周波数Ｆｙ（＝Ｆｘ／２）の基本波形を示している。これらの成分を図１１の（ｃ）のように合成すると、１波長おきに交互に同じ変動が生じ、例えば図１１の（ｄ）に示すように、１波長おきに交互に形状が似てくる場合が多くなる。このため、隣り合うピーク間の周期をとると、ばらつきが交互に現れるため、安定したピッチ検出が行えない。

そこで、本発明の実施の形態においては、ピーク間の周期Ｔｘ（ピッチ波長λｘ）の倍の周期Ｔｙ（＝２Ｔｘ）を単位としてピッチ検出を行うようにしている。このように、２波長毎にピークを検出すると、信号波形の形状が似た時のピーク毎に検出できるため、誤差がより少なくなる傾向がある。またこの時、検出の開始のタイミングとしては、位相が１波長ずれていても統計的に同様の結果を得ることができる。なお、ピーク検出の間隔としては、２波長以外に、原理的には４波長、６波長、８波長、・・・のように偶数倍の波長とすることも可能である。ただし、例えば４波長毎にピークを検出する場合には、より誤差が少なくなるが、サンプル数を必要とするというデメリットがある。

次に、図１２を参照しながら、ピッチ検出動作の具体例を説明する。この図１２において、最初のステップＳ４１でステレオ音声信号を入力し、ステップＳ４２でローパスフィルタ処理し、ステップＳ４３で上述した遅延補正加算処理による指向性処理を施す。これらは、上記図２の入力端子２１（１１）からの入力、ＬＰＦ（ローパスフィルタ）２２での処理、遅延補正加算部２３での処理にそれぞれ対応する。

次のステップＳ４４で、上記図２の極大値検出部２４による極大値計算処理を行う。これは、図１３の波形におけるｘマークに示すような局所的なピークを求めるものであり、正側のピーク（極大点）と負側のピーク（極小点）とがあるが、この実施の形態では正側の局所的なピーク（極大点）を採用しており、時間軸方向の信号波形のサンプル値が増加から減少に変化した点を検出することで求めることができる。具体的には、信号波形の各サンプル点の時間軸上の座標（位置）をサンプル番号で表わす場合、位置ｎ（すなわちサンプル番号ｎ）のサンプル点のサンプル値をｄ(ｎ)とし、前後のサンプル値間の差の閾値をｔｈとするとき、
ｄ(ｎ)−ｄ(ｎ−１)＞ｔｈ、かつ、ｄ(ｎ＋１)−ｄ(ｎ)＜−ｔｈ ・・・（２）
のときの点ｎを極大点、そのときのサンプル値を極大値とする。

次のステップＳ４５では、上記図２の極大値のゼロクロス間最大値検出部２５にて、上記ステップＳ４４で求められた極大値の内、値が正となる範囲のゼロクロス間で最大となる極大値を検出する。すなわち、サンプル値が負から正になるゼロクロス点から始まり、次の正から負になるゼロクロス点までの間に存在する極大値の内で最大値をとるものを検出する。このゼロクロス間の極大値の最大値の点の時間軸上の座標（サンプル点の位置、サンプル番号）が記録される。

次のステップＳ４６では、上記図２の最大値間ピッチ検出部２６にて、上記ステップＳ４５で求めた極大値の最大値の１つ目と３つ目との間隔、すなわち、１つおきの最大値間（２波長分）からピッチを検出する。すなわち、２波長分を検出単位としてピッチ検出を行っている。この場合のピッチ検出とは、２波長分の周期Ｔｙ（＝２Ｔｘ）を検出することに相当し、この検出された周期Ｔｙ（あるいは周波数Ｆｙ＝１／Ｔｙ）を、本来のピッチ周期Ｔｘ（あるいはピッチ周波数Ｆｘ）の代わりに用いている。ここで、信号波形の各サンプル点の時間軸上の座標をサンプル番号で表わすとき、上記ピッチ検出により求められる周期Ｔｙはサンプル数（サンプル番号の差）で表すことができ、１つ目の極大値の最大値の時間軸上の座標（サンプル番号）をmax１、３つ目の極大値の最大値の時間軸上の座標をmax３とするとき、
Ｔｙ＝ max３ − max１ ・・・（３）
となる。

次のステップＳ４７以降は、上記図２の連続性判定部２７での処理に相当するものであり、先ずステップＳ４７では、上記ピッチ検出の単位区間の前後のピッチを比較する。この場合のピッチとしては、上記ピッチ周期ＴｘをＴｙ／２から求めて用いるようにしてもよいが、上記ピッチ検出の際に検出された２波長分の周期Ｔｙをそのまま用いるようにしてもよい。このとき、隣り合うピッチ検出単位毎のピッチ（あるいは周期Ｔｙ）の比率ｒを求めており、例えば上記２波長分の周期Ｔｙを用いる場合に、現在のピッチ検出単位ｎの２波長分の周期をＴｙ(ｎ)とするとき、ピッチ比率（この実施の形態では周期Ｔｙの比率）ｒは、
ｒ(ｎ)＝Ｔｙ(ｎ)／Ｔｙ(ｎ−１) ・・・（４）
となる。

ここで、上記図５に示した信号波形の場合のピッチ検出結果の具体的な数値の例を図１４に示す。この図１４において、１番目のピッチ検出単位から順次２波長分の周期を検出しており、これらをＴｙ(１)、Ｔｙ(２)、Ｔｙ(３)、・・・のように示し、各ピッチ検出単位において検出された２波長分の周期Ｔｙをサンプル数で示した値、比率ｒ、及び後述する連続性判定フラグを例示している。

次のステップＳ４８では、上記ステップＳ４７で求められたピッチ比率（周期Ｔｙの比率）ｒがほぼ安定している区間（上記定常性部分）を検出するために、上記比率ｒの変化分Δｒ（＝１−ｒ）の絶対値｜Δｒ｜（＝｜１−ｒ｜）が、所定の閾値th_rより小さいか否かを判別しており、閾値th_rより小さい（ＹＥＳ）と判別されたとき、ステップＳ４９に進んで、連続性判定フラグをセット（フラグを１に）し、あるいはピッチが連続する区間（定常性部分）を計測するためのカウンタをカウントアップする。ステップＳ４８で、比率変化分の絶対値｜Δｒ｜が所定の閾値th_r以上である（ＮＯ）と判別されたときには、ステップＳ５０に進んで、連続性判定フラグをリセット（フラグを０に）する。上記所定の閾値th_rとしては、例えば０．０５等の値があげられ、図１４の例では、Ｔｙ(２)が検出された単位区間ではｒが１．００で｜Δｒ｜は０であるからフラグは１、Ｔｙ(３)が検出された単位区間ではｒが０．９７で｜Δｒ｜は０．０３であるからフラグは１となり、・・・と進み、Ｔｙ(ｎ)が検出された単位区間ではｒが０．７で、｜Δｒ｜は０．３であるからフラグは０となっている。

次のステップＳ５１では、上記検出されたピッチ（あるいは周期Ｔｙ）について、連続性があるか否かを判別している。ここで、例えば、ステップＳ４９でセットされた連続性判定フラグが５回以上連続してカウントされた場合には、連続性ありと判別し、検出されたピッチ（あるいは周期Ｔｙ）は有効であると判断する。例えば、図１４の例のように、周期Ｔｙ(２)から連続してＴｙ(６)までフラグが１で連続している場合は有効であり、代表ピッチ、例えばＴｙ(２)〜Ｔｙ(６)の平均値を出力する。

すなわち、ステップＳ５１で連続性あり（ＹＥＳ）と判別されたときは、ステップＳ５２に進んで、略々同じピッチが連続する区間（定常性部分）の時間軸上の座標（時刻）をサンプル番号で表したものを出力し、次のステップＳ５３で代表ピッチ（例えば連続する区間の周期Ｔｙの平均値）を出力した後、終了する。また、ステップＳ５１で連続性なし（ＮＯ）と判別されたときは、そのまま終了する。この図１２のような処理を繰り返し実行することにより、入力される信号波形に対するピッチ検出が継続して行われる。

以上の実施の形態におけるピッチ検出の動作をまとめると、ステレオマイクに対する２音源以上の音源を対象とし、ターゲット人物の音声の分離を行うため、混在波形の母音のような定常性部分のピッチを検出している。この時、声の高低や男性女性は問わない。その際、純粋な波形であれば、混じりけがないためレベル方向が保存されるので、自己相関などで周期がわかるが、混在波形の場合はレベル方向は保存されないため同様な手法が使いにくい。しかしながら、時間方向のピッチは保存されているのが確認できる。そこで、本発明の実施の形態においては、音声波形の特徴から、ピークツーピークを見て隣り合うピッチを求めるのではなく、２波長分でピッチ検出を行っており、これによって、信頼性が高く正確なピッチ検出が行え、その後の音声分離処理がしやすくなるような効果を得ることができる。

次に、上記図１の音源信号分離装置の動作の具体例について説明する。

この図１のピッチ検出部１２としては、上述した実施の形態のような２波長分の周期からピッチ検出を行うものを用いることができるが、これに限定されず、１波長分の周期を検出するものや、４波長以上の偶数波長分の周期を検出するものを用いてもよい。

このピッチ検出部１２では、ピッチ検出単位毎にピッチを求め、そのピッチが連続する連続区間あるいは定常性部分の座標（サンプル番号）を求めており、図１のステレオマイクロホンを用いた音声信号分離装置は、これらの情報から、２音源以上の信号波形を分離するようにしたものである。

ピッチ検出部１２で求められたピッチは、分離係数作成部１４に送られ、所望のターゲット音声を分離するための分離フィルタ（フィルタ演算回路１５）のフィルタ係数（分離係数）が作成される。この分離係数作成部１４において、ピッチ検出部１２で得られた代表するピッチを基本周波数とすると、以下の（５）式に示すようなバンドパスフィルタ係数作成式により、分離フィルタのフィルタ係数（分離係数）を作成する。この（５）式において、タップ位置ｉのフィルタ係数をh[i]としており、フィルタタップ数はFIRLEN、HLFLENは(FIRLEN−1)/２、Piは円周率π、ｍは倍音個数、サンプリング周波数FS、例えば４８ＫHz ならば48000である。Lo[n]、Hi[n]は各倍音次数の周波数におけるバンド幅を意味する。Lo[n]は低い方の周波数、Hi[n]は高い方の周波数である。バンド幅については任意であり分離性能にあわせる。ｍは倍音個数であるが、この倍音の個数はただ単に一定の個数でもよいが、例えば、最大周波数をmax_freqとし基本周波数をf[1]とすると、整数値ｍ＝max_freq/f[1]としてもよい。ただし、ｍ＝０の場合はf[0]＝f[1]/2を適用する。また、基本周波数をf[0]としてもよい。

図１５は、分離係数作成部１４にて作成したフィルタ係数を用いた分離フィルタ（フィルタ演算回路１５）の周波数特性の具体例を示している。この図１５に示す周波数特性を有するフィルタは、いわゆる櫛形のバンドパスフィルタであり、このバンドパスフィルタは、タップ数が多いほど山と谷が急峻であり、またバンド幅が小さいほど谷の領域が増えるので、分離の確率は高くなる。また、上記（５）式において作成したバンドパスフィルタ係数は、実際にはタップ軸上のタップ位置により図１６のように表される。またこの時、より分離力を高めるために窓関数を選ぶ必要がある。

フィルタ演算回路１５では中域以下を対象とし、分離係数作成部１４により作成されたフィルタ係数を用い、積和演算を代表するようなＦＩＲフィルタによりフィルタがかけられることにより、上記検出されたピッチ及びその倍音成分を含むターゲット音声の分離がなされる。

また、高域処理部１７には、例えば子音のような非定常波形が入力される。高域と中域以下に分ける理由は、下記の通り音声の発生原理が異なるため、中域以下に集中する母音部分と高域に集中する子音部分というように帯域で処理を変えた方が、より定常性を判定しやすくなるからである。

音声の発生原理では、母音部分は声帯の周期運動を振動源として生成されるため、定常的な信号となる。しかし子音部分には、例えば摩擦音や破裂音などの声帯の振動を伴わないものもあり、子音の波形がランダムになる傾向にある。そのため、母音部分にランダムな波形が混在すると、ランダムな波形はノイズ成分となり、ピッチ検出に悪影響が出る。また、同じサンプル数でサンプリングした場合には、高周波は低周波に比べて信号の再現性に乏しいため、波形の崩れを招き、そのためにピッチの検出を誤る場合がある。

したがって、高域と中域以下に分けて、中域以下で定常性を判定する処理を行うことで、判定の精度を上げることができる。

高域処理部１７では、例えばターゲット音声の定常性部分すなわち母音部分において、摩擦音や破裂音などの通常現れない子音によるランダムな高周波波形を取り除く処理が行われる。

音声では通常、母音部分にレベルの大きな子音が存在することはない。したがって、たとえ複数音源からなる音声信号の母音部分から、ターゲットの音声を分離できたとしても、その母音部分にランダムな高周波波形が加わると、実際のターゲット音声とは異なるものに聞こえる場合がある。そこで高域処理部１７において、母音部分である定常性部分における高周波波形のゲインを下げる処理を行い、加算器１６で出来るだけ加算されないようにすることで、よりターゲット音声に近い出力を得ることができる。

フィルタ演算回路１５からの出力と、高域処理部１７からの出力とは、加算器１６で加算され、ターゲット音声の分離波形出力信号として出力端子１８より取り出される。

ここで、ステレオマイクロホンと音源（人物等）との関係について説明する。ステレオマイクロホンの間隔は特に指定していないが、一般的に持ち運べる機器の場合には、数cm〜数十cm内である。例えば、カメラ一体型ＶＴＲ（いわゆるビデオカメラ）などの携帯型機器に取り付けたステレオマイクロホンを用いて集音する場合、音源である人物を３つの区分（中央、左、右）に分けることにするとき、数十度ずつの区分であれば、どの位置に人物が配置されようともターゲット音源の分離の実現が可能である。マイクの間隔に関して、２本のマイクの到達間隔を考慮すると、間隔が広ければより多くの領域に分割することが可能であり、分離区分が多くなるが、持ち運びに不便であるという欠点がある。逆に、マイク間隔が狭くなると、区分は３つのように少なくなるが、持ち運びには便利になるという利点がある。

以上説明したような本発明の実施の形態において、ピッチ検出部１２の図１のローパスフィルタ（ＬＰＦ）２２、図１のフィルタ２０Ａ、２０Ｂは、１つのフィルタバンクにまとめるようにしてもよい。この場合、図２の遅延補正加算部２３は、図１の遅延補正加算部１３と共通化され、遅延補正加算部１３からの出力をフィルタバンクに送って、ピッチ検出用の低域と、分離フィルタのための中域以下と、高域処理のための高域とに分離するようにすればよい。

図１７は、上述したようなフィルタバンク部７３を用いた音源信号分離装置の具体例を示すブロック図である。

この図１７において、入力端子７１には、ステレオマイクロホンにより集音されたステレオ音声信号が入力され、所望のターゲット音源信号を強調する音源信号強調手段としての遅延補正加算部７２に送られる。この遅延補正加算部７２としては、上記図３と共に説明した構成を用いることができる。遅延補正加算部７２からの出力は、フィルタバンク部７３に送られる。フィルタバンク部７３は、帯域分割を行う部分であり、高域を出力するハイパスフィルタと、中域を出力するローパスフィルタと、低域を出力するローパスフィルタを用意する。例えば、高域とは子音帯域を通すような帯域であり、また中域以下は子音帯域以外の帯域であり、また低域とは中域よりも低い周波数帯域を示す。フィルタバンク部７３で分割された各帯域の信号内、低域信号は定常性判定部７４を介しピッチ検出器７５に送られ、中域以下の信号はフィルタ演算回路７７に送られ、高域信号は高域処理部７９に送られる。

ここで、上記図２と共に説明したピッチ検出部は、この図１７のフィルタバンク部７３内の低域を出力するローパスフィルタと、定常性判定部７４と、ピッチ検出器７５とを含むものであり、また図２の遅延補正加算部２３はローパスフィルタ（ＬＰＦ）２２の前段側に移されて、図１７の遅延補正加算部７２に相当している。すなわち、図１７の定常性判定部７４では、上述したように、連続する各ピッチが例えば誤差数％以内で連続する部分（定常性部分）を判定しており、この定常性部分が所定時間以上連続する（例えば２波長分の検出単位での連続性判定フラグが５回以上連続する）場合に、ピッチが有効であると判断し、そのときの代表ピッチをピッチ検出器７５から出力する。

音源信号分離部１９１内の分離係数作成部７６は、所望のターゲット音声を分離するための分離フィルタ（フィルタ演算回路７７）のフィルタ係数（分離係数）を、例えば上記（５）式に従って作成するものであり、上述した図１の分離係数作成部１４と同様である。この作成されたフィルタ係数が音源信号分離部１９１内のフィルタ演算回路７７に送られ、フィルタ演算回路７７では、フィルタバンク部７３からの中域以下の成分を入力し、上記図１のフィルタ演算回路１５と同様に、所望のターゲット音源からの音声信号を分離する。また、高域処理部７９は、子音等の非定常波形に対して処理を行うものであり、上述した図１の高域処理部１７と同様である。これらのフィルタ演算回路７７からの出力と、高域処理部７９からの出力とが加算器７８で加算され、分離波形出力として出力端子８０から取り出される。

このような実施の形態においては、定常性部分においてピッチを検出したが、実際の一人で話すような音声の特性上、混在波形にて定常性判定された部分を越えて時間軸に領域をもつ。上述の実施の形態においては、ピッチが検出される度に分離フィルタ係数を作成するものとしたが、実際に定常性判定部分のみにフィルタを適用するのでは、処理として不十分である。そこで、定常性判定の周辺にも係数を使い回すことで、より時間方向の分離力を高めるようにすることが好ましい。

例えば、図１８には、横軸を時間とし、母音部分にて検出された２つ定常性部分を示しており、一番目の定常性判定部分をＲＡ、二番目の定常性判定部分をＲＢとすると、その時に求められたフィルタ係数は各々異なる。このとき、定常性部分ＲＡのフィルタ係数を該定常性部分ＲＡの時間軸前後に適用し、定常性部分ＲＢの係数を該定常性部分ＲＢの時間軸前後に適用する。この時、前後に適用する領域に関しては、統計的データを用い、事前に決めることができる。例えば、高い周波数がピッチとして検出されれば、時間を長くもしくは短くし、低い周波数がピッチとして検出されれば、時間を短くもしくは長くといった具合いである。

図１９は実際の時間軸上の信号波形の具体例を示しす。図１９の（Ａ）はフィルタをかける前の波形を示し、矢印の範囲Ｒｐで定常性判定部分ならびに代表的なピッチが検出すなわち基本周波数が検出される。図１９の（Ｂ）には、そのピッチを基準に作成したバンドパスフィルタを通した波形を示し、矢印の部分Ｒｑにて同一係数を使用し領域をより拡大している。

更にターゲット音声の分離特性を向上させるために、ピッチ周波数の全ての倍音成分の帯域を通すと、ターゲット以外の音声が減衰しない場合がでてくるが、予め統計データを用いることで、ある倍音次数の帯域を足し込まないこともできる。

次に、本発明の実施の形態のさらに他の具体例について、図２０を参照しながら説明する。この図２０に示す音源信号分離装置は、上記図１７と共に説明した音源信号分離装置の構成に、話者判定及び領域指定に関する構成を付加したものであり、また、分離係数出力手段として、図１７の音源信号分離部１９１内の分離係数作成部７６の代わりに、音源信号分離部１９２内に係数メモリ・係数選択部８６を用いている。

この図２０の分離係数出力手段としての係数メモリ・係数選択部８６は、予め何種類かのピッチに応じて作成したおいた分離フィルタ係数をメモリに蓄積しておき、検出されたピッチに応じて対応する分離フィルタ係数を読み出すようにしたものである。これは、例えば、ピッチの値を複数の区分に分け、その区分内の代表ピッチに対して分離フィルタ係数を予め作成しておき、各区分毎の分離フィルタ係数をメモリに蓄積しておき、ピッチ検出によって求められたピッチが上記複数の区分のいずれの範囲内に入るかに応じて、対応する区分の分離フィルタ係数をメモリから読み出すようにすればよい。これによって、音源信号分離装置においては、検出されたピッチ毎に分離フィルタ係数を演算により作成する必要がなくなり、メモリアクセスによって高速に分離フィルタ係数を得ることができ、処理の高速化が図れる。

話者判定とは、複数の音源（複数の人）の内のターゲットとなる人からの音声（ターゲット音声）であるか否かを判別することであり、この実施の形態における話者判定部８２においては、基本的にＬＰＦ（ローパスフィルタ）８１を介した信号波形を用いている。このＬＰＦ８１を介した低域信号は、上記フィルタバンク部７３からピッチ検出するために取り出される低域と同様の帯域の信号とすればよい。本実施の形態の話者判定では、上述した図１、図３等の遅延補正加算の出力を用いて、上記（１）式と共に説明したような相関係数ｃｏｒの値を利用して一致度を見ることにより、ターゲットとなる人が話しているか否かを判定することができる。判定法の具体例としては、図２１の（ａ）に示すように、上述した定常性部分となる定常性判定領域の区間全体の相関値そのものの閾値で判定する方法や、図２１の（ｂ）に示すように、定常性判定領域を細かく区分し所定の閾値以上の出現確率で判定する方法や、図２１の（ｃ）に示すように、定常性判定領域に対して重複を許して複数の区間に区切り、その相関値の閾値以上の出現確率で判定する方法等が挙げられ、この他、波形の特徴化したデータの相関性も含めて判定するようにしてもよい。なお、遅延補正加算における遅延量を調整することで、複数の音源（複数の人）の各方向に適用することができ、誰が話しているかを判別することも可能である。

話者判定部８２からの出力は、定常性判定部７４及び領域指定部８３に送られる。定常性判定部７４では、定常性である部分が判定されると、時間軸座標データが得られ、その座標データが領域指定部８３に送られる。領域指定部８３では、話者が判定されると、その定常性判定部の領域よりも一定間隔だけ広めにとるような処理を加え、バッファ８４、８５にそのタイミングを知らせることで、領域の調整をする。バッファ８４はフィルタバンク部７３と音源信号分離部１９２内のフィルタ演算回路７７との間に挿入され、バッファ８５はフィルタバンク部７３と高域処理部７９との間に挿入されている。領域指定部８３により領域外と判定された時間（区間）に関しては、単にゲインを下げるだけで良い。ゲインの調整のしかたについては、例えば、フィルタ演算回路７７と同様のタップを用意し、中心以外のタップをゼロにし、中心のタップのみ１以外の係数にすればよい。また、１０分の１にするときは、中心のタップのみ０．１の係数にすればよい。

図２０の他の構成は、上述した図１７の構成と同様であるため、対応する部分に同じ指示符号を付して説明を省略する。

以上説明した本発明の音源信号分離装置の実施の形態の動作をまとめると、ステレオマイクに対する２音源以上の音源を対象とし、ターゲット人物の音声の分離を行うため、混在波形の母音のような定常性部分のピッチを検出している。この時、声の高低や男性女性は問わない。このピッチを基準としたターゲット音声の通過特性を得るためのバンドパス係数（分離フィルタ係数）を求めることで、ターゲット音声に関係する周波数軸上で山となる部分以外の帯域でターゲット音声以外の音が減衰される。また、演算速度を高めるために予め係数メモリを用意することで、係数の演算の手間が省ける。

次に、本発明の他の実施の形態に用いられる音源信号分離装置の具体例の概略構成を図２２に示す。

この図２２において、入力端子１１０には、マイクロホン等により集音された音響信号、具体的には例えばステレオマイクロホンにより集音されたステレオ音声信号が入力され、ピッチ検出部１２及び所望の音源信号を強調する音源信号強調手段としての遅延補正加算部１３に送られる。遅延補正加算部１３からの出力は、音源信号分離部１９０内の基本波形作成部１４０及び基本波形置き換え部１５０に送られ、基本波形作成部１４では、ピッチ検出部１２で検出されたピッチに基づいて基本波形が作成される。基本波形作成部１４０からの基本波形は、基本波形置き換え部１５０に送られ、遅延補正加算部１３からの音声信号の少なくとも一部（例えば後述する定常性部分）が基本波形に置き換えられて、出力端子１６０より分離波形出力信号として取り出される。

このような構成を有する音源信号分離装置の具体例において、ピッチ検出部１２および遅延補正加算部１３は上述した図１の構成と同様であるため、対応する部分に同じ指示符号を付して説明を省略する。

この図２２のピッチ検出部１２としては、上述した実施の形態のような２波長分の周期からピッチ検出を行うものを用いることができるが、これに限定されず、１波長分の周期を検出するものや、４波長以上の偶数波長分の周期を検出するものを用いてもよい。ピッチ検出の波長の数を多くとれば処理すべきサンプル数が増えるが、誤差が少なくなる利点がある。また、このようなピッチ検出部は、上記図２２に示したような音源信号分離装置のみならず、ピッチを検出することで音源信号分離をするような種々の音源信号分離装置に広く用いることができる。

基本波形作成部１４０では、ピッチ検出部１２で検出された定常性部分のピッチに基づいて基本波形が作成される。この基本波形としては、一般にピッチ波長の整数倍の波形が用いられるが、本実施の形態においては、後述するように、ピッチ波長の倍の波長の波形を用いている。次に、基本波形置き換え部１５０では、遅延補正加算部１３（あるいは入力端子１１０）からの音声信号の例えば上記定常性部分を、基本波形作成部１４０で作成された基本波形の繰り返し波形に置き換えることにより、所望の音源からの音声信号のみが強調されたような分離波形出力信号として、出力端子１６０に送っている。

次に、上記図２２の音源信号分離装置の動作の具体例について説明する。

このピッチ検出部１２では、ピッチ検出単位毎にピッチを求め、そのピッチが連続する連続区間あるいは定常性部分の座標（サンプル番号）を求めており、図２２のステレオマイクロホンを用いた音声信号分離装置は、これらの情報から、２音源以上の信号波形を分離するようにしたものである。

ここで、前述したように、マイクロホン毎にターゲット音声に対して遅延量補正を行って位相を合わせ、これらを足し込むことで、ターゲット音声を強調し、その他の音声は相対的に減衰される。この点を踏まえて、上記定常性部分の信号波形を上記ピッチ検出単位を周期として足し込むことで、この定常性部分の基本波形を作ることができる。

すなわち、図２２の遅延補正加算部１３では、上記図３と共に説明したように、ターゲット音源から各マイクロホンへの音の伝搬遅延時間の差をなくすように遅延量補正を行い、これらを加算して出力している。基本波形作成部１４０では、遅延補正加算部１３からの出力信号波形を、ピッチ検出部１２からの情報に基づいて処理することで基本波形作成を行っており、具体的には、上記ピッチ連続区間あるいは定常性部分の信号波形を、上記ピッチ検出単位を周期として足し込むことで、基本波形を作成している。図２３の実線の波形ａは、このようにして作成された基本波形の一例を示しており、上記図５に示したような２波長分の波形の６個分（例えば周期Ｔｙ(１)〜Ｔｙ(６)に相当）を足し込んで平均化した波形を示している。また、図２３の破線の波形ｂは、参考として本来のターゲット音声の波形を示している。この図２３から明らかなように、上記ピッチ連続区間あるいは定常性部分の信号波形をピッチ検出単位である２波長を周期として足し込むことにより作成された基本波形ａは、本来のターゲット音声の波形ｂに極めて近似したものが得られていることが分かる。この基本波形は、ターゲット音声に関しては位相がずれずに足し込まれるので、保存または強調されるが、他の音に関しては、位相がずれた音声を足し込むことになるので、減衰効果を示す。この時、ピッチ検出を２波長単位で行い、基本波形作成も２波長単位で行うことが好ましい理由としては、作成された基本波形には、ピッチ周期Ｔｘよりも周期の長いＴｙの成分も保存されるからである。

次の基本波形置き換え部１５０では、遅延補正加算部１３からの出力信号波形の内の上記ピッチ連続区間あるいは定常性部分を、上記基本波形作成部１４０で作成された基本波形の繰り返し波形で置き換えている。図２４の実線の波形ａは、基本波形置き換え部１５０にて置き換える基本波形の繰り返し波形の例を示しており、図２４の破線の波形ｂは、参考として本来のターゲット音声の波形を示している。

このように、ピッチ連続区間あるいは定常性部分が基本波形で置き換えられた基本波形置き換え部１５０からの出力波形信号は、ターゲット音声の分離出力波形信号として、出力端子１６０より取り出される。

図２５は、このような音声信号分離装置の動作を概略的に示すフローチャートである。この図２５において、最初のステップＳ６１で、例えば上述したような２波長分を検出単位とするピッチ検出を行い、次のステップＳ６２で連続性ありか否かの判別を行い、ＮＯのときはピッチ検出のステップＳ６１に戻り、ＹＥＳのときはステップＳ６３以降に進む。ステップＳ６３では、上記ピッチ検出により得られた各ピッチ検出単位の始点と終点の座標を入力し、ステップＳ６４で、これらの各ピッチ検出単位の信号波形を足し込んで平均化することにより基本波形を作成し、次のステップＳ６５で、上述したような基本波形の置き換え処理を行っている。

なお、ステレオマイクロホンと音源（人物等）との関係についは、前述と同様であるので説明を省略する。

以上説明した本発明の音源信号分離装置の実施の形態の動作をまとめると、ステレオマイクに対する２音源以上の音源を対象とし、ターゲット人物の音声の分離を行うため、混在波形の母音のような定常性部分のピッチを検出している。この時、声の高低や男性女性は問わない。この前ピッチとの誤差が少ない場合は連続性と判断し、その連続部分を足し込み平均をし、出来上がった波形を基本波形とし、もとの波形と置き換える。置き換え波形は足し込むほど混在波形は減衰し、ターゲットの音のみが強調され分離を実現することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、上述したピッチ検出は、２波長周期のみならず、４波長等の２の倍数波長を周期として行うようにしてもよく、この場合、４波長以上とすると、より誤差が少なくなるが、処理すべきサンプル数が増えることを考慮して、適宜ピッチ検出周期を設定すればよい。また、このようなピッチ検出の構成は、上記実施の形態の音源信号分離装置だけでなく、ピッチを検出することで音源信号を分離する種々の装置に広く用いることが可能である。この他、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の実施の形態となる音源信号分離装置の概略構成を示すブロック図である。 本発明の実施の形態に用いられるピッチ検出装置の構成例を示すブロック図である。 本発明の実施の形態に用いられる遅延補正加算部の構成例を示すブロック図である。 本発明の実施の形態に用いられる遅延補正加算部の動作を説明するための音声信号波形を示す図である。 本発明の実施の形態に用いられる音声信号の時間軸上の波形を示す波形図である。 図５に示す音声信号の周波数軸上のスペクトルを示す図である。 ピッチ周波数が約６５０Ｈｚの音声信号の時間軸上の波形を示す波形図である。 図７に示す音声信号の周波数軸上のスペクトルを示す図である。 ピッチ周波数が約５８０Ｈｚの音声信号の時間軸上の波形を示す波形図である。 図９に示す音声信号の周波数軸上のスペクトルを示す図である。 本発明の実施の形態において２波長を検出単位としてピッチ検出を行う理由を説明するための音声信号波形を示す図である。 本発明の実施の形態におけるピッチ検出処理の動作の一例を説明するためのフローチャートである。 音声信号波形の極大値及び極小値を説明するための波形図である。 ２波長分のピッチ検出単位毎に検出される情報の具体例を示す図である。 分離係数作成部にて作成したフィルタ係数を用いた分離フィルタの周波数特性の具体例を示す図である。 分離係数作成部にて作成したフィルタ係数の具体例を示す図である。 本発明の実施の形態における音源信号分離装置の他の具体例を示すブロック図である。 定常性部分のフィルタ係数の時間軸上での拡張を説明するために図である。 時間軸上の信号波形の具体例を示す波形図である。 本発明の実施の形態における音源信号分離装置のさらに他の具体例を示すブロック図である。 定常性判定領域と話者判定との関係を説明するための図である。 本発明の実施の形態となる音源信号分離装置の概略構成を示すブロック図である。 基本波形作成部により作成される基本波形の一例を示す波形図である。 基本波形置き換え部により置き換えられる基本波形の繰り返し波形の一例を示す波形図である。 本発明の実施の形態における音源信号分離処理の一例を説明するためのフローチャートである。 ３人の人物を音源とするときのステレオマイクロホンによる集音の具体例を示す図である。

符号の説明

１２ ピッチ検出部、 １３，２３，７２ 遅延補正加算部、 １４，７６ 分離係数作成部、 １５，７７ フィルタ演算回路、 １７，７９ 高域処理部、 １９，１９０，１９１，１９２ 音源信号分離部、 ２４ 極大値検出部、 ２５ 極大値のゼロクロス間最大値検出部、 ２６ 最大値間ピッチ検出部、 ２７ 連続判定部、 ７３ フィルタバンク部、 ７４ 定常性判定部、 ８６ 係数メモリ・係数選択部、 １４０ 基本波形作成部、 １５０ 基本波形置き換え部

Claims (20)

1. 複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の内の所望の音源信号を強調する音源信号強調手段と、
   上記入力音響信号の内の上記所望の音源信号のピッチを検出するピッチ検出手段と、
   検出された上記ピッチと上記音源信号強調手段により強調された音源信号とに基づいて、上記入力音響信号から上記所望の音源信号を分離する音源信号分離手段と
   を有することを特徴とする音源信号分離装置。
2. 上記音源信号分離手段は、
   上記音源信号強調手段からの出力信号から上記所望の音源信号を分離するフィルタ手段と、
   上記ピッチ検出手段からの検出情報に基づき、上記フィルタ手段のフィルタ係数を出力するフィルタ係数出力手段と
   を有することを特徴とする請求項１記載の音源信号分離装置。
3. 上記フィルタ係数出力手段は、上記フィルタ手段の周波数特性を、上記ピッチ検出手段により検出されたピッチの周波数の整数倍の周波数成分を通過させる特性とするフィルタ係数を出力することを特徴とする請求項２記載の音源信号分離装置。
4. 上記フィルタ係数出力手段は、予め何種類かのピッチに応じたフィルタ係数が蓄積された記憶手段を備え、上記ピッチ検出手段により検出されたピッチに応じて上記記憶手段から該ピッチに対応するフィルタ係数を読み出して出力することを特徴とする請求項３記載の音源信号分離装置。
5. 上記音源信号強調手段からの出力信号の子音帯域を処理する高域処理手段と、
   上記音源信号強調手段からの出力信号の子音帯域を取り出して上記高域処理手段に送り、上記音源信号強調手段からの出力信号の子音以外の帯域を取り出して上記フィルタ手段に送り、上記音源信号強調手段からの出力信号の母音帯域を取り出して上記ピッチ検出手段に送るフィルタバンク手段と
   をさらに有することを特徴とする請求項２記載の音源信号分離装置。
6. 上記複数の集音手段は、左右のステレオマイクロホンであることを特徴とする請求項２記載の音源信号分離装置。
7. 上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することを特徴とする請求項２記載の音源信号分離装置。
8. 上記ピッチ検出手段は、上記所望の音源信号のピッチの２波長分を検出単位としてピッチ検出を行うことを特徴とする請求項２記載の音源信号分離装置。
9. 上記音源信号分離手段は、
   上記音源信号強調手段からの出力信号中の少なくともほぼ同じピッチが連続する定常性部分を用い、上記ピッチ検出手段からの検出情報に基づき、基本波形を作成する基本波形作成手段と、
   上記入力音響信号に基づく信号の少なくとも一部を、上記基本波形作成手段により作成された基本波形の繰り返し波形で置き換えて出力する基本波形置き換え手段と
   を有することを特徴とする請求項１記載の音源信号分離装置。
10. 上記ピッチ検出手段は、上記所望の音源信号のピッチの２波長分を検出単位としてピッチ検出を行うことを特徴とする請求項９記載の音源信号分離装置。
11. 上記複数の集音手段は、左右のステレオマイクロホンであることを特徴とする請求項９記載の音源信号分離装置。
12. 上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することを特徴とする請求項９記載の音源信号分離装置。
13. 上記基本波形作成手段は、上記所望の音源信号のピッチが連続する定常性部分について、ピッチの２波長分を単位として加算し平均化することにより基本波形を作成することを特徴とする請求項９記載の音源信号分離装置。
14. 複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の内の所望の音源信号を強調する工程と、
    上記入力音響信号の内の上記所望の音源信号のピッチを検出する工程と、
    検出された上記ピッチと上記強調する工程で強調された音源信号とに基づいて、上記入力音響信号から上記所望の音源信号を分離する工程と
    を有することを特徴とする音源信号分離方法。
15. 複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の所望の音源信号を強調する音源信号強調手段と、
    上記音源強調手段からの出力信号中のピッチの２波長分を検出単位として２波長周期を検出する周期検出手段と、
    上記周期検出手段により検出された２波長周期の変化に基づき少なくともほぼ同じピッチが連続しているか否かを判定し、判定結果に応じてピッチ情報を出力する連続判定手段と
    を有することを特徴とするピッチ検出装置。
16. 上記複数の集音手段は、左右のステレオマイクロホンであることを特徴とする請求項１５記載のピッチ検出装置。
17. 上記音源信号強調手段は、上記複数の集音手段からの音響信号に対して、上記所望の音源から上記複数の集音手段までの音の伝搬の遅延時間差を補正して加算することにより、上記所望の音源からの音響信号のみを強調することを特徴とする請求項１５記載のピッチ検出装置。
18. 複数の音源からの音響信号が混合されて複数の集音手段により集音された入力音響信号の所望の音源信号を強調する音源信号強調工程と、
    上記音源強調工程により得られる出力信号中のピッチの２波長分を検出単位として２波長周期を検出する周期検出工程と、
    上記周期検出工程により検出された２波長周期の変化に基づき少なくともほぼ同じピッチが連続しているか否かを判定し、判定結果に応じてピッチ情報を出力する連続判定工程と
    を有することを特徴とするピッチ検出方法。
19. 複数の音源からの音響信号が混合されてなる入力音響信号の所望の音源信号のピッチの２の倍数の波長分を検出単位としてピッチ検出を行うピッチ検出手段と、
    検出された上記ピッチに基づいて所望の音源信号を分離する音源信号分離手段と
    を有することを特徴とする音源信号分離装置。
20. 複数の音源からの音響信号が混合されてなる入力音響信号の所望の音源信号のピッチの２の倍数の波長分を検出単位としてピッチ検出を行う工程と、
    検出された上記ピッチに基づいて所望の音源信号を分離する工程と
    を有することを特徴とする音源信号分離方法。

Images