Nothing Special   »   [go: up one dir, main page]

JP5172536B2 - 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 - Google Patents

残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 Download PDF

Info

Publication number
JP5172536B2
JP5172536B2 JP2008214462A JP2008214462A JP5172536B2 JP 5172536 B2 JP5172536 B2 JP 5172536B2 JP 2008214462 A JP2008214462 A JP 2008214462A JP 2008214462 A JP2008214462 A JP 2008214462A JP 5172536 B2 JP5172536 B2 JP 5172536B2
Authority
JP
Japan
Prior art keywords
time series
impulse response
estimated value
estimated
original sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008214462A
Other languages
English (en)
Other versions
JP2010049102A (ja
Inventor
弘和 亀岡
智広 中谷
拓也 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008214462A priority Critical patent/JP5172536B2/ja
Publication of JP2010049102A publication Critical patent/JP2010049102A/ja
Application granted granted Critical
Publication of JP5172536B2 publication Critical patent/JP5172536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音響信号から残響成分を除去する残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体に関する。
音響信号から残響成分を除去する方法は、これまでさまざまなアプローチが提案されている。例えば、単一のマイクロホンに入力された音響信号に対して動作するアプローチとしては、クリーン音声に関する仮定やモデル(調波性、スパース性、自己回帰モデル、自己相関関数コードブックなど)に基づいて、復元音声ができるだけクリーンな音声らしさを有するように室内インパルス応答の逆フィルタを推定するものが知られている(例えば、非特許文献1参照)。一般的に、室内インパルス応答は音源位置に応じて時々刻々と著しく変化することがあるため、非特許文献1に記載されている技術においては、短い観測信号から、いかに頑健に逆フィルタを推定できるかが重要課題となっている。
また、音響信号から残響成分を除去する方法としては、サブバンドごとのパワー時間包絡に対して逆フィルタリングを行なう技術も知られている(例えば、非特許文献2、非特許文献3参照)。非特許文献2および非特許文献3に記載の技術は、室内インパルス応答の中でも音源位置に応じて著しく変化するのは特に位相スペクトルであり、振幅スペクトルないしパワースペクトルに関しては比較的影響を受けにくいという仮説を基礎としている。パワー包絡の畳み込みモデルは近似的にしか成り立たないものであるため、残響除去精度に関してはある程度の限界があることが予想されるが、クリーン音声らしさを規準として室内インパルス応答の逆フィルタを推定する非特許文献1に記載の技術に比べて、音源位置などの変化に対してある程度頑健に動作する可能性がある。
T.Nakatani,B.Juang,T.Hikichi,T.Yoshioka,K.Kinoshita,M.Delcroix,M.Miyoshi,"Study on Speech Dereverberation with Autocorrelation Codebook,"in Proc.ICASSP 2007,pp.193−197,2007. 広林茂樹,野村博昭,小池恒彦,東山三樹夫,"パワーエンベエロープ伝達関数の逆フィルタ処理による残響音声の回復,"電子情報通信学会論文誌,Vol.J81−A,No.10,pp.1323−1330,1998. M.Unoki,M.Furukawa,K.Sakata,M.Akagi,"A Method Based on the MTF Concept for Dereverberating the Power Envelope from the Reverberant Signal,"in Proc.ICASSP 2003,Vol.1,pp.888−891,2003.
非特許文献2および非特許文献3の技術では、残響成分のパワー包絡をパラメトリックな関数でモデル化しており、非特許文献3の技術では、そのパラメータを変調度と呼ぶ尺度をもとに推定している。しかしながら、実環境では音源の移動や室温変化などに伴って残響環境の変化があるため、実際の残響成分がこれらの関数クラスに理想的に従うことは極めて稀である。よって、これらの技術では良好に残響を除去することが必ずしも保証されないという問題がある。
本発明はこのような事情に鑑みてなされたものであり、音源の移動や室温変化などに伴う残響環境の変化に柔軟に対応しつつ残響を除去することが可能な残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体を提供することを目的とする。
本発明は、音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成部と、周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定部と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出部と、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新部と、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新部と、前記室内インパルス応答更新部が更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新部が更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化部と、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定部と、前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力部と、を備え、前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出部は前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新部は前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新することを特徴とする残響除去装置である。
また、本発明の残響除去装置において、前記室内インパルス応答更新部は、周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出部と、周波数チャネルごとに、前記残響音パワー推定値時系列と前記音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出部と、周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、を備えることを特徴とする。
また、本発明の残響除去装置において、前記室内インパルス応答更新部は、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出部と、周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出部と、周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、を備えることを特徴とする。
また、本発明の残響除去装置において、前記原音パワー推定値時系列更新部は、周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出部と、周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出部と、周波数チャネルごとに、前記観測音・推定インパルス応答相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、を備えることを特徴とする。
また、本発明の残響除去装置において、前記原音パワー推定値時系列更新部は、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出部と、周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出部と、周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、を備えることを特徴とする。
また、本発明は、観測パワー時系列生成部が、音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成ステップと、初期設定部が、周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定ステップと、残響音パワー推定値時系列算出部が、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出ステップと、室内インパルス応答更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新ステップと、原音パワー推定値時系列更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新ステップと、パラメータ規格化部が、前記室内インパルス応答更新ステップで更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新ステップで更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化ステップと、収束判定部が、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定ステップと、前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、パラメータ出力部が当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力ステップと、を有し、前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出ステップで前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新ステップで前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新することを特徴とする残響除去方法である。
また、本発明の残響除去方法において、前記室内インパルス応答更新ステップは、観測音・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出ステップと、推定残響音・推定原音間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出ステップと、室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、を含むことを特徴とする。
また、本発明の残響除去方法において、前記室内インパルス応答更新ステップは、モデル化誤差比系列・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出ステップと、推定原音部分和系列算出部が、周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出ステップと、室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、を含むことを特徴とする。
また、本発明の残響除去方法において、前記原音パワー推定値時系列更新ステップは、観測音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出ステップと、スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出ステップと、原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記観測音・推定インパルス応答相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、を含むことを特徴とする。
また、本発明の残響除去方法において、前記原音パワー推定値時系列更新ステップは、モデル化誤差比系列・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出ステップと、スパース補正項つき推定インパルス応答部分和系列算出部が、周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出ステップと、原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、を含むことを特徴とする。
また、本発明は、コンピュータを、残響除去装置として動作させるためのコンピュータプログラムである。
また、本発明は、コンピュータを、残響除去装置として動作させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、音源の移動や室温変化などに伴う残響環境の変化に柔軟に対応しつつ残響を除去することができる。また、残響環境に変化がない場合でも、従来と同等に残響を除去することができる。また、残響除去の計算を高速に行うことができる。
以下、図面を参照し、本発明の一実施形態について説明する。本実施形態では、定数λ、p、C、Cをあらかじめ定めていることを前提とする。また、時刻のインデックスを(式1)とする。また、周波数のインデックスを(式2)とする。また、原信号のパワースペクトル時系列(以後、原音パワー推定値時系列と記す)をS(ω,t)とする。また、室内伝達系のインパルス応答のスペクトログラム(以後、室内インパルス応答推定値と記す)をG(ω,t)とする。なお、(式3)は整数全体の集合を示す。
Figure 0005172536
図1は、本実施形態における残響除去装置の機能ブロック図である。同図に示す残響除去装置は、観測パワー時系列生成部1と、初期設定部2と、残響音パワー推定値時系列算出部3と、室内インパルス応答更新部4と、原音パワー推定値時系列更新部5と、パラメータ規格化部6と、収束判定部7と、パラメータ出力部8とを備える。残響除去装置は、図示せぬマイクロホンなどから音響信号の入力を受け付け、この音響信号から室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)とを算出し、出力する。
はじめに、観測パワー時系列生成部1は、音響信号の入力を受け付け、入力された音響信号のパワースペクトルの時間周波数成分を出力する。なお、この時間周波数成分をY(ω,t)と表す。また、Y(ω,t)を観測パワー時系列と呼ぶ。ω=1,・・・,Ωを周波数に対応するインデックスとする。また、t=1,・・・,Tを周波数に対応するインデックスとする。観測パワー時系列生成部1は、短時間Fourier変換やウェーブレット変換など、複数チャネルのフィルタバンク出力による時間周波数分解手段により時間周波数成分Y(ω,t)を計算する。
続いて、初期設定部2は、原音パワー推定値時系列S(ω,t)と室内インパルス応答推定値G(ω,t)の初期値を設定し、出力する。これらの値は、乱数により設定してもよいが、原音パワー推定値時系列S(ω,t)の初期値は、観測パワー時系列生成部1が出力したY(ω,t)と等しくなるように設定するのが好適である。また、室内インパルス応答推定値G(ω,t)の初期値は、指数関数などのようにt=1で最大値をとり、tが増えるに従って小さくなるように設定するのが好適である。
続いて、残響音パワー推定値時系列算出部3は、初期設定部2もしくは後述するパラメータ規格化部6が出力した原音パワー推定値時系列S(ω,t)と室内インパルス応答推定値G(ω,t)の入力を受け付ける。続いて、残響音パワー推定値時系列算出部3は、(式4)を用いて畳み込みにより残響音パワー推定値時系列X(ω,t)を算出し、出力する。
Figure 0005172536
ここで、系列F(ω,1),F(ω,2),・・・に対する離散Fourier変換F´(ω,k)を(式5)と表記する。また、系列F´(ω,1),F´(ω,2),・・・に対する離散逆Fourier変換F(ω,t)を(式6)と表記する。これにより、残響音パワー推定値時系列X(ω,t)は(式7)と言える。よって、FFT(Fast Fourier Transform)により、残響音パワー推定値時系列X(ω,t)を高速に計算することができる。
Figure 0005172536
また、(式8)および(式9)は、それぞれS(ω,t)およびG(ω,t)に対し、循環畳み込みの影響を減らす目的で適当に零詰したものを表す。具体的には、(式10)および(式11)である。ただし、Mωは(式8)および(式9)の時刻インデックス数である。
Figure 0005172536
続いて、室内インパルス応答更新部4は、観測パワー時系列生成部1が出力した観測パワー時系列Y(ω,t)と、初期設定部2もしくは後述するパラメータ規格化部6が出力した原音パワー推定値時系列S(ω,t)と室内インパルス応答推定値G(ω,t)と、残響音パワー推定値時系列算出部3が出力した残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、室内インパルス応答更新部4は、室内インパルス応答推定値G(ω,t)を更新し、出力する。具体的な室内インパルス応答推定値G(ω,t)の更新方法については、図2および図3を参照して説明する。
図2および図3は、室内インパルス応答更新部4が備える機能ブロックの構成例を示した図である。はじめに、図2に示した構成例について説明する。図2に示した例では、室内インパルス応答更新部4は、観測音・推定原音間相関関数算出部41と、推定残響音・推定原音間相関関数算出部42と、室内インパルス応答推定値更新係数算出部43と、室内インパルス応答推定値更新値出力部44とを備えている。
観測音・推定原音間相関関数算出部41は、観測パワー時系列Y(ω,t)と、原音パワー推定値時系列S(ω,t)との入力を受け付ける。続いて、観測音・推定原音間相関関数算出部41は(式12)の計算を行い、観測音・推定原音間相関関数RSY(ω,τ)を出力する。
Figure 0005172536
続いて、推定残響音・推定原音間相関関数算出部42は、原音パワー推定値時系列S(ω,t)と、残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、推定残響音・推定原音間相関関数算出部42は(式13)の計算を行い、推定残響音・推定原音間相関関数RSX(ω,τ)を出力する。
Figure 0005172536
続いて、室内インパルス応答推定値更新係数算出部43は、観測音・推定原音間相関関数算出部41が出力した観測音・推定原音間相関関数RSY(ω,τ)と、推定残響音・推定原音間相関関数算出部42が出力した推定残響音・推定原音間相関関数RSX(ω,τ)との入力を受け付ける。続いて、室内インパルス応答推定値更新係数算出部43は、(式14)の計算を行い、室内インパルス応答推定値更新係数α(ω,t)を出力する。
Figure 0005172536
続いて、室内インパルス応答推定値更新値出力部44は、室内インパルス応答推定値G(ω,t)と、室内インパルス応答推定値更新係数算出部43が出力した室内インパルス応答推定値更新係数α(ω,t)との入力を受け付ける。続いて、室内インパルス応答推定値更新値出力部44は(式15)の計算を行い、更新後の室内インパルス応答推定値G(ω,t)を出力する。ただし、「←」は代入を意味する。
Figure 0005172536
次に、図3に示した構成例について説明する。図3に示した例では、室内インパルス応答更新部4は、モデル化誤差比系列・推定原音間相関関数算出部45と、推定原音部分和系列算出部46と、室内インパルス応答推定値更新係数算出部47と、室内インパルス応答推定値更新値出力部48とを備えている。
モデル化誤差比系列・推定原音間相関関数算出部45は、観測パワー時系列Y(ω,t)と、原音パワー推定値時系列S(ω,t)と、残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、モデル化誤差比系列・推定原音間相関関数算出部45は(式16)の計算を行い、モデル化誤差比系列・推定原音間相関関数LSY/X(ω,τ)を出力する。
Figure 0005172536
続いて、推定原音部分和系列算出部46は、原音パワー推定値時系列S(ω,t)の入力を受け付ける。続いて、推定原音部分和系列算出部46は(式17)の計算を行い、推定原音部分和系列L(ω,τ)を出力する。
Figure 0005172536
続いて、室内インパルス応答推定値更新係数算出部47は、モデル化誤差比系列・推定原音間相関関数算出部45が出力したモデル化誤差比系列・推定原音間相関関数LSY/X(ω,τ)と、推定原音部分和系列算出部46が出力した推定原音部分和系列L(ω,τ)との入力を受け付ける。続いて、室内インパルス応答推定値更新係数算出部47は(式18)の計算を行い、室内インパルス応答推定値更新係数β(ω,t)を出力する。
Figure 0005172536
続いて、室内インパルス応答推定値更新値出力部48は、室内インパルス応答推定値G(ω,t)と、室内インパルス応答推定値更新係数算出部47が出力した室内インパルス応答推定値更新係数β(ω,t)との入力を受け付ける。続いて、室内インパルス応答推定値更新値出力部48は(式19)の計算を行い、更新後の室内インパルス応答推定値G(ω,t)を出力する。ただし、「←」は代入を意味する。
Figure 0005172536
図2および図3を参照して説明したとおり、室内インパルス応答更新部4は、室内インパルス応答推定値G(ω,t)を更新し、出力する。
以下、図1の説明に戻る。続いて、原音パワー推定値時系列更新部5は、観測パワー時系列生成部1が出力した観測パワー時系列Y(ω,t)と、初期設定部2もしくは後述するパラメータ規格化部6が出力した原音パワー推定値時系列S(ω,t)と室内インパルス応答推定値G(ω,t)と、残響音パワー推定値時系列算出部3が出力した残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、原音パワー推定値時系列更新部5は、原音パワー推定値時系列S(ω,t)を更新し、出力する。具体的な原音パワー推定値時系列S(ω,t)の更新方法については、図4および図5を参照して説明する。
図4および図5は、原音パワー推定値時系列更新部5が備える機能ブロックの構成例を示した図である。はじめに、図4に示した構成例について説明する。図4に示した例では、原音パワー推定値時系列更新部5は、観測音・推定インパルス応答間相関関数算出部51と、スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部52と、原音パワー推定値時系列更新係数算出部53と、原音パワー推定値時系列更新値出力部54とを備えている。
観測音・推定インパルス応答間相関関数算出部51は、観測パワー時系列Y(ω,t)と、室内インパルス応答推定値G(ω,t)との入力を受け付ける。続いて、観測音・推定インパルス応答間相関関数算出部51は(式20)の計算を行い、観測音・推定インパルス応答間相関関数RGY(ω,τ)を出力する。
Figure 0005172536
続いて、スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部52は、原音パワー推定値時系列S(ω,t)と、室内インパルス応答推定値G(ω,t)と、残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部52は(式21)の計算を行い、スパース補正項つき推定残響音・推定インパルス応答間相関関数RGX(ω,τ)を出力する。
Figure 0005172536
続いて、原音パワー推定値時系列更新係数算出部53は、観測音・推定インパルス応答間相関関数算出部51が出力した観測音・推定インパルス応答間相関関数RGY(ω,τ)と、スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部52が出力したスパース補正項つき推定残響音・推定インパルス応答間相関関数RGX(ω,τ)との入力を受け付ける。続いて、原音パワー推定値時系列更新係数算出部53は(式22)の計算を行い、原音パワー推定値時系列更新係数α(ω,t)を出力する。
Figure 0005172536
続いて、原音パワー推定値時系列更新値出力部54は、原音パワー推定値時系列S(ω,t)と、原音パワー推定値時系列更新係数算出部53が出力した原音パワー推定値時系列更新係数α(ω,t)との入力を受け付ける。続いて、原音パワー推定値時系列更新値出力部54は(式23)の計算を行い、更新後の原音パワー推定値時系列S(ω,t)を出力する。ただし、「←」は代入を意味する。
Figure 0005172536
次に、図5に示した構成例について説明する。図5に示した例では、原音パワー推定値時系列更新部5は、モデル化誤差比系列・推定インパルス応答間相関関数算出部55と、スパース補正項つき推定インパルス応答部分和系列算出部56と、原音パワー推定値時系列更新係数算出部57と、原音パワー推定値時系列更新値出力部58とを備えている。
モデル化誤差比系列・推定インパルス応答間相関関数算出部55は、観測パワー時系列Y(ω,t)と、室内インパルス応答推定値G(ω,t)と、残響音パワー推定値時系列X(ω,t)との入力を受け付ける。続いて、モデル化誤差比系列・推定インパルス応答間相関関数算出部55は(式24)の計算を行い、モデル化誤差比系列・推定インパルス応答間相関関数LGY/X(ω,τ)を出力する。
Figure 0005172536
続いて、スパース補正項つき推定インパルス応答部分和系列算出部56は、原音パワー推定値時系列S(ω,t)と、室内インパルス応答推定値G(ω,t)との入力を受け付ける。続いて、スパース補正項つき推定インパルス応答部分和系列算出部56は、(式25)の計算を行い、スパース補正項つき推定インパルス応答部分和系列L(ω,τ)を出力する。
Figure 0005172536
続いて、原音パワー推定値時系列更新係数算出部57は、モデル化誤差比系列・推定インパルス応答間相関関数算出部55が出力したモデル化誤差比系列・推定インパルス応答間相関関数LGY/X(ω,τ)と、スパース補正項つき推定インパルス応答部分和系列算出部56が出力したスパース補正項つき推定インパルス応答部分和系列L(ω,τ)との入力を受け付ける。続いて、原音パワー推定値時系列更新係数算出部57は、(式26)の計算を行い、原音パワー推定値時系列更新係数β(ω,t)を出力する。
Figure 0005172536
続いて、原音パワー推定値時系列更新値出力部58は、原音パワー推定値時系列S(ω,t)と、原音パワー推定値時系列更新係数算出部57が出力した原音パワー推定値時系列更新係数β(ω,t)との入力を受け付ける。続いて、原音パワー推定値時系列更新値出力部58は(式27)の計算を行い、更新後の原音パワー推定値時系列S(ω,t)を出力する。ただし、「←」は代入を意味する。
Figure 0005172536
図4および図5を参照して説明したとおり、原音パワー推定値時系列更新部5は、原音パワー推定値時系列S(ω,t)を更新し、出力する。
以下、図1の説明に戻る。続いて、パラメータ規格化部6は、室内インパルス応答更新部4が出力した室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列更新部5が出力した原音パワー推定値時系列S(ω,t)との入力を受け付ける。続いて、パラメータ規格化部6は(式28)の計算を行い、入力を受け付けた室内インパルス応答推定値G(ω,t)を修正し、修正後の室内インパルス応答推定値G(ω,t)を出力する。また、パラメータ規格化部6は(式29)の計算を行い、入力を受け付けた原音パワー推定値時系列S(ω,t)を修正し、修正後の原音パワー推定値時系列S(ω,t)を出力する。
Figure 0005172536
上述した、残響音パワー推定値時系列算出部3と、室内インパルス応答更新部4と、原音パワー推定値時系列更新部5と、パラメータ規格化部6とが、この順に各々の処理を繰り返し実行することで、パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が向上する。
続いて、収束判定部7は、パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分であるか否かを判定する。収束判定部7が、パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分であると判定した場合、後述するパラメータ出力部8が処理を実行する。収束判定部7が、パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分ではないと判定した場合、再度、残響音パワー推定値時系列算出部3と、室内インパルス応答更新部4と、原音パワー推定値時系列更新部5と、パラメータ規格化部6とが、この順に各々の処理を実行する。
パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分であるか否かの判定方法としては、以下の方法がある。
例えば、収束判定部7は、残響音パワー推定値時系列算出部3と、室内インパルス応答更新部4と、原音パワー推定値時系列更新部5と、パラメータ規格化部6とが、所定の回数以上処理を行ったか否かを判定する。続いて、収束判定部7は、所定の回数以上処理を行ったと判定した場合、室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分であると判定し、それ以外は精度が十分ではないと判定する。
また、例えば、収束判定部7は、パラメータ規格化部6が更新する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)の変化率が所定値以下であるか否かを判定する。続いて、収束判定部7は、目的関数の変化率が所定値以下である場合は室内インパルス応答推定値G(ω,t)と原音パワー推定値時系列S(ω,t)との精度が十分であると判定し、それ以外は精度が十分ではないと判定する。
また、例えば、収束判定部7は目的関数を算出し、算出した目的関数の変化率が所定値以下であるか否かを判定する。続いて、収束判定部7は、目的関数の変化率が所定値以下である場合は室内インパルス応答推定値G(ω,t)と原音パワー推定値時系列S(ω,t)との精度が十分であると判定し、それ以外は精度が十分ではないと判定する。収束判定部7は、(式30)または(式31)を算出し、目的関数J(S,G)またはK(S,G)を算出する。ただし、Λ={1,・・・,Ω}、Γ={1,・・・,T}である。目的関数J(S,G)とK(S,G)を最小化する乗法更新アルゴリズムについては後述する。
Figure 0005172536
パラメータ出力部8は、収束判定部7が、パラメータ規格化部6が出力する室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)との精度が十分であると判定した場合、この室内インパルス応答推定値G(ω,t)と、原音パワー推定値時系列S(ω,t)とを出力する。
次に、目的関数J(S,G)およびK(S,G)を最小化する乗法更新アルゴリズムについて説明する。上述したとおり、本実施形態では、時刻のインデックスを(式32)とする。また、周波数のインデックスを(式33)とする。また、原信号のパワースペクトル時系列をS(ω,t)とする。以下、パワースペクトル時系列をスペクトログラムと記す。また(式34)は整数全体の集合を示す。また、残響音声のスペクトログラムをX(ω,t)とする。また、室内伝達系のインパルス応答のスペクトログラム(以後、室内インパルス応答と記す)をG(ω,t)とする。また、残響音声のスペクトログラムX(ω,t)は、室内インパルス応答G(ω,t)を用いて近似的に(式35)で表されるとする。
Figure 0005172536
音声観測スペクトログラムがY(ω,t)のとき、X(ω,t)≒Y(ω,t)で、かつ、原信号のスペクトログラムS(ω,t)ができるだけスパースとなるような非負のインパルス応答G(ω,t)を求めるのが本実施形態での目的である。そこで、(式36)と(式37)で示した範囲の音声観測スペクトログラムY(ω,t)を近似する問題を考え、原信号のスペクトログラムS(ω,t)を(式38)とし、室内インパルス応答G(ω,t)を(式39)とする。ここで、Γは時刻のインデックスの集合である。また、Λは周波数のインデックスの集合である。また、Tは時刻のインデックスの集合の要素である。また、Ωは周波数のインデックスの集合の要素である。
Figure 0005172536
また、Υω={1,・・・,Tω}である。Tωはωごとに異なりうる室内インパルス応答の時間長(時刻インデックス数)であり、以後フィルタ長と記す。音声観測スペクトログラムY(ω,t)と残響音声のスペクトログラムX(ω,t)との近さを二乗誤差で測ることにすると、原信号のスペクトログラムS(ω,t)と室内インパルス応答G(ω,t)とに関する、制約つき最適化問題は(式40)〜(式43)のとおりである。
Figure 0005172536
(式40)の第2項は、スパース性コストである。このスパース性コストが小さいほど原信号のスペクトログラムS(ω,t)はスパースである。λはモデル化誤差に対するコストと音声スペクトログラムのスパース性コストのバランスを調節するための定数である。また、pは0<p≦2の範囲で任意に定めてよい実数定数である。
なお、上記では音声観測スペクトログラムY(ω,t)と残響音声のスペクトログラムX(ω,t)との近さの基準を二乗誤差とした。これに対してIダイバージェンスを音声観測スペクトログラムY(ω,t)と残響音声のスペクトログラムX(ω,t)との近さの基準にした場合における、原信号のスペクトログラムS(ω,t)と室内インパルス応答G(ω,t)とに関する、制約つき最適化問題は(式44)〜(式43)のとおりである。なお、Iダイバージェンスについては、例えば、文献「I.Csiszar,“I−Divergence Geometry of Probability Distributions and Minimization Problems,”The annals of Probability, Vol. 3, No. 1, pp. 146−158, 1975.」に記載されている。
Figure 0005172536
λはモデル化誤差に対するコストと音声スペクトログラムのスパース性コストのバランスを調節するための定数である。また、pは0<p≦2の範囲で任意に定めてよい実数定数である。
次に、目的関数J(S,G)を最小化する乗法更新アルゴリズムについて説明する。目的関数J(S,G)は、乗法更新アルゴリズムと同様な反復アルゴリズムにより効率的に小さくすることができる。乗法更新アルゴリズムについては、例えば、文献「D.D.Lee and H.S.Seung,“Learning the Parts of Objects by Non−negative Matrix Fac−torization,”Nature Vol.401,pp.788−791,1999.」に記載されている。
ここで、原信号のスペクトログラムS(ω,t)の乗法更新式を導く。パラメータ規格化部6が出力する原信号のスペクトログラムをS(ω,t)とする。また、原信号のスペクトログラムS(ω,t)を出力する前に、パラメータ規格化部6が処理を行った際に出力した原信号のスペクトログラムをS´(ω,t)とする。すなわち原信号のスペクトログラムS(ω,t)の1ステップ前の更新値はS´(ω,t)である。また、パラメータ規格化部6が出力する室内インパルス応答をG(ω,t)とする。また、室内インパルス応答G(ω,t)を出力する前に、パラメータ規格化部6が処理を行った際に出力する室内インパルス応答をG´(ω,t)とする。すなわち室内インパルス応答G(ω,t)の1ステップ前の更新値はG´(ω,t)である。ここで、mτ(ω,t)を(式48)とすると、(式49)が成り立つ。
Figure 0005172536
(式49)の右辺を(式50)とする。(式50)を最小化するように原信号のスペクトログラムS(ω,t)を更新すれば、J(S,G)の非増加性が保証される。そこで、(式51)を解くと、J(S,G)の非増加性が保証される更新式(式52)を得る。ただし、X´(ω,t)は(式53)である。
Figure 0005172536
(式52)のとおり、原信号のスペクトログラムS(ω,t)の更新値は、1ステップ前の更新値S´(ω,t)と更新係数との積となる。このような形の更新式を乗法更新式という。また(式52)より、S´(ω,t)およびG´(ω,t)の要素がすべて非負値であれば、S(ω,t)の要素はすべて非負値に更新されることがわかり、(式41)の条件を満たす。また、(式54)であれば、必ず(式55)となる。よって、初期設定で(式55)としておけば、この更新により(式43)の条件を逸脱することはない。
Figure 0005172536
次に、室内インパルス応答G(ω,t)の乗法更新式を導く。原信号のスペクトログラムS(ω,t)の乗法更新式を導いた際と同様に、原信号のスペクトログラムS(ω,t)の1ステップ前の更新値をS´(ω,t)とし、室内インパルス応答G(ω,t)の1ステップ前の更新値をG´(ω,t)とする。(式48)を用いると(式56)が成り立つ。
Figure 0005172536
(式56)の右辺を(式57)とする。原信号のスペクトログラムS(ω,t)の乗法更新式を導いた際と同様に(式58)を解くと、乗法更新式(式59)を得る。ただし、乗法更新式(式59)の導出においては、(式60)の拘束は考慮していないため、(式59)の更新後に規格化する必要がある。
Figure 0005172536
次に、目的関数K(S,G)を最小化する乗法更新アルゴリズムについて説明する。目的関数J(S,G)と同様に、目的関数K(S,G)についても乗法更新アルゴリズムと同様な反復アルゴリズムにより効率的に小さくすることができる。
ここで、原信号のスペクトログラムS(ω,t)の乗法更新式を導く。パラメータ規格化部6が出力する原信号のスペクトログラムをS(ω,t)とする。また、原信号のスペクトログラムS(ω,t)を出力する前に、パラメータ規格化部6が処理を行った際に出力した原信号のスペクトログラムをS´(ω,t)とする。すなわち原信号のスペクトログラムS(ω,t)の1ステップ前の更新値はS´(ω,t)である。また、パラメータ規格化部6が出力する室内インパルス応答をG(ω,t)とする。また、室内インパルス応答G(ω,t)を出力する前に、パラメータ規格化部6が処理を行った際に出力する室内インパルス応答をG´(ω,t)とする。すなわち室内インパルス応答G(ω,t)の1ステップ前の更新値はG´(ω,t)である。ここで、mτ(ω,t)を(式61)とすると、(式62)が成り立つ。
Figure 0005172536
(式62)の右辺を(式63)とする。(式63)を最小化するように原信号のスペクトログラムS(ω,t)を更新すれば、K(S,G)の非増加性が保証される。そこで、(式64)を解くと、乗法更新式(式65)を得る。ただし、X´(ω,t)は(式66)である。
Figure 0005172536
(式65)より、S´(ω,t)およびG´(ω,t)の要素がすべて非負値であれば、S(ω,t)の要素はすべて非負値に更新されることがわかる。
次に、室内インパルス応答G(ω,t)の乗法更新式を導く。原信号のスペクトログラムS(ω,t)の乗法更新式を導いた際と同様に、原信号のスペクトログラムS(ω,t)の1ステップ前の更新値をS´(ω,t)とし、室内インパルス応答G(ω,t)の1ステップ前の更新値をG´(ω,t)とする。(式61)を用いると(式67)が成り立つ。
Figure 0005172536
(式67)の右辺を(式68)とする。原信号のスペクトログラムS(ω,t)の乗法更新式を導いた際と同様に(式69)を解くと、乗法更新式(式70)を得る。ただし、乗法更新式(式63)の導出においては、(式71)の拘束は考慮していないため、(式70)の更新後に規格化する必要がある。
Figure 0005172536
次に、残響音パワー推定値時系列算出部3において、2つの系列間の畳み込みを計算する構成の一例である、畳み込み計算部9について説明する。畳み込み計算部9は、高速に畳み込みを計算することができる。畳み込み計算部9は、残響音パワー推定値時系列算出部3から畳み込みの計算に必要な値の入力を受け付け、この値に基づいて畳み込みの計算を行い、計算結果を残響音パワー推定値時系列算出部3に入力する。
図6は、畳み込み計算部9が備える機能ブロックの構成例を示した図である。畳み込み計算部9は、零詰部91と、高速フーリエ変換部92と、フーリエ変換積算出部93と、高速逆フーリエ変換部94とを備えている。
以下、W(1),W(2),・・・,W(T)と、Z(1),Z(2),・・・,Z(T)に対して、(式72)の形で与えられる畳み込み計算の結果V(t)を出力する例を用いて畳み込み計算部9の各部の説明を行う。ただし、TおよびTはそれぞれの系列の要素数である。
Figure 0005172536
零詰部91は(式72)によりW´(t)を出力する。また、零詰部91は(式73)によりZ´(t)を出力する。ただし、UはW´(t)およびZ´(t)の要素数である。
Figure 0005172536
続いて、高速フーリエ変換部92は、零詰部91が出力したW´(t)とZ´(t)の入力を受け付ける。続いて、高速フーリエ変換部92は、(式75)と(式76)の計算をFFT(Fast Fourier Transform)により行い、w(k)とz(k)を出力する。
Figure 0005172536
続いて、フーリエ変換積算出部93は、高速フーリエ変換部92が出力したw(k)とz(k)の入力を受け付ける。続いて、フーリエ変換積算出部93は(式77)の計算を行い、v(k)を出力する。
Figure 0005172536
続いて、高速逆フーリエ変換部94は、フーリエ変換積算出部93が出力したv(k)の入力を受け付ける。続いて、高速逆フーリエ変換部94は(式78)の計算をIFFT(Inverse Fast Fourier Transform)により行い、V(t)を出力する。
Figure 0005172536
零詰部91と、高速フーリエ変換部92と、フーリエ変換積算出部93と、高速逆フーリエ変換部94の動作により、畳み込み計算部9は、高速に畳み込みを計算することができる。
次に、観測音・推定原音間相関関数算出部41と、推定残響音・推定原音間相関関数算出部42と、モデル化誤差比系列・推定原音間相関関数算出部45と、観測音・推定インパルス応答間相関関数算出部51と、スパース補正項つき推定残響音・推定インパルス応答開相関関数算出部52と、モデル化誤差比系列・推定インパルス応答間相関関数算出部55において、2つの系列間の相関関数を計算する構成の一例である、相関関数計算部10について説明する。相関関数計算部10は、高速に相関関数を計算することができる。相関関数計算部10は、相関関数の計算結果を必要とする各部から相関関数の計算に必要な値の入力を受け付け、この値に基づいて相関関数の計算を行い、計算結果を各部に入力する。
図7は、相関関数計算部10が備える機能ブロックの構成例を示した図である。相関関数計算部10は、零詰部101と、高速フーリエ変換部102と、複素共役化部103と、フーリエ変換積算出部104と、高速逆フーリエ変換部105とを備えている。
以下、W(1),W(2),・・・,W(T)と、Z(1),Z(2),・・・,Z(T)に対して、(式79)の形で与えられる相関関数計算の結果V(t)を出力する例を用いて相関関数計算部10の各部の説明を行う。ただし、TおよびTはそれぞれの系列の要素数である。
Figure 0005172536
零詰部101は(式80)によりW´(t)を出力する。また、零詰部101は(式81)によりZ´(t)を出力する。ただし、UはW´(t)およびZ´(t)の要素数である。
Figure 0005172536
続いて、高速フーリエ変換部102は、零詰部101が出力したW´(t)とZ´(t)の入力を受け付ける。続いて、高速フーリエ変換部102は、(式82)と(式83)の計算をFFTにより行い、w(k)とz(k)を出力する。
Figure 0005172536
続いて、複素共役化部103は、高速フーリエ変換部102出力したw(k)とz(k)の入力を受け付ける。続いて、複素共役化部103は、(式84)と(式85)の操作を行い、w(k)とz(k)を出力する。ただし、(・)は複素共役を表す。また、「←」は代入を表す。
Figure 0005172536
続いて、フーリエ変換積算出部104は、複素共役化部103が出力したw(k)とz(k)の入力を受け付ける。続いて、フーリエ変換積算出部93は(式86)の計算を行い、v(k)を出力する。
Figure 0005172536
続いて、高速逆フーリエ変換部105は、フーリエ変換積算出部104が出力したv(k)の入力を受け付ける。続いて、高速逆フーリエ変換部105は(式87)の計算をIFFTにより行い、V(t)を出力する。
Figure 0005172536
零詰部101と、高速フーリエ変換部102と、複素共役化部103と、フーリエ変換積算出部104と、高速逆フーリエ変換部105の動作により、相関関数計算部10は高速に相関関数を計算することができる。
本実施形態の残響除去装置は、音声信号のスパース性を基準として、上述したアルゴリズムを用いて残響成分のパワー包絡を推定する。よって、本実施形態の残響除去装置は、音源の移動や室温変化などに伴う残響変化に対して頑健に動作する。また、本実施形態の残響除去装置は、残響環境に変化がない場合においても、従来知られている残響除去装置と同等程度の性能で残響除去を行うことができる。また、本実施形態の残響除去装置は、高速に残響除去の計算を行うことができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成、プログラム、およびシステムはこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
また、残響除去装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、音声信号の残響除去を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
本発明の一実施形態における残響除去装置の機能ブロック図である。 本実施形態における室内インパルス応答更新部が備える機能ブロックの構成を示した図である。 本実施形態における室内インパルス応答更新部が備える機能ブロックの構成を示した図である。 本実施形態における原音パワー推定値時系列更新部が備える機能ブロックの構成を示した図である。 本実施形態における原音パワー推定値時系列更新部が備える機能ブロックの構成を示した図である。 本実施形態における畳み込み計算部が備える機能ブロックの構成を示した図である。 本実施形態における相関関数計算部が備える機能ブロックの構成を示した図である。
符号の説明
1・・・観測パワー時系列生成部、2・・・初期設定部、3・・・残響音パワー推定値時系列算出部、4・・・室内インパルス応答更新部、5・・・原音パワー推定値時系列更新部、6・・・パラメータ規格化部、7・・・収束判定部、8・・・パラメータ出力部、9・・・畳み込み計算部、10・・・相関関数計算部、41・・・観測音・推定原音間相関関数算出部、42・・・推定残響音・推定原音間相関関数算出部、43,47・・・室内インパルス応答推定値更新係数算出部、44,48・・・室内インパルス応答推定値更新値出力部、45・・・モデル化誤差比系列・推定原音間相関関数算出部、46・・・推定原音部分和系列算出部、51・・・観測音・推定インパルス応答間相関関数算出部、52・・・スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部、53,57・・・原音パワー推定値時系列更新係数算出部、54,58・・・原音パワー推定値時系列更新値出力部、55・・・モデル化誤差比系列・推定インパルス応答間相関関数算出部、56・・・スパース補正項つき推定インパルス応答部分和系列算出部、91,101・・・零詰部、92,102・・・高速フーリエ変換部、93,104・・・フーリエ変換積算出部、94,105・・・高速逆フーリエ変換部、103・・・複素共役化部

Claims (12)

  1. 音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成部と、
    周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定部と、
    前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出部と、
    前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新部と、
    前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新部と、
    前記室内インパルス応答更新部が更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新部が更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化部と、
    前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定部と、
    前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力部と、
    を備え、
    前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出部は前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新部は前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新する
    ことを特徴とする残響除去装置。
  2. 前記室内インパルス応答更新部は、
    周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出部と、
    周波数チャネルごとに、前記残響音パワー推定値時系列と前記音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出部と、
    周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、
    周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、
    を備えることを特徴とする請求項1に記載の残響除去装置。
  3. 前記室内インパルス応答更新部は、
    周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出部と、
    周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出部と、
    周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、
    周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、
    を備えることを特徴とする請求項1に記載の残響除去装置。
  4. 前記原音パワー推定値時系列更新部は、
    周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出部と、
    周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出部と、
    周波数チャネルごとに、前記観測音・推定インパルス応答相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、
    周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、
    を備えることを特徴とする請求項1から請求項3のいずれか1項に記載の残響除去装置。
  5. 前記原音パワー推定値時系列更新部は、
    周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出部と、
    周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出部と、
    周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、
    周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、
    を備えることを特徴とする請求項1から請求項3のいずれか1項に記載の残響除去装置。
  6. 観測パワー時系列生成部が、音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成ステップと、
    初期設定部が、周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定ステップと、
    残響音パワー推定値時系列算出部が、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出ステップと、
    室内インパルス応答更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新ステップと、
    原音パワー推定値時系列更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新ステップと、
    パラメータ規格化部が、前記室内インパルス応答更新ステップで更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新ステップで更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化ステップと、
    収束判定部が、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定ステップと、
    前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、パラメータ出力部が当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力ステップと、
    を有し、
    前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出ステップで前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新ステップで前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新する
    ことを特徴とする残響除去方法。
  7. 前記室内インパルス応答更新ステップは、
    観測音・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出ステップと、
    推定残響音・推定原音間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出ステップと、
    室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、
    室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、
    を含むことを特徴とする請求項6に記載の残響除去方法。
  8. 前記室内インパルス応答更新ステップは、
    モデル化誤差比系列・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出ステップと、
    推定原音部分和系列算出部が、周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出ステップと、
    室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、
    室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、
    を含むことを特徴とする請求項6に記載の残響除去方法。
  9. 前記原音パワー推定値時系列更新ステップは、
    観測音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出ステップと、
    スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出ステップと、
    原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記観測音・推定インパルス応答相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、
    原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、
    を含むことを特徴とする請求項6から請求項8のいずれか1項に記載の残響除去方法。
  10. 前記原音パワー推定値時系列更新ステップは、
    モデル化誤差比系列・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出ステップと、
    スパース補正項つき推定インパルス応答部分和系列算出部が、周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出ステップと、
    原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、
    原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、
    を含むことを特徴とする請求項6から請求項8のいずれか1項に記載の残響除去方法。
  11. コンピュータを、請求項1から請求項5のいずれか1項に記載の残響除去装置として動作させるためのコンピュータプログラム。
  12. コンピュータを、請求項1から請求項5のいずれか1項に記載の残響除去装置として動作させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008214462A 2008-08-22 2008-08-22 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 Active JP5172536B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008214462A JP5172536B2 (ja) 2008-08-22 2008-08-22 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008214462A JP5172536B2 (ja) 2008-08-22 2008-08-22 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2010049102A JP2010049102A (ja) 2010-03-04
JP5172536B2 true JP5172536B2 (ja) 2013-03-27

Family

ID=42066222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008214462A Active JP5172536B2 (ja) 2008-08-22 2008-08-22 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP5172536B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677662B2 (ja) 2017-02-14 2020-04-08 株式会社東芝 音響処理装置、音響処理方法およびプログラム
CN112997249B (zh) * 2018-11-30 2022-06-14 深圳市欢太科技有限公司 语音处理方法、装置、存储介质及电子设备
CN110059401B (zh) * 2019-04-15 2022-10-25 青岛科技大学 一种ofdm系统水声信道冲激响应重构方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234888A (ja) * 2005-02-22 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体
JP2007065204A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 残響除去装置、残響除去方法、残響除去プログラム及びその記録媒体
JP4977100B2 (ja) * 2008-08-11 2012-07-18 日本電信電話株式会社 残響除去装置、残響除去方法、そのプログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2010049102A (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
JP6234060B2 (ja) ターゲットドメインの学習用音声データの生成方法、生成装置、および生成プログラム
US20190206389A1 (en) Method and apparatus with a personalized speech recognition model
JP5842056B2 (ja) 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体
US20140114650A1 (en) Method for Transforming Non-Stationary Signals Using a Dynamic Model
US9576583B1 (en) Restoring audio signals with mask and latent variables
JP6195548B2 (ja) 信号解析装置、方法、及びプログラム
JP2010230868A (ja) パターン認識装置、パターン認識方法、及び、プログラム
CN105684079A (zh) 用于增强输入的有噪信号的方法和系统
JP6748304B2 (ja) ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
JP5994639B2 (ja) 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム
JP5172536B2 (ja) 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体
CN101322183B (zh) 信号失真消除装置、方法
JP6721165B2 (ja) 入力音マスク処理学習装置、入力データ処理関数学習装置、入力音マスク処理学習方法、入力データ処理関数学習方法、プログラム
JP6711765B2 (ja) 形成装置、形成方法および形成プログラム
JP5807914B2 (ja) 音響信号解析装置、方法、及びプログラム
JPWO2019044401A1 (ja) Dnn音声合成の教師無し話者適応を実現するコンピュータシステム、そのコンピュータシステムにおいて実行される方法およびプログラム
JP5726790B2 (ja) 音源分離装置、音源分離方法、およびプログラム
JP6420198B2 (ja) 閾値推定装置、音声合成装置、その方法及びプログラム
WO2019208137A1 (ja) 音源分離装置、その方法、およびプログラム
US20220130406A1 (en) Noise spatial covariance matrix estimation apparatus, noise spatial covariance matrix estimation method, and program
JP5318042B2 (ja) 信号解析装置、信号解析方法及び信号解析プログラム
JP6000094B2 (ja) 話者適応化装置、話者適応化方法、プログラム
JP7333878B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
JP7021437B2 (ja) 学習データ生成装置、学習データ生成方法、及びプログラム
WO2016092837A1 (ja) 音声処理装置、雑音抑圧装置、音声処理方法および記録媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121226

R151 Written notification of patent or utility model registration

Ref document number: 5172536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350