JP5172536B2 - 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 - Google Patents
残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP5172536B2 JP5172536B2 JP2008214462A JP2008214462A JP5172536B2 JP 5172536 B2 JP5172536 B2 JP 5172536B2 JP 2008214462 A JP2008214462 A JP 2008214462A JP 2008214462 A JP2008214462 A JP 2008214462A JP 5172536 B2 JP5172536 B2 JP 5172536B2
- Authority
- JP
- Japan
- Prior art keywords
- time series
- impulse response
- estimated value
- estimated
- original sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
T.Nakatani,B.Juang,T.Hikichi,T.Yoshioka,K.Kinoshita,M.Delcroix,M.Miyoshi,"Study on Speech Dereverberation with Autocorrelation Codebook,"in Proc.ICASSP 2007,pp.193−197,2007. 広林茂樹,野村博昭,小池恒彦,東山三樹夫,"パワーエンベエロープ伝達関数の逆フィルタ処理による残響音声の回復,"電子情報通信学会論文誌,Vol.J81−A,No.10,pp.1323−1330,1998. M.Unoki,M.Furukawa,K.Sakata,M.Akagi,"A Method Based on the MTF Concept for Dereverberating the Power Envelope from the Reverberant Signal,"in Proc.ICASSP 2003,Vol.1,pp.888−891,2003.
Claims (12)
- 音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成部と、
周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定部と、
前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出部と、
前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新部と、
前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新部と、
前記室内インパルス応答更新部が更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新部が更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化部と、
前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定部と、
前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力部と、
を備え、
前記収束判定部が、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出部は前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新部は前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新部は前記原音パワー推定値時系列を更新する
ことを特徴とする残響除去装置。 - 前記室内インパルス応答更新部は、
周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出部と、
周波数チャネルごとに、前記残響音パワー推定値時系列と前記原音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出部と、
周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、
周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、
を備えることを特徴とする請求項1に記載の残響除去装置。 - 前記室内インパルス応答更新部は、
周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出部と、
周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出部と、
周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出部と、
周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力部と、
を備えることを特徴とする請求項1に記載の残響除去装置。 - 前記原音パワー推定値時系列更新部は、
周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出部と、
周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出部と、
周波数チャネルごとに、前記観測音・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、
周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、
を備えることを特徴とする請求項1から請求項3のいずれか1項に記載の残響除去装置。 - 前記原音パワー推定値時系列更新部は、
周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出部と、
周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出部と、
周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出部と、
周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力部と、
を備えることを特徴とする請求項1から請求項3のいずれか1項に記載の残響除去装置。 - 観測パワー時系列生成部が、音響信号の入力を受け付け、短時間周波数分析により周波数チャネルごとのサブバンド信号の振幅またはパワーの時系列である観測パワー時系列を生成する観測パワー時系列生成ステップと、
初期設定部が、周波数チャネルごとの非負制約をもつ室内インパルス応答推定値と、原音の周波数チャネルごとのパワー推定値時系列である原音パワー推定値時系列とを設定する初期設定ステップと、
残響音パワー推定値時系列算出部が、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とを畳み込み、周波数チャネルごとの残響音モデルのパワー時系列である残響音パワー推定値時系列を算出する残響音パワー推定値時系列算出ステップと、
室内インパルス応答更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記室内インパルス応答推定値を更新する室内インパルス応答更新ステップと、
原音パワー推定値時系列更新部が、前記観測パワー時系列と、前記残響音パワー推定値時系列と、前記室内インパルス応答推定値と、前記原音パワー推定値時系列とに基づいて、非負制約を満たして前記原音パワー推定値時系列を更新する原音パワー推定値時系列更新ステップと、
パラメータ規格化部が、前記室内インパルス応答更新ステップで更新した前記室内インパルス応答推定値を、当該室内インパルス応答推定値の要素値の総和が一定値になるように規格化し、前記原音パワー推定値時系列更新ステップで更新した前記原音パワー推定値時系列を、当該原音パワー推定値時系列の要素値の総和が一定値になるように規格化するパラメータ規格化ステップと、
収束判定部が、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしているか否かを判定する収束判定ステップと、
前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていると判定した場合、パラメータ出力部が当該室内インパルス応答推定値と当該原音パワー推定値時系列とを出力するパラメータ出力ステップと、
を有し、
前記収束判定ステップで、前記パラメータ規格化部が規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とが、所定の規準を満たしていないと判定した場合、前記パラメータ規格化ステップで規格化した前記室内インパルス応答推定値と前記原音パワー推定値時系列とに基づいて、前記残響音パワー推定値時系列算出ステップで前記残響音パワー推定値時系列を算出し、前記室内インパルス応答更新ステップで前記室内インパルス応答推定値を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新し、前記原音パワー推定値時系列更新ステップで前記原音パワー推定値時系列を更新する
ことを特徴とする残響除去方法。 - 前記室内インパルス応答更新ステップは、
観測音・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記原音パワー推定値時系列との相関関数である観測音・推定原音間相関関数を算出する観測音・推定原音間相関関数算出ステップと、
推定残響音・推定原音間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記原音パワー推定値時系列との相関関数である推定残響音・推定原音間相関関数を算出する推定残響音・推定原音間相関関数算出ステップと、
室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、前記観測音・推定原音間相関関数の時系列の要素値を、前記推定残響音・推定原音間相関関数の時系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、
室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、
を含むことを特徴とする請求項6に記載の残響除去方法。 - 前記室内インパルス応答更新ステップは、
モデル化誤差比系列・推定原音間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記原音パワー推定値時系列との相関関数であるモデル化誤差比系列・推定原音間相関関数を算出するモデル化誤差比系列・推定原音間相関関数算出ステップと、
推定原音部分和系列算出部が、周波数チャネルごとに、前記原音パワー推定値時系列の各特定範囲の要素値の部分和を要素値とした系列である推定原音部分和系列を算出する推定原音部分和系列算出ステップと、
室内インパルス応答推定値更新係数算出部が、周波数チャネルごとに、モデル化誤差比系列・推定原音間相関関数を、前記推定原音部分和系列の要素値で除算した値である室内インパルス応答推定値更新係数を算出する室内インパルス応答推定値更新係数算出ステップと、
室内インパルス応答推定値更新値出力部が、周波数チャネルごとに、前記室内インパルス応答推定値と前記室内インパルス応答推定値更新係数とを要素ごとに積算し、室内インパルス応答推定値更新値を算出する室内インパルス応答推定値更新値出力ステップと、
を含むことを特徴とする請求項6に記載の残響除去方法。 - 前記原音パワー推定値時系列更新ステップは、
観測音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列と前記室内インパルス応答推定値との相関関数である観測音・推定インパルス応答間相関関数を算出する観測音・推定インパルス応答間相関関数算出ステップと、
スパース補正項つき推定残響音・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記残響音パワー推定値時系列と前記室内インパルス応答推定値との相関関数を算出し、当該相関関数と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定残響音・推定インパルス応答間相関関数を算出するスパース補正項つき推定残響音・推定インパルス応答間相関関数算出ステップと、
原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記観測音・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定残響音・推定インパルス応答間相関関数の時系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、
原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、
を含むことを特徴とする請求項6から請求項8のいずれか1項に記載の残響除去方法。 - 前記原音パワー推定値時系列更新ステップは、
モデル化誤差比系列・推定インパルス応答間相関関数算出部が、周波数チャネルごとに、前記観測パワー時系列を前記残響音パワー推定値時系列で要素ごとに除算した時系列と、前記室内インパルス応答推定値との相関関数であるモデル化誤差比系列・推定インパルス応答間相関関数を算出するモデル化誤差比系列・推定インパルス応答間相関関数算出ステップと、
スパース補正項つき推定インパルス応答部分和系列算出部が、周波数チャネルごとに、前記室内インパルス応答推定値の各特定範囲の要素値の部分和を要素値とした系列を算出し、当該系列と、前記原音パワー推定値時系列を要素ごとに定数乗しさらに定数倍した時系列とを加算した時系列であるスパース補正項つき推定インパルス応答部分和系列を算出するスパース補正項つき推定インパルス応答部分和系列算出ステップと、
原音パワー推定値時系列更新係数算出部が、周波数チャネルごとに、前記モデル化誤差比系列・推定インパルス応答間相関関数の時系列の要素を、前記スパース補正項つき推定インパルス応答部分和系列の要素値で除算した値である原音パワー推定値時系列更新係数を算出する原音パワー推定値時系列更新係数算出ステップと、
原音パワー推定値時系列更新値出力部が、周波数チャネルごとに、前記原音パワー推定値時系列と前記原音パワー推定値時系列更新係数とを要素ごとに積算し、原音パワー推定値時系列更新値を算出する原音パワー推定値時系列更新値出力ステップと、
を含むことを特徴とする請求項6から請求項8のいずれか1項に記載の残響除去方法。 - コンピュータを、請求項1から請求項5のいずれか1項に記載の残響除去装置として動作させるためのコンピュータプログラム。
- コンピュータを、請求項1から請求項5のいずれか1項に記載の残響除去装置として動作させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008214462A JP5172536B2 (ja) | 2008-08-22 | 2008-08-22 | 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008214462A JP5172536B2 (ja) | 2008-08-22 | 2008-08-22 | 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010049102A JP2010049102A (ja) | 2010-03-04 |
JP5172536B2 true JP5172536B2 (ja) | 2013-03-27 |
Family
ID=42066222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008214462A Active JP5172536B2 (ja) | 2008-08-22 | 2008-08-22 | 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5172536B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6677662B2 (ja) | 2017-02-14 | 2020-04-08 | 株式会社東芝 | 音響処理装置、音響処理方法およびプログラム |
CN112997249B (zh) * | 2018-11-30 | 2022-06-14 | 深圳市欢太科技有限公司 | 语音处理方法、装置、存储介质及电子设备 |
CN110059401B (zh) * | 2019-04-15 | 2022-10-25 | 青岛科技大学 | 一种ofdm系统水声信道冲激响应重构方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234888A (ja) * | 2005-02-22 | 2006-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体 |
JP2007065204A (ja) * | 2005-08-30 | 2007-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 残響除去装置、残響除去方法、残響除去プログラム及びその記録媒体 |
JP4977100B2 (ja) * | 2008-08-11 | 2012-07-18 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、そのプログラムおよび記録媒体 |
-
2008
- 2008-08-22 JP JP2008214462A patent/JP5172536B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010049102A (ja) | 2010-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6234060B2 (ja) | ターゲットドメインの学習用音声データの生成方法、生成装置、および生成プログラム | |
US20190206389A1 (en) | Method and apparatus with a personalized speech recognition model | |
JP5842056B2 (ja) | 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体 | |
US20140114650A1 (en) | Method for Transforming Non-Stationary Signals Using a Dynamic Model | |
US9576583B1 (en) | Restoring audio signals with mask and latent variables | |
JP6195548B2 (ja) | 信号解析装置、方法、及びプログラム | |
JP2010230868A (ja) | パターン認識装置、パターン認識方法、及び、プログラム | |
CN105684079A (zh) | 用于增强输入的有噪信号的方法和系统 | |
JP6748304B2 (ja) | ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム | |
JP5994639B2 (ja) | 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム | |
JP5172536B2 (ja) | 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 | |
CN101322183B (zh) | 信号失真消除装置、方法 | |
JP6721165B2 (ja) | 入力音マスク処理学習装置、入力データ処理関数学習装置、入力音マスク処理学習方法、入力データ処理関数学習方法、プログラム | |
JP6711765B2 (ja) | 形成装置、形成方法および形成プログラム | |
JP5807914B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
JPWO2019044401A1 (ja) | Dnn音声合成の教師無し話者適応を実現するコンピュータシステム、そのコンピュータシステムにおいて実行される方法およびプログラム | |
JP5726790B2 (ja) | 音源分離装置、音源分離方法、およびプログラム | |
JP6420198B2 (ja) | 閾値推定装置、音声合成装置、その方法及びプログラム | |
WO2019208137A1 (ja) | 音源分離装置、その方法、およびプログラム | |
US20220130406A1 (en) | Noise spatial covariance matrix estimation apparatus, noise spatial covariance matrix estimation method, and program | |
JP5318042B2 (ja) | 信号解析装置、信号解析方法及び信号解析プログラム | |
JP6000094B2 (ja) | 話者適応化装置、話者適応化方法、プログラム | |
JP7333878B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
JP7021437B2 (ja) | 学習データ生成装置、学習データ生成方法、及びプログラム | |
WO2016092837A1 (ja) | 音声処理装置、雑音抑圧装置、音声処理方法および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5172536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |