JP2015161814A - 音響処理装置 - Google Patents

Abstract

【課題】演算量や記憶容量が低減された簡便な処理で音響信号から残響時間を推定する。【解決手段】音響処理装置１００は、音響信号ｘのうち一部の周波数帯域である特定帯域の音響成分Ｘ(k,m)について、初期反射成分の強度ＰERおよび後期残響成分の強度ＰLRを算定する強度算定部４２と、強度算定部４２が算定した初期反射成分の強度ＰERおよび後期残響成分の強度ＰLRに応じて、残響時間Ｔを特定する残響時間特定部４４とを具備する。【選択図】図１

Description

本発明は、音響信号を処理する技術に関し、特に、音響信号の解析で残響時間を推定する技術に関する。

音響空間に固有の残響時間を取得するための各種の技術が従来から提案されている。例えば特許文献１には、白色雑音等の試験音を音響空間内に放射することで観測されるインパルス応答の解析により残響時間を算定する技術が開示されている。

音響空間で収録された任意の音響信号から残響時間を推定する技術も提案されている。例えば非特許文献１には、事前に収録された音響信号について反復法を利用した最尤推定を実行して音響信号の減衰率を推定したうえで減衰率から残響時間を算定する技術が開示されている。また、非特許文献２には、残響モデル（Polackモデル）を利用した事前の機械学習により算定された回帰係数を利用して音響信号から減衰率を推定し、減衰率の推定結果から残響時間を算定する技術が開示されている。

特開２０１４−０２６２４１号公報

R. Ratnam, et al.,"Blind estimation of reverberation time," J. Acoust. Soc. Am., vol. 114, no. 5, pp. 2877-2892, Nov. 2003 J. Y. C. Wen, et al.,"Blind estimation of reverberation time based on the distribution of signal decay rates," in Proc. IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Las Vegas, USA, Apr. 2008

しかし、特許文献１の技術では、音響空間の状況の変化毎にインパルス応答を測定する必要があり作業負担が大きいという問題がある。また、非特許文献１で採用される反復法や非特許文献２で採用される機械学習には膨大な演算量や記憶容量が必要であるという問題がある。以上の事情を考慮して、本発明は、演算量や記憶容量を低減した簡便な処理で音響信号から残響時間を推定することを目的とする。

以上の課題を解決するために、本発明の音響処理装置は、音響信号のうち一部の周波数帯域である特定帯域の音響成分について初期反射成分の強度と後期残響成分の強度とを算定する強度算定手段と、強度算定手段が算定した初期反射成分の強度と後期残響成分の強度とに応じて残響時間を特定する残響時間特定手段とを具備する。以上の構成では、特定帯域の音響成分から算定される初期反射成分の強度と強度残響成分の強度とに応じて残響時間が特定される。したがって、非特許文献１や非特許文献２の技術と比較して演算量や記憶容量を削減した簡便な処理で音響信号から残響時間を特定できるという利点がある。

本発明の好適な態様において、強度算定手段は、残響時間に応じた残響分離処理を、所定の暫定値を残響時間として特定帯域の音響成分に実行することで、暫定的な初期反射成分である暫定初期反射成分の強度の時系列と、暫定的な後期残響成分である暫定後期残響成分の強度の時系列とを算定する暫定処理手段と、暫定処理手段が算定した暫定初期反射成分の強度の時系列と暫定後期残響成分の強度の時系列とに応じて、初期反射成分が存在する初期反射区間と後期残響成分が存在する後期残響区間とを特定する区間解析手段と、初期反射区間内の暫定初期反射成分の強度に応じて初期反射成分の強度を算定するとともに後期残響区間内の暫定後期残響成分の強度に応じて後期残響成分の強度を算定する演算処理手段とを含む。以上の態様では、残響時間を暫定値に設定した暫定的な残響分離処理で暫定初期反射成分と暫定後期残響成分とが生成され、暫定初期反射成分および後期残響成分の各々の強度の時系列に応じて初期反射成分と後期残響成分とが特定され、初期反射区間内の暫定初期反射成分の強度に応じた初期反射成分の強度と後期残響区間内の暫定後期残響成分の強度に応じた後期残響成分の強度とが算定される。したがって、残響時間を暫定値に設定した残響分離処理で生成される暫定初期反射成分や暫定後期残響成分の強度を初期反射成分や後期残響成分の強度として確定する構成と比較して、例えば暫定値が実際の残響時間と乖離するような場合でも、初期反射区間および後期残響区間の各々の強度（ひいては残響時間）を頑健に算定できるという利点がある。

本発明の好適な態様において、区間解析手段は、暫定初期反射成分の複数の強度に応じた第１閾値と暫定後期残響成分の複数の強度に応じた第２閾値とを設定する閾値設定手段と、暫定初期反射成分の強度が第１閾値を上回る第１信号区間と暫定後期残響成分の強度が第２閾値を上回る第２信号区間とを画定する第１区間設定手段と、第１信号区間と第２信号区間とに応じて初期反射区間と後期残響区間とを画定する第２区間設定手段とを含む。以上の態様では、暫定初期反射成分の強度が第１閾値を上回る第１信号区間と暫定後期残響成分の強度が第２閾値を上回る第２信号区間とを画定する簡便な処理で初期反射区間と後期残響区間とを特定できるという利点がある。また、暫定初期反射成分の複数の強度の中央値を第１閾値に設定し、暫定後期残響成分の複数の強度の中央値を第２閾値に設定する構成によれば、暫定初期反射成分の優勢な区間を適切に第１信号区間として画定するとともに暫定後期残響成分の優勢な区間を適切に第２信号区間として画定することが可能である。

本発明の好適な態様において、暫定処理手段は、特定帯域内の音響成分に対する残響分離処理により、特定帯域内の複数の周波数の各々について暫定初期反射成分と暫定後期残響成分とを生成する残響分離手段と、暫定初期反射成分の強度を特定帯域内の複数の周波数について合計するとともに暫定後期残響成分の強度を特定帯域の複数の周波数について合計する強度累算手段とを含む。以上の態様では、暫定初期反射成分および暫定後期残響成分の各々の強度が特定帯域内の複数の周波数について合計されるから、各強度を周波数毎に個別に処理する構成と比較して、記憶容量を削減できるという効果は格別に顕著である。

本発明の好適な態様において、第２区間設定手段は、暫定後期残響成分の強度が暫定初期反射成分の強度を上回る減衰区間と第２信号区間とが相互に重複する区間を後期残響区間として設定し、後期残響区間以外の区間と第１信号区間とが相互に重複する区間を初期反射区間として設定する。以上の態様では、暫定後期残響成分の強度が暫定初期反射成分の強度を上回る減衰区間と第１信号区間および第２信号区間とを対比する簡便な処理で初期反射区間および後期残響区間を画定できるという利点がある。

本発明の好適な態様に係る音響処理装置は、残響時間特定手段が特定した残響時間を適用した残響分離処理を音響信号に対して実行する残響処理手段を具備する。以上の各態様によれば、演算量や記憶容量を低減した簡便な処理で音響信号から残響時間を推定できるから、残響分離処理のみを実行する場合と比較して演算量や記憶容量を極端に増加させる必要がないという利点がある。

以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る音響処理装置の動作方法（音響処理方法）としても特定される。

本発明の第１実施形態に係る音響処理装置の構成図である。 残響解析部の構成図である。 初期反射区間および後期残響区間の説明図である。 音響処理装置の動作のフローチャートである。 本発明の第２実施形態に係る音響処理装置の構成図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００の構成図である。図１に例示される通り、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、音響信号ｘを音響処理装置１００に供給する。音響信号ｘは、発音源から放射された音響に対して音響空間内で反射または散乱した残響成分（初期反射成分および後期残響成分）を付加した音響の波形を示す時間領域信号である。例えば、収録音や合成音等の既存の音響に対して事後的に残響効果を付与した音響信号ｘや、残響効果がある音響空間（例えば音響ホール等）内で実際に収録された音響の音響信号ｘが好適に利用される。周囲の音響を収音して音響信号ｘを生成する収音装置や、可搬型または内蔵型の記録媒体から音響信号ｘを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ｘを受信して音響処理装置１００に供給する通信装置が信号供給装置１２として採用され得る。

第１実施形態の音響処理装置１００は、音響信号ｘの残響成分（後期残響成分）を抑圧した時間領域の音響信号ｙを生成する残響抑圧装置である。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００が生成した音響信号ｙに応じた音波を放射する。なお、音響信号ｙをデジタルからアナログに変換するＤ/Ａ変換器や音響信号ｙを増幅する増幅器等の図示は便宜的に省略した。

図１に例示される通り、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ｘを記憶装置２４に記憶した構成（したがって信号供給装置１２は省略される）も好適である。

演算処理装置２２は、記憶装置２４に記憶されたプログラムを実行することで、音響信号ｘから音響信号ｙを生成するための複数の機能（周波数解析部３２，残響解析部３４，残響処理部３６，波形生成部３８）を実現する。なお、演算処理装置２２の各機能を複数の装置に分散した構成や、専用の電子回路（例えばＤＳＰ）が演算処理装置２２の一部の機能を実現する構成も採用され得る。

周波数解析部３２は、信号供給装置１２から供給される音響信号ｘを解析することで、相異なる周波数（周波数帯域）に対応する複数の音響成分（周波数スペクトル）Ｘ(k,m)を時間軸上の単位区間（フレーム）毎に順次に生成する。記号ｋは、周波数軸上に離散的に設定された複数の周波数（周波数ビン）のうち任意の１個の周波数を意味し、記号ｍは、時間軸上の任意の１個の単位区間（時間軸上の特定の時点）を意味する。各音響成分Ｘ(k,m)の算定には、短時間フーリエ変換等の公知の周波数解析が任意に採用され得る。残響解析部３４は、音響信号ｘの各音響成分Ｘ(k,m)を解析することで残響時間Ｔを算定する。

残響処理部３６は、残響解析部３４が算定した残響時間Ｔに応じた残響分離処理（残響抑圧処理）を音響信号ｘの各音響成分Ｘ(k,m)に対して実行することで音響信号ｙの各音響成分（周波数スペクトル）Ｙ(k,m)を生成する。残響分離処理は、音響成分Ｘ(k,m)の初期反射成分と後期残響成分とを分離（一方を他方に対して抑圧または強調）する処理である。残響分離処理には、音響信号ｘの各音響成分Ｘ(k,m)に応じた調整値Ｇ(k,m)が適用される。

第１実施形態の調整値Ｇ(k,m)は、音響成分Ｘ(k,m)に含有される後期残響成分を抑圧する（初期反射成分を強調する）ための変数である。具体的には、音響成分Ｘ(k,m)にて後期残響成分が優勢である（直接音成分や初期反射成分が劣勢である）ほど調整値Ｇ(k,m)は小さい数値に設定されるという概略的な傾向がある（０≦Ｇ(k,m)≦１）。第１実施形態の残響処理部３６は、調整値Ｇ(k,m)を音響成分Ｘ(k,m)に乗算することで音響成分Ｙ(k,m)を生成する（Ｙ(k,m)＝Ｇ(k,m)Ｘ(k,m)）。以上の説明から理解される通り、調整値Ｇ(k,m)は、音響信号ｘの音響成分Ｘ(k,m)に対するゲイン（スペクトルゲイン）に相当する。

調整値Ｇ(k,m)の算定には例えば特開２０１３−１３０８５７号公報に開示された方法が好適に採用される。具体的には、調整値Ｇ(k,m)は以下の数式(1)で表現される。

数式(1)の演算子min( )は、括弧内の各数値の最小値を採択する演算（調整値Ｇ(k,m)を１以下の範囲に制限する演算）である。数式(1)の記号ＣA(k,m)および記号ＣB(k,m)は、音響成分Ｘ(k,m)の強度（パワー）|Ｘ(k,m)|²の移動平均に相当する。具体的には、以下の数式(2A)および数式(2B)で表現される通り、相異なる係数（αA，αB）を適用した強度|Ｘ(k,m)|²の指数移動平均が強度ＣA(k,m)および強度ＣB(k,m)として算定される。

係数αAおよび係数αBは１以下の正数に設定され、係数αAは係数αBを上回る（αA＞αB）。数式(2A)および数式(2B)から理解される通り、強度ＣA(k,m)および強度ＣB(k,m)は音響信号ｘの強度|Ｘ(k,m)|²に追従して経時的に変動する。係数αAは係数αBを上回るから、強度ＣA(k,m)は、強度ＣB(k,m)と比較して高い追従性で強度|Ｘ(k,m)|²の時間変化に追従する。第１実施形態の残響処理部３６は、残響解析部３４が算定した残響時間Ｔに応じて係数αAおよび係数αBを可変に設定する。具体的には、残響時間Ｔが長いほど、係数αAは大きい数値に設定され、係数αBは小さい数値に設定される。以上の説明から理解される通り、第１実施形態の残響処理部３６は、残響解析部３４が算定した残響時間Ｔに応じた調整値Ｇ(k,m)を利用した残響分離処理で音響成分Ｘ(k,m)から音響成分Ｙ(k,m)を生成する。

図１の波形生成部３８は、残響処理部３６が生成した各音響成分Ｙ(k,m)から時間領域の音響信号ｙを生成する。音響信号ｙの生成には短時間逆フーリエ変換が好適に利用される。波形生成部３８が生成した音響信号ｙが放音装置１４に供給されて音波として放射される。

図１に例示される通り、第１実施形態の残響解析部３４は、強度算定部４２と残響時間特定部４４とを含んで構成される。強度算定部４２は、音響信号ｘのうち一部の周波数帯域（以下「特定帯域」という）Ｂの各音響成分Ｘ(k,m)を解析することで初期反射成分の強度ＰERと後期残響成分の強度ＰLRとを算定する。強度ＰERおよび強度ＰLRは、例えばパワーの平均値（エネルギー）である。なお、強度ＰERおよび強度ＰLRの表記のように、以下の説明では、初期反射成分（Early Reflection）に関連する要素に添字ERを付加し、後期残響成分（Late Reverberation）に関連する要素に添字LRを付加する。

初期反射成分は、音響信号ｘのうち発音源による直接音成分の発音の直後に音響空間内での反射（典型的には１回の反射）を経て受音点に到達する音響成分であり、後期残響成分は、初期反射音の到来後に音響空間内での多数回の反射を経て受音点に到達する音響成分である。なお、以下の説明では、直接音成分を初期反射成分の概念に便宜的に包含させる。強度ＰERおよび強度ＰLRの算定には、音響信号ｘのうち時間軸上の特定の区間（以下「評価区間」という）が利用される。評価区間は所定の時間長（例えば３秒程度）にわたる区間である。図１の残響時間特定部４４は、強度算定部４２が算定した初期反射成分の強度ＰERと後期残響成分の強度ＰLRとに応じて残響時間Ｔを算定する。

特定帯域Ｂは、残響処理部３６による残響分離処理の対象となる周波数帯域と比較して狭い所定の周波数帯域に設定される。建築音響では一般的に可聴帯域の略全域にわたる音響の残響時間が５００Ｈｚの音響の残響時間に近似または合致するように音響ホール等の音響空間が設計される。以上の事情を考慮すると、設計基準となる５００Ｈｚを包含する所定幅の周波数帯域を特定帯域Ｂとして選定した構成が好適である。具体的には、５００Ｈｚに対して高域側に位置する所定個（例えば１０個）の周波数と低域側に位置する所定個（例えば１０個）の周波数とを含む周波数帯域が特定帯域Ｂとして選定される。

図２は、強度算定部４２の構成図である。図２に例示される通り、第１実施形態の強度算定部４２は、暫定処理部５０と区間解析部６０と演算処理部７０とを含んで構成される。強度算定部４２の各要素について以下に詳述する。

＜暫定処理部５０＞
暫定処理部５０は、音響信号ｘのうち特定帯域Ｂ内の各音響成分Ｘ(k,m)に残響処理部３６と同様の残響分離処理を実行することで、暫定的な初期反射成分（以下「暫定初期反射成分」という）ＺER(k,m)の単位区間毎の強度ＱER(m)の時系列と暫定的な後期残響成分（以下「暫定後期残響成分」という）ＺLR(k,m)の単位区間毎の強度ＱLR(m)の時系列とを算定する。図２に例示される通り、第１実施形態の暫定処理部５０は、残響分離部５２と強度累算部５４と平滑処理部５６とを含んで構成される。

残響分離部５２は、残響時間Ｔを所定の暫定値ｔ0に暫定的に設定した残響分離処理で特定帯域Ｂ内の各音響成分Ｘ(k,m)を暫定初期反射成分ＺER(k,m)と暫定後期残響成分ＺLR(k,m)とに分離する。すなわち、残響分離部５２による残響分離処理に適用される調整値Ｇ(k,m)は残響時間Ｔの暫定値ｔ0に応じて設定される。具体的には、第１実施形態の残響分離部５２は、係数αAおよび係数αBを暫定値ｔ0に応じた可変の数値に設定した数式(2A)および数式(2B)の演算で強度ＣA(k,m)および強度ＣB(k,m)を算定し、強度ＣA(k,m)および強度ＣB(k,m)を適用した数式(1)の演算で調整値Ｇ(k,m)を算定する。例えば係数αAは０.９程度の数値に設定され、係数αBは０.１程度の数値に設定される。

暫定値ｔ0に応じた調整値Ｇ(k,m)を以上の手順で算定すると、残響分離部５２は、以下の数式(3A)で表現される通り、評価区間内の音響信号ｘのうち特定帯域Ｂ内の各音響成分Ｘ(k,m)に調整値Ｇ(k,m)を乗算する（すなわち後期残響成分を抑圧する）ことで暫定初期反射成分ＺER(k,m)を算定する。他方、所定値（以下の例示では１）から調整値Ｇ(k,m)を減算した調整値{１−Ｇ(k,m)}は、調整値Ｇ(k,m)とは逆に、音響信号ｘの後期残響成分を強調する係数（初期反射成分を抑圧する係数）として機能する。第１実施形態の残響分離部５２は、以下の数式(3B)で表現される通り、評価区間内の音響信号ｘのうち特定帯域Ｂ内の各音響成分Ｘ(k,m)に調整値{１−Ｇ(k,m)}を乗算することで暫定後期残響成分ＺLR(k,m)を算定する。以上の説明から理解される通り、第１実施形態の残響分離部５２は、残響時間Ｔを暫定値ｔ0と仮定した暫定的な残響分離処理を実行する要素として機能する。

図２の強度累算部５４および平滑処理部５６は、暫定初期反射成分ＺER(k,m)の強度ＱER(m)の時系列と暫定後期残響成分ＺLR(k,m)の強度ＱLR(m)の時系列とを算定する。強度累算部５４は、以下の数式(4A)で表現される通り、暫定初期反射成分ＺER(k,m)の強度|ＺER(k,m)|²を特定帯域Ｂ内の全周波数にわたり平均（合計）することで単位区間毎に強度ＷER(m)を算定し、以下の数式(4B)で表現される通り、暫定後期残響成分ＺLR(k,m)の強度|ＺLR(k,m)|²を特定帯域Ｂ内の全周波数にわたり平均（合計）することで単位区間毎に強度ＷLR(m)を算定する。

平滑処理部５６は、以下の数式(5A)で表現される通り、評価区間内の複数の単位区間にわたる強度ＷER(m)の時系列を平滑化（移動平均）することで各単位区間の強度ＱER(m)の時系列を算定し、数式(5B)で表現される通り、評価区間内の複数の単位区間にわたる強度ＷER(m)の時系列を平滑化することで各単位区間の強度ＱLR(m)の時系列を算定する。数式(5A)および数式(5B)の数値Ｍaおよび数値Ｍbは所定の非負値に設定される。

以上の説明から理解される通り、特定帯域Ｂ内の暫定初期反射成分ＺER(k,m)の強度ＷER(m)の時系列を平滑化した各単位区間の強度ＱER(m)の時系列と、特定帯域Ｂ内の暫定後期残響成分ＺLR(k,m)の強度ＷLR(m)の時系列を平滑化した各単位区間の強度ＱLR(m)の時系列とが算定される。図２の暫定処理部５０の具体的な構成および作用は以上の通りである。なお、平滑処理部５６は省略され得る。

＜区間解析部６０＞
図２の区間解析部６０は、暫定処理部５０が算定した暫定初期反射成分ＺER(k,m)の強度ＱER(m)の時系列と暫定後期残響成分ＺLR(k,m)の強度ＱER(m)の時系列とを解析することで、音響信号ｘのうち初期反射成分が優勢に存在する初期反射区間ＳERと後期残響成分が優勢に存在する後期残響区間ＳLRとを特定する。図２に例示される通り、第１実施形態の区間解析部６０は、閾値設定部６２と第１区間設定部６４と第２区間設定部６６とを含んで構成される。

図３は、区間解析部６０の動作の説明図である。図３に例示される通り、第１区間設定部６４は、暫定初期反射成分ＺER(k,m)の各単位区間の強度ＱER(m)と閾値（第１閾値）ＨERとの比較結果に応じて時間軸上に信号区間ＡERを画定する。信号区間ＡERは、暫定初期反射成分ＺER(k,m)が優勢に存在する区間（第１信号区間）である。具体的には、第１区間設定部６４は、強度ＱER(m)が閾値ＨERを上回る区間を信号区間ＡERとして画定する。したがって、信号区間ＡER内の各単位区間の集合ｍA_ERは以下の数式(6A)で表現される。また、第１区間設定部６４は、暫定後期残響成分ＺLR(k,m)の各単位区間の強度ＱLR(m)と閾値（第２閾値）ＨLRとの比較結果に応じて時間軸上に信号区間ＡLRを画定する。信号区間ＡLRは、暫定後期残響成分ＺLR(k,m)が優勢に存在する区間（第２信号区間）である。具体的には、第１区間設定部６４は、強度ＱLR(m)が閾値ＨLRを上回る区間を信号区間ＡLRとして画定する。したがって、信号区間ＡLR内の各単位区間の集合ｍA_LRは以下の数式(6B)で表現される。

図２の閾値設定部６２は、信号区間ＡERの画定に適用される閾値ＨERと信号区間ＡLRの画定に適用される閾値ＨLRとを可変に設定する。具体的には、閾値設定部６２は、暫定初期反射成分ＺER(k,m)の時間軸上の複数の強度ＱER(m)に応じて閾値ＨERを設定し、暫定後期残響成分ＺLR(k,m)の時間軸上の複数の強度ＱLR(m)に応じて閾値ＨLRを設定する。第１実施形態の閾値設定部６２は、評価区間内の各単位区間に対応する複数の強度ＱER(m)の中央値（メディアン）を閾値ＨERとして算定し、評価区間内の各単位区間に対応する複数の強度ＱLR(m)の中央値を閾値ＨLRとして算定する。なお、複数の強度ＱER(m)の平均値を閾値ＨERとして設定する構成や、複数の強度ＱLR(m)の平均値を閾値ＨLRとして設定する構成も採用され得る。

以上に例示した処理で第１区間設定部６４が設定した信号区間ＡERと信号区間ＡLRとは相互に重複する可能性がある。第２区間設定部６６は、第１区間設定部６４が設定した信号区間ＡERと信号区間ＡLRとを利用して、評価区間内で相互に重複しない初期反射区間ＳERと後期残響区間ＳLRとを特定する。第１実施形態の第２区間設定部６６は、図３に例示される通り、暫定後期残響成分ＺLR(k,m)の強度ＱLR(m)が暫定初期反射成分ＺER(k,m)の強度ＱER(m)を上回る区間（以下「減衰区間」という）Ｓzを特定し、減衰区間Ｓzと信号区間ＡLRとが相互に重複する区間を後期残響区間ＳLRとして画定する。すなわち、強度ＱLR(m)が閾値ＨLRを上回る信号区間ＡLRのうち強度ＱLR(m)が強度ＱER(m)を上回る区間が後期残響区間ＳLRとして設定される。また、第２区間設定部６６は、図３に例示される通り、後期残響区間ＳLR以外の区間と信号区間ＡERとが相互に重複する区間を初期反射区間ＳERとして画定する。すなわち、後期残響区間ＳLR以外で強度ＱER(m)が閾値ＨERを上回る区間が初期反射区間ＳERとして設定される。

以上の説明から理解される通り、後期残響区間ＳLR内の各単位区間の集合ｍB_LRは以下の数式(7B)で表現され、初期反射区間ＳER内の各単位区間の集合ｍB_ERは以下の数式(7A)で表現される。なお、数式(7A)および数式(7B)における記号￣は否定を意味し、記号∩は積集合（AND）を意味する。図２の区間解析部６０の具体的な構成および作用は以上の通りである。

＜演算処理部７０＞
図２の演算処理部７０は、区間解析部６０が設定した初期反射区間ＳERにおける暫定初期反射成分ＺER(k,m)の強度ＱER(m)に応じて初期反射成分の強度ＰERを算定し、区間解析部６０が設定した後期残響区間ＳLRにおける暫定後期残響成分ＺLR(k,m)の強度ＱLR(m)に応じて後期残響成分の強度ＰLRを算定する。第１実施形態の演算処理部７０は、以下の数式(8A)で表現される通り、初期反射区間ＳER内の複数の単位区間（数式(7A)の集合ｍB_ER）にわたる強度ＱER(m)の合計値を強度ＰERとして算定し、数式(8B)で表現される通り、後期残響区間ＳLR内の複数の単位区間（数式(7B)の集合ｍB_LR）にわたる強度ＱLR(m)の合計値を強度ＰLRとして算定する。以上の説明から理解される通り、第１実施形態では、暫定値ｔ0のもとで算定された暫定的な強度ＱER(m)および強度ＱLR(m)が、初期反射区間ＳERおよび後期残響区間ＳLRの推定結果に応じて確定的な強度ＰERおよび強度ＰLRに補正される。以上が図１の強度算定部４２の構成および動作である。

図１の残響時間特定部４４は、以上の手順で強度算定部４２が算定した初期反射成分の強度ＰERと後期残響成分の強度ＰLRとに応じて残響時間Ｔを算定する。具体的には、初期反射成分の強度ＰERが後期残響成分の強度ＰLRに対して相対的に大きいほど残響時間Ｔは小さい数値に設定される。第１実施形態の残響時間特定部４４は、以下の数式(9)の演算で残響時間Ｔを算定する。

数式(9)の記号ｆsは音響信号ｘのサンプリング周波数を意味し、記号ＮEは、音響信号ｘのうち所定の初期反射区間の時間長（数十〜１００msec）に相当するサンプルの個数を意味する。記号ｒは、後期残響成分の強度ＰLRに対する初期反射成分の強度ＰERの強度比（ｒ＝ＰER／ＰLR）である。残響時間特定部４４は、強度算定部４２が算定した強度ＰERおよび強度ＰLRから強度比ｒを算定し、強度比ｒを数式(9)に適用することで残響時間Ｔを算定する。残響時間Ｔと強度比ｒとの関係を規定する数式(9)について以下に詳述する。

残響音（室内インパルス応答）ｈ(n)は以下の数式(10)で表現される（Polackの統計モデル）。数式(10)の記号ｎは収録音のサンプルの番号を意味し、数式(10)の記号ｂ(n)は平均零のガウス確率過程を意味する。

以下の数式(11)で表現される通り、音響信号ｘの強度（パワー）ＰX(k,m)（ＰX(k,m)＝|Ｘ(k,m)|²）は、初期反射成分の強度ＰER(k,m)と後期残響成分の強度ＰLR(k,m)とに分解される。記号σb²は、確率過程ｂ(n)の分散を意味し、記号Ｍは残響時間Ｔ内のフレームの個数を意味する。

数式(10)の残響音ｈ(n)の統計モデルを想定すると、初期反射成分の強度ＰER(k,m)と後期残響成分の強度ＰLR(k,m)との強度比の期待値Ｅm[ＰER(k,m)/ＰLR(k,m)]を表現する以下の数式(12)が導出される。

等比級数の和の公式を利用すると、数式(12)は以下の数式(13)に変形される。なお、数式(13)の導出では、残響時間Ｔの定義を考慮して変数ｅ^-2ΔM・NEをゼロと近似した。

期待値Ｅm[ＰER(k,m)/ＰLR(k,m)]を強度比ｒに置換して数式(13)を変形すると、以下の数式(14)が導出される。

数式(14)の変数Δを展開して変形することで、残響時間Ｔと強度比ｒとの関係を規定する前掲の数式(9)が導出される。

図４は、音響処理装置１００が音響信号ｘから音響信号ｙを生成する処理のフローチャートである。入力装置（図示略）に対する利用者からの指示（残響抑圧の開始指示）を契機として図４の処理が開始される。処理を開始すると、演算処理装置２２（残響解析部３４）は、評価区間内の音響信号ｘのうち特定帯域Ｂ内の音響成分Ｘ(k,m)を解析することで残響時間Ｔを算定する（Ｓ1〜Ｓ4）。具体的には、暫定処理部５０による強度ＱER(m)および強度ＱLR(m)の算定（Ｓ1）と区間解析部６０による初期反射区間ＳERおよび後期残響区間ＳLRの特定（Ｓ2）と演算処理部７０による強度ＰERおよび強度ＰLRの算定（Ｓ3）とが順次に実行され、残響時間特定部４４は、強度ＰERおよび強度ＰLRに応じた残響時間Ｔを算定する（Ｓ4）。残響時間Ｔの算定が完了すると、残響処理部３６は、残響時間Ｔを適用した残響分離処理（残響抑圧）を音響信号ｘの全区間にわたり実行することで音響信号ｙを生成する（Ｓ5）。

以上に説明した通り、第１実施形態では、特定帯域Ｂ内の音響成分Ｘ(k,m)の解析で算定される初期反射成分の強度ＰERと後期残響成分の強度ＰLRとに応じて残響時間Ｔが算定される。したがって、非特許文献１や非特許文献２と比較して演算量や記憶容量を低減した簡便な処理で音響信号ｘから残響時間Ｔを推定できるという利点がある。第１実施形態では、暫定初期反射成分ＺER(k,m)の強度|ＺER(k,m)|²と暫定後期残響成分ＺLR(k,m)の強度|ＺLR(k,m)|²とが特定帯域Ｂ内の複数の周波数について合計される（数式(4A)，数式(4B)）から、周波数毎の強度|ＺER(k,m)|²および|ＺLR(k,m)|²を利用する構成と比較して、記憶容量を削減できるという効果は格別に顕著である。

第１実施形態では、残響時間Ｔを暫定値ｔ0と仮定した暫定的な残響分離処理で暫定初期反射成分ＺER(k,m)の強度ＱER(m)と暫定後期残響成分ＺLR(k,m)の強度ＱLR(m)とが生成され、強度ＱER(m)の時系列と強度ＱLR(m)の時系列とから特定される初期反射区間ＳERおよび後期残響区間ＳLRについて強度ＱER(m)および強度ＱLR(m)の各々を合計することで確定的な初期反射成分の強度ＰERと後期残響成分の強度ＰLRとが算定される。したがって、強度ＱER(m)を初期反射成分の強度ＰERとして確定する構成や強度ＱLR(m)を後期残響成分の強度ＰLRとして確定する構成と比較すると、特に暫定値ｔ0が実際の残響時間Ｔと乖離するような場合でも、強度ＰERと強度ＰLRとを頑健に算定できるという利点がある。

第１実施形態では、暫定初期反射成分ＺER(k,m)の強度ＱER(m)が閾値ＨERを上回る信号区間ＡERと、暫定後期残響成分ＺLR(k,m)の強度ＱLR(m)が閾値ＨLRを上回る信号区間ＡLRと、強度ＱLR(m)が強度ＱER(m)を上回る減衰区間Ｓzとを利用した簡便な処理で、音響信号ｘの初期反射区間ＳERと後期残響区間ＳLRとを特定できるという利点もある。

また、暫定初期反射成分ＺER(k,m)の複数の強度ＱER(m)の中央値が閾値ＨERに設定され、暫定後期残響成分ＺLR(k,m)の複数の強度ＱLR(m)の中央値が閾値ＨLRに設定されるから、強度ＱER(m)や強度ＱLR(m)の数値範囲に関わらず信号区間ＡERと信号区間ＡLRとを適切に特定できるという利点がある。また、第１実施形態では、前述の通り、暫定初期反射成分ＺER(k,m)の強度|ＺER(k,m)|²と暫定後期残響成分ＺLR(k,m)の強度|ＺLR(k,m)|²とを特定帯域Ｂ内で合計する（数式(4A)，数式(4B)）ことで、閾値設定部６２による中央値の算定時に並替え（ソート）の対象となる数値の個数が削減される。したがって、閾値設定部６２の処理負荷が軽減されるという利点もある。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図５は、第２実施形態の音響処理装置１００の構成図である。図５に例示される通り、第２実施形態の音響処理装置１００の演算処理装置２２は、第１実施形態と同様の要素（周波数解析部３２，残響解析部３４，残響処理部３６，波形生成部３８）に加えて雑音抑圧部３３として機能する。

雑音抑圧部３３は、周波数解析部３２が単位区間毎に生成する音響成分Ｘ0(k,m)（第１実施形態の音響成分Ｘ(k,m)）について雑音抑圧処理を実行することで音響成分Ｘ(k,m)を生成する。雑音抑圧処理は、音響信号ｘに包含される雑音成分を抑圧する処理である。雑音抑圧処理には公知の技術（例えば周波数領域で音響成分Ｘ(k,m)から推定雑音成分を減算するスペクトル減算）が任意に採用される。雑音抑圧部３３による処理後の音響成分Ｘ(k,m)を適用した残響時間Ｔの算定（残響解析部３４）や音響信号ｙの生成（残響処理部３６）は第１実施形態と同様である。第２実施形態においても第１実施形態と同様の効果が実現される。

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）残響分離処理の具体的な内容は前述の各形態の例示に限定されない。例えば、以下の数式(1A)で表現される通り、強度ＣA(k,m)および強度ＣB(k,m)の双方を分母に含む演算で調整値Ｇ(k,m)を算定することも可能である。

また、前述の各形態では、音響信号ｘの後期残響成分を抑圧する残響分離処理（残響抑圧処理）を残響処理部３６が実行したが、音響信号ｘの後期残響成分を強調（初期反射成分を抑圧）する残響分離処理（残響強調処理）を残響処理部３６が実行することも可能である。具体的には、残響処理部３６は、数式(3B)と同様に、調整値Ｇ(k,m)を所定値（例えば１）から減算した調整値{１−Ｇ(k,m)}を音響信号ｘの各音響成分Ｘ(k,m)に乗算することで、後期残響成分が強調された音響成分Ｙ(k,m)を生成する。

（２）前述の各形態では、初期反射成分の強度ＰERおよび後期残響成分の強度ＰLR（強度比ｒ）と残響時間Ｔとの関係を規定する数式(9)の演算で残響時間Ｔを算定したが、強度ＰERおよび強度ＰLRに応じて残響時間Ｔを特定するための処理は以上の例示に限定されない。例えば、強度ＰERおよび強度ＰLR（または強度比ｒ）と残響時間Ｔとを対応付けるテーブルや統計モデル（回帰モデル）を利用して残響時間特定部４４が強度ＰERおよび強度ＰLRに応じた残響時間Ｔを特定することも可能である。

（３）前述の各形態では、１個の評価区間について算定された残響時間Ｔを音響信号ｘの全区間にわたる残響分離処理に共通に適用したが、時間軸上の相異なる評価区間について残響時間Ｔを順次に特定し、残響処理部３６による残響分離処理に適用される残響時間Ｔを順次に更新することも可能である。具体的には、第１実施形態と同様の処理（図４）を所定の周期で反復的に実行する構成が採用される。例えば、音響信号ｘを時間軸上で区分した複数の評価区間の各々について残響時間Ｔが順次に特定され、任意の１個の評価区間の残響時間Ｔが、当該評価区間内の各単位区間の音響信号ｘに対する残響分離処理に適用される。また、例えば、音響信号ｘの任意の１個の単位区間（以下「対象単位区間」という）を包含するように単位区間の１個分を単位として評価区間を時間軸上で順次に移動させ、各評価区間について特定された残響時間Ｔを当該評価区間の対象単位区間の音響信号ｘに対する残響分離処理に適用する構成（単位区間毎に残響時間Ｔを更新する構成）も好適である。

（４）前述の各形態を公知の音声強調やエコー除去と併用することも可能である。例えば、音声強調やエコー除去等の処理後の音響信号ｘを対象として、残響解析部３４による残響時間Ｔの特定や残響処理部３６による残響分離処理が実行される。残響処理部３６による処理後の音響信号ｙは、例えば音声認識や話者認識等の各種の音響処理の対象としても好適である。

（５）携帯電話機等の端末装置と通信するサーバ装置（典型的にはウェブサーバ）で音響処理装置１００を実現することも可能である。例えば、音響処理装置１００は、端末装置から受信した音響信号ｘから音響信号ｙを生成して端末装置に送信する。なお、音響信号ｘの各音響成分Ｘ(k,m)が端末装置から送信される構成（例えば端末装置が周波数解析部３２を具備する構成）では音響処理装置１００から周波数解析部３２が省略され、残響分離処理の実行後の音響成分Ｙ(k,m)を音響処理装置１００から端末装置に送信する構成（例えば端末装置が波形生成部３８を具備する構成）では音響処理装置１００から波形生成部３８が省略される。また、端末装置が残響処理部３６を具備する構成では、音響処理装置１００から残響処理部３６が省略され、残響解析部３４が特定した残響時間Ｔが音響処理装置１００から端末装置に提供される。以上の説明から理解される通り、本発明は、音響信号ｘの解析で残響時間Ｔを特定する装置（残響時間推定装置）としても実現され得る。

（６）音響空間内での反射や散乱に起因した狭義の残響成分に加えて、例えば楽器の演奏音等の響き成分（共鳴成分）も残響成分に含意される。具体的には、ピアノ等の鍵盤楽器の響板による共鳴成分やバイオリン等の弦楽器の共鳴成分（胴鳴り，箱鳴り）の調整にも本発明を適用することが可能である。すなわち、本発明の残響成分は、経時的に減衰する成分（減衰成分）を意味する。

１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数解析部、３３……雑音抑圧部、３４……残響解析部、３６……残響処理部、３８……波形生成部、４２……強度算定部、４４……残響時間特定部、５０……暫定処理部、５２……残響分離部、５４……強度累算部、５６……平滑処理部、６０……区間解析部、６２……閾値設定部、６４……第１区間設定部、６６……第２区間設定部、７０……演算処理部。

Claims (5)

1. 音響信号のうち一部の周波数帯域である特定帯域の音響成分について初期反射成分の強度と後期残響成分の強度とを算定する強度算定手段と、
   前記強度算定手段が算定した初期反射成分の強度と後期残響成分の強度とに応じて残響時間を特定する残響時間特定手段と
   を具備する音響処理装置。
2. 前記強度算定手段は、
   残響時間に応じた残響分離処理を、所定の暫定値を前記残響時間として前記特定帯域の音響成分に実行することで、暫定的な初期反射成分である暫定初期反射成分の強度の時系列と、暫定的な後期残響成分である暫定後期残響成分の強度の時系列とを算定する暫定処理手段と、
   前記暫定処理手段が算定した暫定初期反射成分の強度の時系列と暫定後期残響成分の強度の時系列とに応じて、前記初期反射成分が存在する初期反射区間と前記後期残響成分が存在する後期残響区間とを特定する区間解析手段と、
   前記初期反射区間内の前記暫定初期反射成分の強度に応じて前記初期反射成分の強度を算定するとともに前記後期残響区間内の前記暫定後期残響成分の強度に応じて前記後期残響成分の強度を算定する演算処理手段とを含む
   請求項１の音響処理装置。
3. 前記区間解析手段は、
   前記暫定初期反射成分の複数の強度に応じた第１閾値と前記暫定後期残響成分の複数の強度に応じた第２閾値とを設定する閾値設定手段と、
   前記暫定初期反射成分の強度が前記第１閾値を上回る第１信号区間と前記暫定後期残響成分の強度が前記第２閾値を上回る第２信号区間とを画定する第１区間設定手段と、
   前記暫定後期残響成分の強度が前記暫定初期反射成分の強度を上回る減衰区間と前記第２信号区間とが相互に重複する区間を前記後期残響区間として設定し、前記後期残響区間以外の区間と前記第１信号区間とが相互に重複する区間を前記初期反射区間として設定する第２区間設定手段とを含む
   請求項２の音響処理装置。
4. 前記暫定処理手段は、
   前記特定帯域内の音響成分に対する前記残響分離処理により、前記特定帯域内の複数の周波数の各々について前記暫定初期反射成分と前記暫定後期残響成分とを生成する残響分離手段と、
   前記暫定初期反射成分の強度を前記特定帯域内の前記複数の周波数について合計するとともに前記暫定後期残響成分の強度を前記特定帯域の前記複数の周波数について合計する強度累算手段とを含む
   請求項２または請求項３の音響処理装置。
5. 前記残響時間特定手段が特定した残響時間を適用した残響分離処理を前記音響信号に対して実行する残響処理手段
   を具備する請求項１から請求項４の何れかの音響処理装置。
   

Images