JP4094523B2

JP4094523B2 - 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体

Info

Publication number: JP4094523B2
Application number: JP2003358907A
Authority: JP
Inventors: 末廣島内; 陽一羽田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-10-20
Filing date: 2003-10-20
Publication date: 2008-06-04
Anticipated expiration: 2023-10-20
Also published as: JP2005124027A

Description

本発明は、スピーカからマイクロホンへ回り込む反響を消去する反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体に関するものである。

スピーカからマイクロホンへ回り込む反響を消去する反響消去装置は、図１のように構成される。従来、反響消去装置１００内では、スピーカ１とマイクロホン２間の反響路のインパルス応答を要素として持つ時間領域の長さＬのベクトルｈの模擬特性h'(k)を保持する模擬反響路１０１を有する。ここで、ｋは、所定間隔の離散時間を指すステップ数である。再生信号x(k)は、模擬特性h'(k)との畳込み演算により模擬反響信号y'(k)を生成し、模擬誤差計算手段１０２において、実際の反響信号を含むマイクロホン２の収音信号y(k)から減算することで、反響消去装置の出力信号でもある誤差信号e(k)を計算する。また、反響路推定手段１０３において、再生信号x(k)と誤差信号e(k)とを用いて、模擬特性h'(k)の特性を随時推定する。
反響路推定手段１０３における、模擬特性h'(k)の推定は（非特許文献１）に記載の手法を用いると、

図２は、後述の本発明による構成との違いを比較し易くするために発明者によって、（式１）を

と分解した場合の（非特許文献１）に基づく反響消去装置の構成である。図２の反響路推定手段１０３における再生信号列正規化手段１１１は、（式２）におけるx(k-1)／||x(k-1)||の計算に相当し、ノルム除算誤差計算手段１１２は、（式２）におけるe(k-1)／||x(k-1)||の計算に相当する。また、特性差分更新手段１１３は、再生信号列正規化手段１１１、ノルム除算誤差計算手段１１２の結果を基に、（式２）に基づき、１ステップ過去に推定された模擬特性h'(k-1)をステップｋで用いるh'(k)に更新する手段である。
J.Nagumo,A.noda"A learning method for system identification"IEEE Trans.Automatic control, Vol.AC-12,No.3, June 1967

（背景技術）で説明した図２の構成における問題点を示す。
反響路推定手段１０３の内部における、再生信号列正規化手段１１１の出力である正規化再生信号列：x(k-1)／||x(k-1)||は、正規化されているため、常に大きさは１となる。一方、ノルム除算誤差計算手段１１２の出力である再生信号のノルムで除算された誤差信号e(k-1)／||x(k-1)||は、その大きさが一定ではない。特に、大きさの小さい再生信号のノルム：||x(k-1)||に対し、誤差信号：e(k-1)が大きい場合には、e(k-1)／||x(k-1)||の値は非常に大きくなる。大きくなる原因が、本来の更新に意味を持つものであれば問題は無いが、多くの場合もともとの収音信号y(k)に反響信号以外の外乱が多く含まれることに起因する。このため、不要に大きな模擬特性h'(k)の更新を実行してしまい、反響消去性能は、大きく乱れる。

本発明の課題は、収音信号y(k)に反響信号以外の外乱が多く含まれることに起因するe(k-1)／||x(k-1)||の大きさの増大のために、模擬特性h'(k)の更新が不適切となり、反響消去性能が劣化することを防ぐことである。

前記課題を解決する本発明の反響消去装置、及び方法を図３を参照して説明する。
図３の構成では、図２と同様に模擬反響路１０１、模擬誤差計算手段１０２を有し、図２の構成と異なる点として、反響路推定手段１０３の内部において、ノルム除算誤差計算手段１１２の出力e(k-1)／||x(k-1)||を入力するノルム除算誤差非線形変換手段１１４を設けている。ノルム除算誤差非線形変換手段１１４は、入力e(k-1)／||x(k-1)||の大きさに応じ、その大きさが大きいほど、実際のe(k-1)／||x(k-1)||の大きさよりも小さい値を出力する。つまり、入力する値αが大きくなるほどその値を抑圧する特性を持つ任意の関数ψ(a)（ここではψ(a)をリミッタ関数と呼ぶ）を適用することにより、ノルム除算誤差非線形変換手段１１４は、ψ（e(k-1)／||x(k-1)||）を出力する。

本発明による反響消去装置、及び方法は、収音信号y(k)に反響信号以外の外乱が多く含まれることに起因するノルム除算誤差：e(k-1)／||x(k-1)||の大きさの増大を防ぐノルム除算誤差非線形変換手段を設けることにより、模擬特性h'(k)が不適切に更新されることを防ぎ、収音信号y(k)に外乱が含まれている場合であっても、反響消去性能が劣化しない効果を有する。特に、反響消去装置が通信会議に適用される場合、外乱とは、スピーカ、マイクロホンを設置してある部屋の中で発生する周囲雑音やその部屋にいる発言者の音声である。スピーカとマイクロホンとの間の反響路の利得の上限値が想定可能であった場合、外乱の影響が小さい場合には、ノルム除算誤差：e(k-1)／||x(k-1)||の大きさも、その反響路の利得の上限値に比例したノルム除算誤差上限値を持ち、これを超えて大きくなることはない。一方、前述の部屋の発言者の音声が外乱となり、通信相手の発言とが同時に発声した場合、ノルム除算誤差：e(k-1)／||x(k-1)||の大きさは、前述の外乱の影響が小さい場合に想定したノルム除算誤差上限値を超えて大きくなり得る。そこで、本発明によるノルム除算誤差非線形変換手段により、ノルム除算誤差が前記のノルム除算誤差上限値を超えないように処理することにより、通信相手との同時発話においても、反響消去性能の劣化を防ぐことができる。

本発明は、図３におけるノルム除算誤差非線形変換手段１１４において用いる前述のリミッタ関数ψ(a)の特性の選定が重要となる。ここで、反響路の利得の上限値をACLと想定すると、

が挙げられる。ここで、βは、反響路の上限値として想定されたACLの値の信頼度に応じ、調整するための係数で、ACLが上限値として信頼できるのであれば、β＝１が最も理に適った値といえる。

本発明の実施例として、前述のリミッタ関数ψ(a)の例以外に適用可能な関数の特性概形を図４に示す。
外乱の影響が小さい時は、ノルム除算誤差がノルム除算誤差上限値を越えないことが、十分信頼できる実施環境の場合、代替５のような所定の大きさ以上のノルム除算誤差に対しては、減少傾向を持つ特性を与えてもよい。

図５に示す構成は、本発明装置の別の形態の実施例である。
信号変換部１２１〜１２９、及び信号変換部１３１〜１３３は、それら全てが同時に機能するのではなく、それらのうちのいくつかが機能することにより異なる処理形態を実現するものである。それらが実現する信号変換としては、周波数変換、逆周波数変換がある。さらに、周波数変換には、（高速）フーリエ変換、（高速）離散コサイン変換、サブバンド帯域分割等があり、逆周波数変換には、逆（高速）フーリエ変換、逆（高速）離散コサイン変換、サブバンド帯域合成等がある。
例えば、（１）図５中の信号変換部１２１，１２４において周波数変換を行い、信号変換部１２６において逆周波数変換を行う場合は、模擬反響路１０１，模擬誤差計算手段１０２、反響路推定手段１０３は、全て、周波数変換後の信号に対して、各周波数毎に機能することになる。（２）また、信号変換部１２１，１２４，１２６の代わりに反響消去装置１００の外に設けた、信号変換部１３１，１３２において周波数変換を行い、信号変換部１３３において逆周波数変換を行っても同様である。但し、この場合は、反響消去装置が入出力する信号は、周波数変換信号となる。（３）また、別の形態として、信号変換部１２１において周波数変換、信号変換部１２３において逆周波数変換、信号変換部１２８において周波数変換を行う形態もある。この場合は、模擬反響路１０１、反響路推定手段１０３においては、周波数変換信号を処理するが、模擬誤差計算手段１０２では、時間信号のまま、模擬誤差計算を行う。（４）さらに、別の形態として、信号変換部１２７，１２８において周波数変換、信号変換部１２９において逆周波数変換を行う形態もある。この場合は、反響路推定手段１０３のみが周波数変換信号に対して実行され、模擬反響路１０１，模擬誤差計算手段１０２では、時間信号のまま、処理を実行する。信号変換部１２９における逆周波数変換は、信号に対してではなく、模擬反響路の特性の推定値に対して、周波数領域の特性から時間領域の特性への変換を実行する。
上記の例では、それぞれ言及されていない信号変換部は機能していないものとする。また、信号変換部１２７，１２８が反響路推定手段１０３に含まれるか否かは、本発明の本質ではなく、いずれの場合においても、同様な効果を得ることができる。

（実施例２）において、反響路推定手段１０３の処理を周波数領域において実行する場合においては、各周波数に対応した再生信号のベクトルx(k)、および、誤差信号e(k)を持つことになる。ここで、時間間引きを伴う周波数変換を実施する場合においては、各周波数に対応した再生信号のベクトルx(k)の長さは、時間的領域で与えた長さＬとは、必ずしも一致しなくてよい。即ち、時間間引きの間隔に応じて、例えば時間間隔を１／Ｒに間引いて周波数変換した場合には長さをＬ／Ｒとするなど、Ｌよりも短い長さのベクトルとして、x(k)を扱うことができる。そのため、（式３）のようなリミッタ関数を用いる場合、各周波数毎に、

とするなど、時間間引きの影響を反映させることで、性能を保持することができる。また、反響路に利得の上限値として想定されるACLの値を、周波数毎に異なる値として与えてもよい。

図６に示す実施例は、（式３）等において利用する反響路の利得の想定上限値である。ACLが不明または、想定値の精度を高めたい場合に適用できる実施例で、音響結合量評価手段１１５を備えている。図６中に示した信号変換部１２１〜１２９、及び信号変換部１３１〜１３３は、（実施例２）に示したように、周波数変換、逆周波数変換処理を必要に応じて実行できるものとし、信号変換部１２１〜１２９、及び信号変換部１３１〜１３３のいずれも機能しない（バイパス）場合も含む。音響結合量評価手段１１５では、再生信号と収音信号、または、再生信号と誤差信号のレベル比を測定し、ACL（反響路の上限値）として与える。（実施例２）に示したように周波数変換信号に対して反響路推定手段１０３が機能する場合には、音響結合量評価手段１１５は、各周波数毎にACLの値を計算する機能を含む。

本発明の反響消去装置は、ＣＰＵやメモリ等を有するコンピュータと、利用者端末と、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の記録媒体とから構成することができる。
記録媒体に記録された反響消去プログラム、あるいは回線を介して伝送された反響消去プログラムは、コンピュータに読み取られ、コンピュータ上に前述した各構成要素を実現し、各処理を実行する。

ハンズフリー通話、ハンズフリー音声認識などへの適用が可能である。

反響消去装置の基本構成を示す図。従来の反響路推定手段を有する反響消去装置の構成を示す図。本発明の反響路推定手段を有する反響消去装置の構成を示す図。リミッタ関数の代替例を示す図。本発明の信号変換部を有する反響消去装置の実施例の構成を示す図。本発明の信号変換部と音響結合量測定手段を有する反響消去装置の実施例の構成を示す図。

符号の説明

１・・・スピーカ（音響信号再生手段）、２・・・マイクロホン（音響信号収音手段）
１００・・・反響消去装置
１０１・・・模擬反響路、１０２・・・模擬誤差計算手段
１０３・・・反響路推定手段、１１１・・・再生信号列正規化手段、１１２・・・ノルム除算誤差計算手段、１１３・・・特性差分更新手段、１１４・・・ノルム除算誤差非線形変換手段
１２１〜１２９、１３１〜１３３・・・信号変換部

Claims

同一空間内に存在する音響再生手段と音響収音手段との間の音響的な伝達経路である反響路の模擬特性を保持し、前記音響再生手段から再生する再生信号の入力に対し、前記再生信号が前記音響収音手段により収音されて得られる反響信号を模擬する模擬反響信号を出力する模擬反響路と、前記音響収音手段が収音する全ての信号である収音信号と前記模擬反響信号とを入力し、それらの差分である誤差信号を出力する模擬誤差計算手段と、前記再生信号と前記誤差信号とを入力し、前記反響路の特性を推定し、前記模擬反響路が保持する反響路の模擬特性を更新する反響路推定手段と、を有し、前記収音信号に含まれる反響信号を消去する反響消去装置において、
前記反響路推定手段は、
前記再生信号を有限長の時間列として入力し、この再生信号列の各要素をこの再生信号列自身のノルムで除算し、正規化再生信号列を得る再生信号列正規化手段と、
前記誤差信号と、前記再生信号列またはそのノルムを入力し、前記再生信号列のノルムで除算されたノルム除算誤差信号を出力する、ノルム除算誤差計算手段と、
前記ノルム除算誤差信号を入力し、前記ノルム除算誤差信号の大きさが大きいほど前記ノルム除算誤差信号の大きさよりも小さい値である非線形変換ノルム除算誤差信号を出力するノルム除算誤差非線形変換手段と、
前記正規化再生信号列と前記非線形変換ノルム除算誤差信号とを入力し、前記反響路と前記模擬反響路の特性との差分を推定し、この推定された差分特性と前記模擬反響路の特性とを合成し、新たな反響路の推定特性を出力する特性差分更新手段と、
を有することを特徴とする反響消去装置。
請求項１に記載の反響消去装置において、
前記ノルム除算誤差非線形変換手段における非線形変換を、所定の大きさ（上限値）を超える大きな値を抑圧するリミッタ関数により実現することを特徴とする反響消去装置。
請求項２に記載の反響消去装置において、
前記再生信号と前記収音信号、または、前記再生信号と前記誤差信号の比を計算し、この比に基づき前記リミッタ関数で利用される上限値を決定する音響結合量測定手段を有することを特徴とする反響消去装置。
同一空間内に存在する音響再生手段と音響収音手段との間の音響的な伝達経路である反響路の模擬特性を保持し、前記音響再生手段から再生する再生信号の入力に対し、前記再生信号が前記音響収音手段により収音されて得られる反響信号を模擬する模擬反響信号を生成して模擬反響路を構成し、前記音響収音手段が収音する全ての信号である収音信号と前記模擬反響信号とを入力し、それらの差分である誤差信号を得て、前記再生信号と前記誤差信号とを入力し、前記反響路の特性を推定し、前記模擬反響路が保持する反響路の模擬特性を更新することにより、前記収音信号に含まれる反響信号を消去する反響消去方法において、
前記反響路の特性の推定は、
前記再生信号を有限長の時間列として入力し、この再生信号列の各要素をこの再生信号列自身のノルムで除算し、正規化再生信号列を得て、
前記誤差信号と、前記再生信号列またはそのノルムを入力し、前記再生信号列のノルムで除算されたノルム除算誤差信号を得て、
前記ノルム除算誤差信号を入力し、前記ノルム除算誤差信号の大きさが大きいほど前記ノルム除算誤差信号の大きさよりも小さい値である非線形変換ノルム除算誤差信号を生成し、
前記正規化再生信号列と前記非線形変換ノルム除算誤差信号とを入力し、前記反響路と前記模擬反響路の特性との差分を推定し、この推定された差分特性と前記模擬反響路の特性とを合成し、新たな反響路の推定特性を生成することを特徴とする反響消去方法。
請求項４に記載の反響消去方法において、
前記ノルム除算誤差信号の非線形変換を、所定の大きさ（上限値）を超える大きな値を抑圧するリミッタ関数により実現することを特徴とする反響消去方法。
請求項５に記載の反響消去方法において、
前記リミッタ関数で利用される上限値を、前記再生信号と前記収音信号、または、前記再生信号と前記誤差信号の比を計算し、この比に基づき決定することを特徴とする反響消去方法。
同一空間内に存在する音響再生手段と音響収音手段との間の音響的な伝達経路である反響路の模擬特性を保持する処理と、前記音響再生手段から再生する再生信号の入力に対し、前記再生信号が前記音響収音手段により収音されて得られる反響信号を模擬する模擬反響信号を生成して模擬反響路を構成する処理と、前記音響収音手段が収音する全ての信号である収音信号と前記模擬反響信号とを入力し、それらの差分である誤差信号を得る処理と、前記再生信号と前記誤差信号とを入力し、前記反響路の特性を推定する処理と、前記推定した反響路の特性をもとに前記模擬反響路が保持する反響路の模擬特性を更新する処理と、をコンピュータに実行させる前記収音信号に含まれる反響信号を消去する反響消去プログラムにおいて、
前記反響路の特性を推定する処理は、
前記再生信号を有限長の時間列として入力し、この再生信号列の各要素をこの再生信号列自身のノルムで除算し、正規化再生信号列を得る処理と、
前記誤差信号と、前記再生信号列またはそのノルムを入力し、前記再生信号列のノルムで除算されたノルム除算誤差信号を得る処理と、
前記ノルム除算誤差信号を入力し、前記ノルム除算誤差信号の大きさが大きいほど前記ノルム除算誤差信号の大きさよりも小さい値である非線形変換ノルム除算誤差信号を生成する処理と、
前記正規化再生信号列と前記非線形変換ノルム除算誤差信号とを入力し、前記反響路と前記模擬反響路の特性との差分を推定する処理と、
前記推定された差分特性と前記模擬反響路の特性とを合成し、新たな反響路の推定特性を生成する処理と、を有することを特徴とする反響消去プログラム。
請求項７に記載の反響消去プログラムにおいて、
前記ノルム除算誤差信号を得る処理における非線形変換を、所定の大きさ（上限値）を超える大きな値を抑圧するリミッタ関数により実現することを特徴とする反響消去プログラム。
請求項８に記載の反響消去プログラムにおいて、
前記ノルム除算誤差信号を得る処理における前記リミッタ関数で利用される上限値を、前記再生信号と前記収音信号、または、前記再生信号と前記誤差信号の比を計算し、この比に基づき決定する処理を有することを特徴とする反響消去プログラム。
同一空間内に存在する音響再生手段と音響収音手段との間の音響的な伝達経路である反響路の模擬特性を保持する処理と、前記音響再生手段から再生する再生信号の入力に対し、前記再生信号が前記音響収音手段により収音されて得られる反響信号を模擬する模擬反響信号を生成して模擬反響路を構成する処理と、前記音響収音手段が収音する全ての信号である収音信号と前記模擬反響信号とを入力し、それらの差分である誤差信号を得る処理と、前記再生信号と前記誤差信号とを入力し、前記反響路の特性を推定する処理と、前記推定した反響路の特性をもとに前記模擬反響路が保持する模擬特性を更新する処理と、をコンピュータに実行させる前記収音信号に含まれる反響信号を消去する反響消去プログラムを記録した記録媒体において、
前記反響路の特性を推定する処理は、
前記再生信号を有限長の時間列として入力し、この再生信号列の各要素をこの再生信号列自身のノルムで除算し、正規化再生信号列を得る処理と、
前記誤差信号と、前記再生信号列またはそのノルムを入力し、前記再生信号列のノルムで除算されたノルム除算誤差信号を得る処理と、
前記ノルム除算誤差信号を入力し、前記ノルム除算誤差信号の大きさが大きいほど前記ノルム除算誤差信号の大きさよりも小さい値である非線形変換ノルム除算誤差信号を生成する処理と、
前記正規化再生信号列と前記非線形変換ノルム除算誤差信号とを入力し、前記反響路と前記模擬反響路の特性との差分を推定する処理と、この推定された差分特性と前記模擬反響路の特性とを合成し、新たな反響路の推定特性を生成する処理と、を有する反響消去プログラムを記録した記録媒体。
請求項１０に記載の反響消去プログラムを記録した記録媒体において、
前記ノルム除算誤差信号を得る処理における非線形変換を、所定の大きさ（上限値）を超える大きな値を抑圧するリミッタ関数により実現する反響消去プログラムを記録した記録媒体。
請求項１１に記載の反響消去プログラムを記録した記録媒体において、
前記ノルム除算誤差信号を得る処理における前記リミッタ関数で利用される上限値を、前記再生信号と前記収音信号、または、前記再生信号と前記誤差信号の比を計算し、この比に基づき決定する処理を有する反響消去プログラムを記録した記録媒体。