JP3670562B2 - ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 - Google Patents
ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3670562B2 JP3670562B2 JP2000268442A JP2000268442A JP3670562B2 JP 3670562 B2 JP3670562 B2 JP 3670562B2 JP 2000268442 A JP2000268442 A JP 2000268442A JP 2000268442 A JP2000268442 A JP 2000268442A JP 3670562 B2 JP3670562 B2 JP 3670562B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- stereo
- sound
- signal
- attenuation coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、音声、楽音、各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった２チャネルステレオ信号において、中央付近に定位する音源信号を強調もしくは抑圧するステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体に関し、ステレオ音楽ソースの受聴者の好みに応じた再生や、騒音環境下で目的とする音声だけを受聴する時などに適用される。
【０００２】
【従来の技術】
二本のマイクロホンで収音されたステレオ音響信号、もしくは人工的にチャネル間でレベル差や位相差などをつけることで複数音源を複数位置に定位されたステレオ音響信号から、中央付近に定位する音源信号のみを抑圧するには、片側の信号の正負を反転、逆相にしてもう一方の信号に加算すればよい。これは中央に定位する音源の左右の信号の差違が小さいことにより実現される方法である。この方法は、既にでき上がった音楽信号から歌など主旋律のパートを消去し、伴奏だけを取りだすいわゆるボーカルキャンセル技術として利用される。
【０００３】
しかしこの方法では、ステレオであった伴奏は加算によってモノラルになってしまうという問題があった。加えてこの方法では、中央に定位する音源を抑圧する量を調整することは出来ない。
一方、難聴者は、複数の音源が存在する中から目的とする音源信号を聞き取る能力（いわゆるカクテルパーティー効果と呼ばれる。）が劣っているといわれている。このため、健聴者を対象に作成された音楽信号では、しばしば伴奏が歌より大きく感じられることが指摘されている。この場合にはセンターに定位する歌を強調し、伴奏を抑圧することが望まれるが、これは前述の方法では実現できない。
【０００４】
複数の音源が混合された信号から目的とする音源信号を抽出、もしくは強調する方法は他にもある。
第１の方法は、周期構造を持つ音源を周波数領域において基本周波数を推定し、調波構造を抜きだすことにより、同一音源と推定する成分を再合成する方法である。
しかしこの第１の方法では、音源は調波構造に限定され、さらに音源の調波構造の推定には必ず誤差が生じるため、それが雑音として知覚されることにより、目的音源信号の抽出精度が悪くなる問題があった。
【０００５】
第２の方法は、周波数特性の変動が比較的ゆるやかな定常的な雑音源と周波数特性が定常的音源よりも頻繁に変動する例えば音声のような目的信号音源が重畳された信号から、後者の目的音源信号を抽出、もしくは強調する方法である。これは混合された信号を周波数領域において、まず目的音源信号が重畳されていない部分、すなわち雑音源信号を推定し、雑音源信号の平均的な周波数特性を記憶する。そして、周波数領域において、雑音源信号と目的音源信号が重畳された信号から記憶された雑音源の平均的な周波数構造を減算することで目的音源信号を強調、もしくは抽出する方法である。
【０００６】
しかしこの第２の方法では、雑音源信号が定常であることが必要で、歌の伴奏のように非定常な音源の伴奏のみの個所の推定、及び抑圧は困難であった。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、ステレオ音響信号から中央付近に定位する音源信号を抑圧、もしくは強調する技術において、抑圧、強調する割合の調整を可能とすることである。
本発明の別の目的は原信号の定位を損なわず、中央付近に定位する音源信号だけを強調、もしくは抑圧することである。
【０００８】
本発明の別の目的は、目的とする音源信号の調波構造に依存せずに高精度に抑圧、もしくは強調することである。
本発明の別の目的は、目的外の信号（雑音信号）が非定常な信号であっても高精度に目的音を抑圧、もしくは強調することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明のステレオ音響信号処理方法及び装置は、ステレオ音響信号を入力し、二つのチャネル信号を各チャネルごとに複数の周波数帯域に分割し、各周波数帯域ごとにチャネル間の類似度を計算し、類似度などから中央に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算し、この減衰係数を各周波数帯域信号に乗じた後の各チャネルごとの各周波数帯域信号を再合成し、再合成した信号を出力することにより構成される。
【００１０】
本発明は、入力されたステレオ信号をチャネルごとに複数の周波数帯域に分割する。そして、各周波数帯域ごとにチャネル間の信号の類似度をその振幅比や位相差などによって決定する。そして、類似度の高い周波数帯域に比べて類似度の低い周波数帯域に小さな減衰係数を乗算して、各チャネルごとに再合成して出力すれば、減衰係数の下限値に応じて中央に定位する音源が強調される。反対に類似度の低い周波数帯域に比べて、類似度の高い周波数帯域に小さな減衰係数を乗算して各チャネルごとに再合成して出力すれば、減衰係数の下限値に応じて中央に定位する音源が抑圧される。
【００１１】
【発明の実施の形態】
（第１実施例）
図１は本発明の第１の実施例を示すブロック図である。
ステレオ信号入力部102に入力される音響信号は、強調、もしくは抑圧したい目的音源信号が中央付近に定位するように収音されているステレオ信号であれば本発明は有効である。
【００１２】
ステレオ信号入力部102に入力されたステレオ信号は左右のチャネルごとに処理される。以下にその処理方法の詳細を述べる。
左チャネルの信号sLは、左チャネル周波数帯域分割部103によって周波数領域に変換される。同様に右チャネルの信号sRは、右チャネル周波数帯域分割部110によって周波数領域に変換される。ここで帯域分割数をNとする。左チャネルにおいて帯域分割された信号を低い周波数から順にfL(0), fL(1),fL(2),・・・,fL(k),・・・,fL(N−1)とする。右チャネルにおいて帯域分割された信号を低い周波数から順にfR(0), fR(1),fR(2),・・・,fR(k),・・・,fR(N−1)とする。類似度計算部104において、fL(k),fR(k)は、同じ周波数帯域ごとに類似度a(0),a(1),a(2),・・・,a(k),・・・,a(N−1)が計算される。ステレオ信号において、中央付近に定位する音源信号は左右の信号が一致、もしくはその差違が非常に小さい。これは、周波数領域に変換したのちも全ての周波数領域において、左右の成分の差違は小さいことを意味する。このことから類似度は、kが等しい、即ち同じ周波数成分間で、fL(k)とfR(k)の差違で決定することが出来る。
【００１３】
そして、各周波数帯域ごとに計算された類似度a(k)に基づき各周波数帯域ごとに減衰係数計算部105において減衰係数g(k)(k＝０〜N−１）が算出される。減衰係数は同一周波数帯域において、左右チャネル間で同一なものが各周波数帯域信号fL(k)に乗算器116で乗算される。
つまり、各周波数帯域ごとの左右レベル差、位相差から各周波数帯域ごとに類似度、そして減衰係数を計算し、各帯域に乗じて、左右チャネル音源信号合成部106,111で再合成することで、類似度の大きな成分だけの成分集合sL´,sR´が出力され、その結果、中央付近に定位する音源信号だけが残る。
類似度の計算方法
類似度a(k)の計算方法について、左右周波数帯域分割部103,110が短時間フーリエ変換（以下、FFTと略する）である場合について述べる。
【００１４】
FFTで周波数分割した場合、fL(k)およびfR(k)は一般に複素数となり、位相を考慮する必要がある。そこで、各成分の大きさの比と位相差によって二つの類似度を計算する。大きさの比による類似度をai(k)、位相差による類似度ap(k)とすると、
【００１５】
【数１】
ap(k)＝cosθ （２）
ここで、θはfL(k)とfR(k)の位相差を表す。
【００１６】
類似度ai(k),ap(k)は減衰係数計算部105に送られ、減衰係数g(k)が計算される。
減衰係数の計算方法
減衰係数g(k)の計算方法について説明する。
１.中央定位音源信号を強調する場合
中央に定位する音源信号を強調する場合について説明する。
▲１▼大きさの比による減衰係数gi(k)の計算方法を説明する。
【００１７】
（１）式から明らかなように、類似度ai(k)は、fL(k)とfR(k)の大きさが等しい時に１になり、それ以外は１より小さい値となる。したがって、大きさの比による類似度ai(k)を引数とする関数において、単調増加の関数の出力をgi(k)に選べばよい。
図２にその一例を示す。横軸は20log10（ai(k)）、縦軸は20log10（gi(k)）を示している。
【００１８】
ここで、 Ai(k)＝20log10(ai(k)),Gi(k)＝20log10(gi(k)）とすると、
中央に定位する音源信号だけであるならば、全てのkに対してai(k)は１（20log10（ai(k)）＝０）になるが、その他に定位する信号が重畳されることにより、中央定位音源信号が支配的な帯域であっても１よりもやや小さくなることがある。よって図２のように適当な幅εを持たせることが有効である。この適当な幅εは例えばβは左右のレベル差や位相差が僅かで中央に音を知覚させる中央定位音源信号について音質などの変化が無視できる範囲で予め聴感上で決めることが好適である。ただし、εを大きくしすぎると、中央付近で左右いずれかの方向にずれて定位した音源信号などを抑圧することが出来なくなる。よって、εは誤差による中央定位音源信号の音質などの変化が無視できる範囲で０に近い値にすることが望ましい。
【００１９】
Giminは、中央定位音源信号以外の信号の抑圧量に相当する。この値を変化させることで、歌と伴奏に例えるならば、歌の大きさに対する伴奏の大きさを調整することが可能となる。図２において、βをεと一致させてもよいし、一致させなくてもよい。βをεに近づけると中央定位音源信号以外の信号は等しくGiminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差の影響も大きくなる。βをεから離すことで中央定位音源信号が支配的な帯域を誤って抑圧した場合の誤差の影響を小さく出来るが、定位する位置によって抑圧量が変わってしまい、歌の伴奏に例えるならば、伴奏楽器間の音量のバランスが変わってしまうことが予想される。よって、中央定位音源信号の音質などの変化が無視できる範囲でβはεに近い値（０＞ε＞β）にすることが望ましい。
▲２▼位相差による減衰係数gp(k)の計算方法を説明する。
【００２０】
（２）式から明らかなように、類似度ap(k)は、fL(k)とfR(k)の位相が一致したときに１になり、それ以外は１より小さい値であり、位相差θがπ／２ラジアンの時に０、θがπラジアンの時、すなわち逆相の時に−１で最小である。一般に位相差による定位知覚は周波数帯域に依存し、大きさの比ほど単純ではない。しかし、少なくとも中央に定位する音源信号に関しては位相差は０に近く、よってap(k)は１に近い値であることが期待できる。このことから位相差による減衰係数gp(k)は例えば図３に示すように計算すればよい。
【００２１】
図３にその一例を示す。横軸はap(k)、縦軸は20log10(gp(k))を表す。
ここで、Gp(k)＝20log10(gp(k))とすると、
中央に定位する音源信号だけであるならば、全てのkに対してap(k)は１になるが、その他の雑音信号が重畳されることにより、中央定位音源信号が支配的な帯域であっても１よりやや小さくなることがある。よって図２のように適当な幅ζを持たせることが有効である。しかしζを大きくしすぎると、中央に定位しない他の音源信号の抑圧が不十分になる。よって、ζは誤差による中央定位音源信号の変化が無視できる範囲で１に近い値（１＞ζ）にすることが望ましい。Gpminは、中央定位音源信号以外の信号の抑圧量に相当する。この値を変化させることで、歌と伴奏に例えるならば、歌の大きさに対する伴奏の大きさを調整することが可能となる。
【００２２】
図３において、αとζとを一致させてもよいし、一致させなくてもよい。αをζに近づけると中央定位音源信号以外の信号は等しくGpminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差も大きくなる。αをζから離すことで中央定位音源信号が支配的な帯域を誤って抑圧された場合の誤差の影響を小さく出来るが、位相差による抑圧量の違いは周波数帯域によってその影響度が異なるため、歌の伴奏に例えるならば、伴奏楽器の音量のバランスだけではなく音色などが変わってしまうことなどが予想される。よって、中央定位音源信号の変化が無視できる範囲でαはζに近い値（０＞ζ＞α）にすることが望ましい。
▲３▼二つの減衰係数gi(k)とgp(k)から実際にfL(k),fR(k)に乗算する減衰係数g(k)の計算方法を説明する。
【００２３】
適当な距離を離した二つのマイクロホンで比較的マイクロホンから距離が近い複数の音源信号を収音したステレオ信号が入力信号である場合には、ステレオ再生における定位は左右のマイクロホンに入ってくる信号の位相差と大きさの比（レベル差）に依存する。低い周波数においてはレベル差はつきにくく、位相差が大きく影響する。高い周波数では、大きさの比が大きく影響する。よって、例えば周波数帯域を二つに分けてそれよりも低い周波数においてはgi(k)を、高い周波数においてはgp(k)を採用することが考えられる。しかしながら、壁に囲まれた残響のある部屋において、マイクロホンから離れた位置に存在する音源からの信号は一般に左右のレベル差はほとんどなく、逆に位相が左右のマイクロホンでランダムになるため（２）式の値が０に近くなる。この場合は全ての周波数において優先的にgp(k)を使うことが望ましい。さらにポピュラー音楽等の場合は、直接マイクロホンで収音するだけでなく、左右チャネル信号に大きさの比や時間差、あるいは位相の時間的な変化を人工的に付加することで自然界には存在しない定位を得ることが普通であり、もっと複雑になる。以上のように様々なステレオ入力信号に応じて、最適なg(k)の選択をすることは非常に困難である。しかしながら、どの場合も少なくとも中央に定位する音源信号の大きさの比と位相差は共に小さい、そこで、g(k)として、gi(k)とgp(k)の小さいほうを採用することにする。即ち、
g(k)＝min（gi(k),gp(k)） （３）
ここで、min(A,B）はAとBのどちらか小さい方を出力することを意味する。つまり、どんなステレオ入力信号であっても、大きさか位相の少なくとも一方が左右で異なる場合は抑圧することになり、その結果、中央に定位する音源信号を強調することが可能となる。
【００２４】
上記のように減衰係数計算部105で計算されたg(k)は図１にあるように各チャネル各周波数帯域のfL(k),fR(k)に乗算器116で乗算される。同じ帯域kにおいて左右のチャネルに同じg(k)を乗算することで、中央に定位する音源信号以外の音源信号を定位を維持したまま抑圧することが可能となる。g(k)を乗算した信号は、fL(k)は左チャネル音源信号合成部106で再合成して時間波形sL´に変換される。fR(k)は右チャネル音源信号合成部111で再合成して時間波形sR´に変換される。sL´,sR´はステレオ信号出力部107から、ラウドスピーカ108やステレオヘッドホン109に送られる。
【００２５】
以上の処理により、中央に定位する音源信号を強調、その他の音源信号を抑圧した合成信号をステレオラウドスピーカ108やステレオヘッドホン109等で受聴することが可能となる。
２.中央定位音源信号を抑圧する場合
中央に定位する音源信号を抑圧し、それ以外の音源信号を強調する場合について説明する。
図１において類似度計算部104で類似度ai(k),ap(k)を計算するところまでは先に述べた中央に定位する音源信号を強調する場合と同じであり、類似度から減衰係数を計算する部分が異なる。中央に定位する音源信号を抑圧するのであるから、大きさによる減衰係数gi(k)を図４に示すように計算し、位相による減衰係数を図５に示すように計算すればよい。
【００２６】
図４、５にその一例を示す。
ここで、Ai(k)＝20log10(ai(k)),Gi(k)＝20log10(gi(k)),Gp(k)＝20log10(gp(k))とすると、
即ち、左右の類似度が大きいほど減衰係数を小さくすることによって、中央に定位する音源信号を抑圧することが可能となる。α,β,ε,ζの考え方は前述の中央に定位する音源信号を強調する場合と同様であるため割愛する。gi(k)とgp(k)からg(k)を得る方法も強調の場合と同じ考えで、
g(k)＝max(gi(k),gp(k)） （４）
と計算する。ここで、max(A,B)はAとBから大きいほうを出力することを意味する。即ち、大きさによる減衰係数gi(k)と位相による減衰係数gp(k)の少なくともどちらか一方が大きい場合には、左右チャネル信号に位相差か大きさの違いがあることを意味し、その信号は中央に定位する音源信号ではないと考えるからである。gi(k)とgp(k)が共に小さい場合のみ、中央に定位する音源信号であり、抑圧の対象となる。
【００２７】
減衰係数計算部105で計算されたg(k)を各周波数帯域のfL(k),fR(k)に乗算するところから先は中央に定位する音源を強調する場合と同じであるので割愛する。上記の方法では、原信号における中央付近に定位する音源信号とそれ以外の音源信号（例えば、歌と伴奏に対応する）の音量差にかかわらず、減衰係数g(k)により、一律に抑圧される。つまり、原信号において既に適切な音量差であった場合でも、さらに抑圧され、音量差は拡大する。
【００２８】
そこで、次に、原信号の中央付近に定位する音源信号とそれ以外の音源信号の音量差を推定し、その差を一定にするように減衰係数を決定する方法について説明する。
中央付近に定位する音源信号を強調する場合には、g(k)の値が大きければ中央定位音源信号成分と推測される。そこで、g(k)の値に適当なしきい値gthを設定し、gthよりも大きな周波数成分の大きさの合計を中央付近定位信号の大きさの推定値gcとする。同様にgthよりも小さな周波数成分の大きさの合計を中央以外に定位する音源信号の大きさの推定値gbとする。これらの値は瞬時の値であるため、これらの長時間平均をとる、その方法には、例えば、移動平均法などが考えられる。それらの値をgca,gbaとすると、
rcb＝gca／gba （５）
rcbは騒音で考えると長時間平均のSN比に相当する。Sが中央付近定位音源信号の大きさ（パワー）で、Nがそれ以外の定位音源信号の大きさに相当する。次にこのrcbを基準に所望のSN比にするように「N」を抑圧することを考える。所望のSN比をrd、必要な抑圧量をg2とすると、rcbを抑圧量g2で割った値がrdになればよい。よって、
g2＝rcb／rd (rcb≦rdのとき)
g2＝1.0 (rcb＞rdのとき) （６）
上式では、原信号のSN比が、所望のSN比よりも大きい時には抑圧しない。その際、原信号よりもSN比を強制的に小さくしたい場合には、rcbとrdの大小関係にかかわらず、（６）式上段のみを使用し、１より大きなg2に設定すればよい。
【００２９】
各周波数帯域において、減衰係数が上述のgthよりも小さな帯域成分に対し、g2を乗算することで、平均的なSN比、すなわち中央定位音源信号とそれ以外の音源信号の音量差を所望量にすることが可能となる。
以上の処理により、中央に定位する音源信号を抑圧、その他の音源信号を強調した合成信号をステレオラウドスピーカ108やステレオヘッドホン109等で受聴することが可能となる。
（第２実施例）
図６は、本発明の第２の実施例を示すブロック図である。
【００３０】
減衰係数g(k)を乗算した後、左右のチャネル信号を加算器117で加算することでモノラル化する。ステレオの効果はなくなるが、左右のチャネルの信号を加算することで左右チャネルで無相関な音源信号成分をより抑圧することが可能である。
多くの歌の入ったポピュラー音楽において中央には歌の他にベースドラムやベースの音を定位させる場合が多い。これらの主たる周波数成分は歌の周波数成分よりも低いため、これらを抑圧するには、例えば減衰係数計算部105において、図７に示したようなge(k)をg(k)に乗算し、新たなg(k)とすることも有効である。図７において、横軸は分割周波数帯域k、縦軸は20log10（ge(k)）である。kLは低音楽器を抑圧するための下限周波数帯域を示す。kL以下の周波数帯域をGemin抑圧する。mは周波数帯域が低くなるにつれて除々に抑圧量を増やしていくことで周波数軸上の不連続を押さえるための小さな正の整数である。kLやmを大きくしすぎると歌の低域周波数成分を抑圧してしまうため、例えば周波数に換算してkLは100Hzから200Hzくらいが適当である。
【００３１】
逆に中央に定位する歌のみを抑圧し、中央に定位するベースドラムやベースの音を抑圧しないようにするには、g(k)による中央定位音源帯域の抑圧を、低い周波数帯域（例えば、０〜200Hzの帯域）では行わないようにすればよい。
中央に定位するベースドラムなどを抑圧するもう一つの方法を説明する。ベースドラムは、音の立ち上がり時間が音声に比べて速い。そこでベースドラムの主たる周波数帯域において、音の立ち上がり時間を観測し、立ち上がり時間の短さに応じた減衰係数gak(k)をg(k)に乗算して新たなg(k)とすることで立ち上がりの速いベースドラムだけを抑圧することが可能となる。
【００３２】
その一手法について説明する。
ある周波数帯域kのT時刻の左右チャネルの平均を取った大きさをA(k,T)＝(|fL(k,T)|＋|fR(k,T)|)／２とする。１時刻前のA(k,T−1)との比をrとする。ここで、単位時刻は１フレームで通例数十ミリ秒程度である。
r＝A(k,T)／A(k,T−1) （A(k,T)＞A(k,T−1)の時）
r＝1.0 （A(k,T)＜A(k,T−1)の時） （７）
rが大きいほど、kの周波数帯域の立ち上がりが鋭いことを意味するから、立ち上がりの鋭さに対する減衰係数をgak(k,T)を、rが大きいほどgak(k,T)が小さくなるような関数の出力にすればよい。
例えば、
【００３３】
【数２】
rtはrの値に対してどの程度の割合で減衰させるかを表す負の実数である。
図８はrt＝−３の時、横軸にr、縦軸に20log10（gak(k,T)）を示した例である。Gakmin＝−50は、減衰量の下限値を表している。各時刻において常に（８）式におけるgak(k,T)を乗算しているとスペクトルの時間変化が不連続になるので、
gak´(k,T)＝gak´(k,T−1)＋δ(gak(k,T)−gak´(k,T−1)） （９）
（９）式のようにスムージング処理を施したgak´(k,T)を用いるのがよい。ここでδはスムージングのための係数で、０より大きく１以下の実数である。gak´(k,T−1)とgak(k,T)の大小関係で異なる値を用いてもよい。
【００３４】
以上の処理により、ステレオ音響信号の中央に定位する音源信号を強調、もしくは抑圧することが可能となる。
本発明のステレオ音声処理装置はＣＰＵやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用するユーザ端末と記録媒体とから構成することができる。記録媒体はCD-ROM、磁気ディスク装置、半導体メモリ等のコンピュータ読み取り可能な記録媒体であり、ここに記録されたステレオ音声処理プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータに左右チャネルごとに複数の周波数帯域に分割する処理、各周波数帯域ごとにチャネル間の類似度を計算する処理、類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算する処理、その減衰係数を各周波数帯域信号に乗算する処理、及び減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成する処理等のステレオ音響処理方法を実行させる。なお、上記ステレオ音声処理プログラムは通信回線を介して伝送されたものであってもよい。
（利用方法）
次に本発明の利用方法について説明する。
【００３５】
図９は本発明の第１の利用方法を示している。
音楽コンパクトディスク301はステレオ再生用で、その中に中央に定位する主たる音源信号も収録されているものとする。音楽コンパクトディスク301をパーソナルコンピュータ302において、図１，もしくは図４に示した本発明の中央に定位する音源信号を強調する処理と周波数特性等の聴覚補正処理などを施し、出力する。アンプ303で利得を調整した後、ステレオヘッドホン304等で聴取する。これは、例えば聴覚者等が歌に比べて伴奏を小さくして聞きたい場合などに利用できる。
【００３６】
図10は本発明の第２の利用方法でミュージックオンデマンドに本発明を利用する例を示している。
音楽ソースはネットワーク306に接続されたホストコンピュータ305に多数格納されている。利用者はネットワーク306に接続したパーソナルコンピュータ302から、ホストコンピュータ305に自分の聞きたい音楽ソース名と、信号の処理方法を指定する。信号の処理方法の指定とは、例えば、本発明における中央に定位する歌以外の伴奏をどれだけ小さくするか、あるいは周波数特性を自分の好みに応じてどのように調整するか、などの処理の指定である。ホストコンピュータはその指定に従って音楽ソースを検索、指示通りの信号処理をした後、もしくは処理をしながらネットワークを介して利用者のパーソナルコンピュータ302へ音楽信号を送信する。利用者は、パーソナルコンピュータ302から出力された音楽信号をアンプ303で利得を調整し、ステレオヘッドホン304等で送られて来た音楽信号を聴取する。
【００３７】
また、パーソナルコンピュータの代わりに、ネットワークに無線で接続できる機能を内蔵した携帯型の音楽再生機でも、同じことが可能である。
また、以上の利用方法において、中央に定位する歌などを抑圧する処理をすれば、例えば携帯型の簡易カラオケなどに利用することも出来る。
図11は本発明の第３の利用方法を示した図である。
正面で話す話者の声を強調することを目的とする。難聴者の例えば頭部左右に配置した単一指向性マイクロホン201,202で収音した音響信号を、難聴者が携帯する小型の筺体に内蔵した本発明処理部で処理することで正面話者の音声以外の騒音を抑圧する。その後、同筺体に内蔵された音質や利得などの補聴処理を施し、左右のイヤホン203,204へ出力することで騒音を抑圧し、強調した正面話者の音声を受聴することが可能となる。
【００３８】
【発明の効果】
以上の説明のように本発明によれば、ステレオ音響信号から原信号の定位を損ねず、中央に定位する音源信号を所望の量だけ強調、もしくは抑圧することが、音源の定位情報のみで可能となり、以下のような効果が期待できる。
（１）難聴者等が市販の音楽ソースを受聴する際、中央に定位する主たる音源信号である歌とそれ以外の伴奏の音量バランスを、難聴者自身が自由に聞き易いように調整し、音楽をより良く楽しむことが期待できる。
（２）騒音環境下において、正面にいる目的話者の音声のみを強調することが可能となり、快適なコミュニケーションを実現することが期待できる。
（３）中央に定位する歌などを抑圧することでカラオケ音源などを作成することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図。
【図２】中央定位音源を強調する時のai(k)とgi(k)の関係を示す図。
【図３】中央定位音源を強調する時のap(k)とgp(k)の関係を示す図。
【図４】中央定位音源を抑圧する時のai(k)とgi(k)の関係を示す図。
【図５】中央定位音源を抑圧する時のap(k)とgp(k)の関係を示す図。
【図６】本発明の第２の実施例を示すブロック図。
【図７】 kとge(k)の関係を示す図。
【図８】 rとgak(k,T)の関係を示す図。
【図９】本発明の第１の利用方法を示す図。
【図１０】本発明の第２の利用方法を示す図。
【図１１】本発明の第３の利用方法を示す図。
【符号の説明】
１０２ ステレオ信号入力部
１０３ 左チャネル周波数帯域分割部
１０４ 類似度計算部
１０５ 減衰係数計算部
１０６ 左チャネル音源信号合成部
１０７ ステレオ信号出力部
１０８ ステレオラウドスピーカ
１０９ ステレオヘッドホン
１１０ 右チャネル周波数帯域分割部
１１１ 右チャネル周波数音源信号合成部
１１２ 音源信号合成部
１１３ モノラル信号出力部
１１４ ラウドスピーカ
１１５ モノラルイヤホン
１１６ 乗算器
１１７ 加算器
２０１ 左ｃｈ単一指向性マイクロホン
２０２ 右ｃｈ単一指向性マイクロホン
２０３ 左ｃｈイヤホン
２０４ 右ｃｈイヤホン
２０５ 本発明処理部、補聴部
３０１ 音楽コンパクトディスク
３０２ パーソナルコンピュータ
３０３ アンプ
３０４ ステレオヘッドホン
３０５ ホストコンピュータ
３０６ ネットワーク
【発明の属する技術分野】
この発明は、音声、楽音、各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった２チャネルステレオ信号において、中央付近に定位する音源信号を強調もしくは抑圧するステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体に関し、ステレオ音楽ソースの受聴者の好みに応じた再生や、騒音環境下で目的とする音声だけを受聴する時などに適用される。
【０００２】
【従来の技術】
二本のマイクロホンで収音されたステレオ音響信号、もしくは人工的にチャネル間でレベル差や位相差などをつけることで複数音源を複数位置に定位されたステレオ音響信号から、中央付近に定位する音源信号のみを抑圧するには、片側の信号の正負を反転、逆相にしてもう一方の信号に加算すればよい。これは中央に定位する音源の左右の信号の差違が小さいことにより実現される方法である。この方法は、既にでき上がった音楽信号から歌など主旋律のパートを消去し、伴奏だけを取りだすいわゆるボーカルキャンセル技術として利用される。
【０００３】
しかしこの方法では、ステレオであった伴奏は加算によってモノラルになってしまうという問題があった。加えてこの方法では、中央に定位する音源を抑圧する量を調整することは出来ない。
一方、難聴者は、複数の音源が存在する中から目的とする音源信号を聞き取る能力（いわゆるカクテルパーティー効果と呼ばれる。）が劣っているといわれている。このため、健聴者を対象に作成された音楽信号では、しばしば伴奏が歌より大きく感じられることが指摘されている。この場合にはセンターに定位する歌を強調し、伴奏を抑圧することが望まれるが、これは前述の方法では実現できない。
【０００４】
複数の音源が混合された信号から目的とする音源信号を抽出、もしくは強調する方法は他にもある。
第１の方法は、周期構造を持つ音源を周波数領域において基本周波数を推定し、調波構造を抜きだすことにより、同一音源と推定する成分を再合成する方法である。
しかしこの第１の方法では、音源は調波構造に限定され、さらに音源の調波構造の推定には必ず誤差が生じるため、それが雑音として知覚されることにより、目的音源信号の抽出精度が悪くなる問題があった。
【０００５】
第２の方法は、周波数特性の変動が比較的ゆるやかな定常的な雑音源と周波数特性が定常的音源よりも頻繁に変動する例えば音声のような目的信号音源が重畳された信号から、後者の目的音源信号を抽出、もしくは強調する方法である。これは混合された信号を周波数領域において、まず目的音源信号が重畳されていない部分、すなわち雑音源信号を推定し、雑音源信号の平均的な周波数特性を記憶する。そして、周波数領域において、雑音源信号と目的音源信号が重畳された信号から記憶された雑音源の平均的な周波数構造を減算することで目的音源信号を強調、もしくは抽出する方法である。
【０００６】
しかしこの第２の方法では、雑音源信号が定常であることが必要で、歌の伴奏のように非定常な音源の伴奏のみの個所の推定、及び抑圧は困難であった。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、ステレオ音響信号から中央付近に定位する音源信号を抑圧、もしくは強調する技術において、抑圧、強調する割合の調整を可能とすることである。
本発明の別の目的は原信号の定位を損なわず、中央付近に定位する音源信号だけを強調、もしくは抑圧することである。
【０００８】
本発明の別の目的は、目的とする音源信号の調波構造に依存せずに高精度に抑圧、もしくは強調することである。
本発明の別の目的は、目的外の信号（雑音信号）が非定常な信号であっても高精度に目的音を抑圧、もしくは強調することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明のステレオ音響信号処理方法及び装置は、ステレオ音響信号を入力し、二つのチャネル信号を各チャネルごとに複数の周波数帯域に分割し、各周波数帯域ごとにチャネル間の類似度を計算し、類似度などから中央に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算し、この減衰係数を各周波数帯域信号に乗じた後の各チャネルごとの各周波数帯域信号を再合成し、再合成した信号を出力することにより構成される。
【００１０】
本発明は、入力されたステレオ信号をチャネルごとに複数の周波数帯域に分割する。そして、各周波数帯域ごとにチャネル間の信号の類似度をその振幅比や位相差などによって決定する。そして、類似度の高い周波数帯域に比べて類似度の低い周波数帯域に小さな減衰係数を乗算して、各チャネルごとに再合成して出力すれば、減衰係数の下限値に応じて中央に定位する音源が強調される。反対に類似度の低い周波数帯域に比べて、類似度の高い周波数帯域に小さな減衰係数を乗算して各チャネルごとに再合成して出力すれば、減衰係数の下限値に応じて中央に定位する音源が抑圧される。
【００１１】
【発明の実施の形態】
（第１実施例）
図１は本発明の第１の実施例を示すブロック図である。
ステレオ信号入力部102に入力される音響信号は、強調、もしくは抑圧したい目的音源信号が中央付近に定位するように収音されているステレオ信号であれば本発明は有効である。
【００１２】
ステレオ信号入力部102に入力されたステレオ信号は左右のチャネルごとに処理される。以下にその処理方法の詳細を述べる。
左チャネルの信号sLは、左チャネル周波数帯域分割部103によって周波数領域に変換される。同様に右チャネルの信号sRは、右チャネル周波数帯域分割部110によって周波数領域に変換される。ここで帯域分割数をNとする。左チャネルにおいて帯域分割された信号を低い周波数から順にfL(0), fL(1),fL(2),・・・,fL(k),・・・,fL(N−1)とする。右チャネルにおいて帯域分割された信号を低い周波数から順にfR(0), fR(1),fR(2),・・・,fR(k),・・・,fR(N−1)とする。類似度計算部104において、fL(k),fR(k)は、同じ周波数帯域ごとに類似度a(0),a(1),a(2),・・・,a(k),・・・,a(N−1)が計算される。ステレオ信号において、中央付近に定位する音源信号は左右の信号が一致、もしくはその差違が非常に小さい。これは、周波数領域に変換したのちも全ての周波数領域において、左右の成分の差違は小さいことを意味する。このことから類似度は、kが等しい、即ち同じ周波数成分間で、fL(k)とfR(k)の差違で決定することが出来る。
【００１３】
そして、各周波数帯域ごとに計算された類似度a(k)に基づき各周波数帯域ごとに減衰係数計算部105において減衰係数g(k)(k＝０〜N−１）が算出される。減衰係数は同一周波数帯域において、左右チャネル間で同一なものが各周波数帯域信号fL(k)に乗算器116で乗算される。
つまり、各周波数帯域ごとの左右レベル差、位相差から各周波数帯域ごとに類似度、そして減衰係数を計算し、各帯域に乗じて、左右チャネル音源信号合成部106,111で再合成することで、類似度の大きな成分だけの成分集合sL´,sR´が出力され、その結果、中央付近に定位する音源信号だけが残る。
類似度の計算方法
類似度a(k)の計算方法について、左右周波数帯域分割部103,110が短時間フーリエ変換（以下、FFTと略する）である場合について述べる。
【００１４】
FFTで周波数分割した場合、fL(k)およびfR(k)は一般に複素数となり、位相を考慮する必要がある。そこで、各成分の大きさの比と位相差によって二つの類似度を計算する。大きさの比による類似度をai(k)、位相差による類似度ap(k)とすると、
【００１５】
【数１】
ここで、θはfL(k)とfR(k)の位相差を表す。
【００１６】
類似度ai(k),ap(k)は減衰係数計算部105に送られ、減衰係数g(k)が計算される。
減衰係数の計算方法
減衰係数g(k)の計算方法について説明する。
１.中央定位音源信号を強調する場合
中央に定位する音源信号を強調する場合について説明する。
▲１▼大きさの比による減衰係数gi(k)の計算方法を説明する。
【００１７】
（１）式から明らかなように、類似度ai(k)は、fL(k)とfR(k)の大きさが等しい時に１になり、それ以外は１より小さい値となる。したがって、大きさの比による類似度ai(k)を引数とする関数において、単調増加の関数の出力をgi(k)に選べばよい。
図２にその一例を示す。横軸は20log10（ai(k)）、縦軸は20log10（gi(k)）を示している。
【００１８】
ここで、 Ai(k)＝20log10(ai(k)),Gi(k)＝20log10(gi(k)）とすると、
【００１９】
Giminは、中央定位音源信号以外の信号の抑圧量に相当する。この値を変化させることで、歌と伴奏に例えるならば、歌の大きさに対する伴奏の大きさを調整することが可能となる。図２において、βをεと一致させてもよいし、一致させなくてもよい。βをεに近づけると中央定位音源信号以外の信号は等しくGiminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差の影響も大きくなる。βをεから離すことで中央定位音源信号が支配的な帯域を誤って抑圧した場合の誤差の影響を小さく出来るが、定位する位置によって抑圧量が変わってしまい、歌の伴奏に例えるならば、伴奏楽器間の音量のバランスが変わってしまうことが予想される。よって、中央定位音源信号の音質などの変化が無視できる範囲でβはεに近い値（０＞ε＞β）にすることが望ましい。
▲２▼位相差による減衰係数gp(k)の計算方法を説明する。
【００２０】
（２）式から明らかなように、類似度ap(k)は、fL(k)とfR(k)の位相が一致したときに１になり、それ以外は１より小さい値であり、位相差θがπ／２ラジアンの時に０、θがπラジアンの時、すなわち逆相の時に−１で最小である。一般に位相差による定位知覚は周波数帯域に依存し、大きさの比ほど単純ではない。しかし、少なくとも中央に定位する音源信号に関しては位相差は０に近く、よってap(k)は１に近い値であることが期待できる。このことから位相差による減衰係数gp(k)は例えば図３に示すように計算すればよい。
【００２１】
図３にその一例を示す。横軸はap(k)、縦軸は20log10(gp(k))を表す。
ここで、Gp(k)＝20log10(gp(k))とすると、
【００２２】
図３において、αとζとを一致させてもよいし、一致させなくてもよい。αをζに近づけると中央定位音源信号以外の信号は等しくGpminの減衰量で減衰されることが期待できるが、中央定位音源信号の支配的な帯域が誤って抑圧された場合の誤差も大きくなる。αをζから離すことで中央定位音源信号が支配的な帯域を誤って抑圧された場合の誤差の影響を小さく出来るが、位相差による抑圧量の違いは周波数帯域によってその影響度が異なるため、歌の伴奏に例えるならば、伴奏楽器の音量のバランスだけではなく音色などが変わってしまうことなどが予想される。よって、中央定位音源信号の変化が無視できる範囲でαはζに近い値（０＞ζ＞α）にすることが望ましい。
▲３▼二つの減衰係数gi(k)とgp(k)から実際にfL(k),fR(k)に乗算する減衰係数g(k)の計算方法を説明する。
【００２３】
適当な距離を離した二つのマイクロホンで比較的マイクロホンから距離が近い複数の音源信号を収音したステレオ信号が入力信号である場合には、ステレオ再生における定位は左右のマイクロホンに入ってくる信号の位相差と大きさの比（レベル差）に依存する。低い周波数においてはレベル差はつきにくく、位相差が大きく影響する。高い周波数では、大きさの比が大きく影響する。よって、例えば周波数帯域を二つに分けてそれよりも低い周波数においてはgi(k)を、高い周波数においてはgp(k)を採用することが考えられる。しかしながら、壁に囲まれた残響のある部屋において、マイクロホンから離れた位置に存在する音源からの信号は一般に左右のレベル差はほとんどなく、逆に位相が左右のマイクロホンでランダムになるため（２）式の値が０に近くなる。この場合は全ての周波数において優先的にgp(k)を使うことが望ましい。さらにポピュラー音楽等の場合は、直接マイクロホンで収音するだけでなく、左右チャネル信号に大きさの比や時間差、あるいは位相の時間的な変化を人工的に付加することで自然界には存在しない定位を得ることが普通であり、もっと複雑になる。以上のように様々なステレオ入力信号に応じて、最適なg(k)の選択をすることは非常に困難である。しかしながら、どの場合も少なくとも中央に定位する音源信号の大きさの比と位相差は共に小さい、そこで、g(k)として、gi(k)とgp(k)の小さいほうを採用することにする。即ち、
g(k)＝min（gi(k),gp(k)） （３）
ここで、min(A,B）はAとBのどちらか小さい方を出力することを意味する。つまり、どんなステレオ入力信号であっても、大きさか位相の少なくとも一方が左右で異なる場合は抑圧することになり、その結果、中央に定位する音源信号を強調することが可能となる。
【００２４】
上記のように減衰係数計算部105で計算されたg(k)は図１にあるように各チャネル各周波数帯域のfL(k),fR(k)に乗算器116で乗算される。同じ帯域kにおいて左右のチャネルに同じg(k)を乗算することで、中央に定位する音源信号以外の音源信号を定位を維持したまま抑圧することが可能となる。g(k)を乗算した信号は、fL(k)は左チャネル音源信号合成部106で再合成して時間波形sL´に変換される。fR(k)は右チャネル音源信号合成部111で再合成して時間波形sR´に変換される。sL´,sR´はステレオ信号出力部107から、ラウドスピーカ108やステレオヘッドホン109に送られる。
【００２５】
以上の処理により、中央に定位する音源信号を強調、その他の音源信号を抑圧した合成信号をステレオラウドスピーカ108やステレオヘッドホン109等で受聴することが可能となる。
２.中央定位音源信号を抑圧する場合
中央に定位する音源信号を抑圧し、それ以外の音源信号を強調する場合について説明する。
図１において類似度計算部104で類似度ai(k),ap(k)を計算するところまでは先に述べた中央に定位する音源信号を強調する場合と同じであり、類似度から減衰係数を計算する部分が異なる。中央に定位する音源信号を抑圧するのであるから、大きさによる減衰係数gi(k)を図４に示すように計算し、位相による減衰係数を図５に示すように計算すればよい。
【００２６】
図４、５にその一例を示す。
ここで、Ai(k)＝20log10(ai(k)),Gi(k)＝20log10(gi(k)),Gp(k)＝20log10(gp(k))とすると、
g(k)＝max(gi(k),gp(k)） （４）
と計算する。ここで、max(A,B)はAとBから大きいほうを出力することを意味する。即ち、大きさによる減衰係数gi(k)と位相による減衰係数gp(k)の少なくともどちらか一方が大きい場合には、左右チャネル信号に位相差か大きさの違いがあることを意味し、その信号は中央に定位する音源信号ではないと考えるからである。gi(k)とgp(k)が共に小さい場合のみ、中央に定位する音源信号であり、抑圧の対象となる。
【００２７】
減衰係数計算部105で計算されたg(k)を各周波数帯域のfL(k),fR(k)に乗算するところから先は中央に定位する音源を強調する場合と同じであるので割愛する。上記の方法では、原信号における中央付近に定位する音源信号とそれ以外の音源信号（例えば、歌と伴奏に対応する）の音量差にかかわらず、減衰係数g(k)により、一律に抑圧される。つまり、原信号において既に適切な音量差であった場合でも、さらに抑圧され、音量差は拡大する。
【００２８】
そこで、次に、原信号の中央付近に定位する音源信号とそれ以外の音源信号の音量差を推定し、その差を一定にするように減衰係数を決定する方法について説明する。
中央付近に定位する音源信号を強調する場合には、g(k)の値が大きければ中央定位音源信号成分と推測される。そこで、g(k)の値に適当なしきい値gthを設定し、gthよりも大きな周波数成分の大きさの合計を中央付近定位信号の大きさの推定値gcとする。同様にgthよりも小さな周波数成分の大きさの合計を中央以外に定位する音源信号の大きさの推定値gbとする。これらの値は瞬時の値であるため、これらの長時間平均をとる、その方法には、例えば、移動平均法などが考えられる。それらの値をgca,gbaとすると、
rcb＝gca／gba （５）
rcbは騒音で考えると長時間平均のSN比に相当する。Sが中央付近定位音源信号の大きさ（パワー）で、Nがそれ以外の定位音源信号の大きさに相当する。次にこのrcbを基準に所望のSN比にするように「N」を抑圧することを考える。所望のSN比をrd、必要な抑圧量をg2とすると、rcbを抑圧量g2で割った値がrdになればよい。よって、
g2＝rcb／rd (rcb≦rdのとき)
g2＝1.0 (rcb＞rdのとき) （６）
上式では、原信号のSN比が、所望のSN比よりも大きい時には抑圧しない。その際、原信号よりもSN比を強制的に小さくしたい場合には、rcbとrdの大小関係にかかわらず、（６）式上段のみを使用し、１より大きなg2に設定すればよい。
【００２９】
各周波数帯域において、減衰係数が上述のgthよりも小さな帯域成分に対し、g2を乗算することで、平均的なSN比、すなわち中央定位音源信号とそれ以外の音源信号の音量差を所望量にすることが可能となる。
以上の処理により、中央に定位する音源信号を抑圧、その他の音源信号を強調した合成信号をステレオラウドスピーカ108やステレオヘッドホン109等で受聴することが可能となる。
（第２実施例）
図６は、本発明の第２の実施例を示すブロック図である。
【００３０】
減衰係数g(k)を乗算した後、左右のチャネル信号を加算器117で加算することでモノラル化する。ステレオの効果はなくなるが、左右のチャネルの信号を加算することで左右チャネルで無相関な音源信号成分をより抑圧することが可能である。
多くの歌の入ったポピュラー音楽において中央には歌の他にベースドラムやベースの音を定位させる場合が多い。これらの主たる周波数成分は歌の周波数成分よりも低いため、これらを抑圧するには、例えば減衰係数計算部105において、図７に示したようなge(k)をg(k)に乗算し、新たなg(k)とすることも有効である。図７において、横軸は分割周波数帯域k、縦軸は20log10（ge(k)）である。kLは低音楽器を抑圧するための下限周波数帯域を示す。kL以下の周波数帯域をGemin抑圧する。mは周波数帯域が低くなるにつれて除々に抑圧量を増やしていくことで周波数軸上の不連続を押さえるための小さな正の整数である。kLやmを大きくしすぎると歌の低域周波数成分を抑圧してしまうため、例えば周波数に換算してkLは100Hzから200Hzくらいが適当である。
【００３１】
逆に中央に定位する歌のみを抑圧し、中央に定位するベースドラムやベースの音を抑圧しないようにするには、g(k)による中央定位音源帯域の抑圧を、低い周波数帯域（例えば、０〜200Hzの帯域）では行わないようにすればよい。
中央に定位するベースドラムなどを抑圧するもう一つの方法を説明する。ベースドラムは、音の立ち上がり時間が音声に比べて速い。そこでベースドラムの主たる周波数帯域において、音の立ち上がり時間を観測し、立ち上がり時間の短さに応じた減衰係数gak(k)をg(k)に乗算して新たなg(k)とすることで立ち上がりの速いベースドラムだけを抑圧することが可能となる。
【００３２】
その一手法について説明する。
ある周波数帯域kのT時刻の左右チャネルの平均を取った大きさをA(k,T)＝(|fL(k,T)|＋|fR(k,T)|)／２とする。１時刻前のA(k,T−1)との比をrとする。ここで、単位時刻は１フレームで通例数十ミリ秒程度である。
r＝A(k,T)／A(k,T−1) （A(k,T)＞A(k,T−1)の時）
r＝1.0 （A(k,T)＜A(k,T−1)の時） （７）
rが大きいほど、kの周波数帯域の立ち上がりが鋭いことを意味するから、立ち上がりの鋭さに対する減衰係数をgak(k,T)を、rが大きいほどgak(k,T)が小さくなるような関数の出力にすればよい。
例えば、
【００３３】
【数２】
図８はrt＝−３の時、横軸にr、縦軸に20log10（gak(k,T)）を示した例である。Gakmin＝−50は、減衰量の下限値を表している。各時刻において常に（８）式におけるgak(k,T)を乗算しているとスペクトルの時間変化が不連続になるので、
gak´(k,T)＝gak´(k,T−1)＋δ(gak(k,T)−gak´(k,T−1)） （９）
（９）式のようにスムージング処理を施したgak´(k,T)を用いるのがよい。ここでδはスムージングのための係数で、０より大きく１以下の実数である。gak´(k,T−1)とgak(k,T)の大小関係で異なる値を用いてもよい。
【００３４】
以上の処理により、ステレオ音響信号の中央に定位する音源信号を強調、もしくは抑圧することが可能となる。
本発明のステレオ音声処理装置はＣＰＵやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用するユーザ端末と記録媒体とから構成することができる。記録媒体はCD-ROM、磁気ディスク装置、半導体メモリ等のコンピュータ読み取り可能な記録媒体であり、ここに記録されたステレオ音声処理プログラムはコンピュータに読み取られ、コンピュータの動作を制御し、コンピュータに左右チャネルごとに複数の周波数帯域に分割する処理、各周波数帯域ごとにチャネル間の類似度を計算する処理、類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算する処理、その減衰係数を各周波数帯域信号に乗算する処理、及び減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成する処理等のステレオ音響処理方法を実行させる。なお、上記ステレオ音声処理プログラムは通信回線を介して伝送されたものであってもよい。
（利用方法）
次に本発明の利用方法について説明する。
【００３５】
図９は本発明の第１の利用方法を示している。
音楽コンパクトディスク301はステレオ再生用で、その中に中央に定位する主たる音源信号も収録されているものとする。音楽コンパクトディスク301をパーソナルコンピュータ302において、図１，もしくは図４に示した本発明の中央に定位する音源信号を強調する処理と周波数特性等の聴覚補正処理などを施し、出力する。アンプ303で利得を調整した後、ステレオヘッドホン304等で聴取する。これは、例えば聴覚者等が歌に比べて伴奏を小さくして聞きたい場合などに利用できる。
【００３６】
図10は本発明の第２の利用方法でミュージックオンデマンドに本発明を利用する例を示している。
音楽ソースはネットワーク306に接続されたホストコンピュータ305に多数格納されている。利用者はネットワーク306に接続したパーソナルコンピュータ302から、ホストコンピュータ305に自分の聞きたい音楽ソース名と、信号の処理方法を指定する。信号の処理方法の指定とは、例えば、本発明における中央に定位する歌以外の伴奏をどれだけ小さくするか、あるいは周波数特性を自分の好みに応じてどのように調整するか、などの処理の指定である。ホストコンピュータはその指定に従って音楽ソースを検索、指示通りの信号処理をした後、もしくは処理をしながらネットワークを介して利用者のパーソナルコンピュータ302へ音楽信号を送信する。利用者は、パーソナルコンピュータ302から出力された音楽信号をアンプ303で利得を調整し、ステレオヘッドホン304等で送られて来た音楽信号を聴取する。
【００３７】
また、パーソナルコンピュータの代わりに、ネットワークに無線で接続できる機能を内蔵した携帯型の音楽再生機でも、同じことが可能である。
また、以上の利用方法において、中央に定位する歌などを抑圧する処理をすれば、例えば携帯型の簡易カラオケなどに利用することも出来る。
図11は本発明の第３の利用方法を示した図である。
正面で話す話者の声を強調することを目的とする。難聴者の例えば頭部左右に配置した単一指向性マイクロホン201,202で収音した音響信号を、難聴者が携帯する小型の筺体に内蔵した本発明処理部で処理することで正面話者の音声以外の騒音を抑圧する。その後、同筺体に内蔵された音質や利得などの補聴処理を施し、左右のイヤホン203,204へ出力することで騒音を抑圧し、強調した正面話者の音声を受聴することが可能となる。
【００３８】
【発明の効果】
以上の説明のように本発明によれば、ステレオ音響信号から原信号の定位を損ねず、中央に定位する音源信号を所望の量だけ強調、もしくは抑圧することが、音源の定位情報のみで可能となり、以下のような効果が期待できる。
（１）難聴者等が市販の音楽ソースを受聴する際、中央に定位する主たる音源信号である歌とそれ以外の伴奏の音量バランスを、難聴者自身が自由に聞き易いように調整し、音楽をより良く楽しむことが期待できる。
（２）騒音環境下において、正面にいる目的話者の音声のみを強調することが可能となり、快適なコミュニケーションを実現することが期待できる。
（３）中央に定位する歌などを抑圧することでカラオケ音源などを作成することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図。
【図２】中央定位音源を強調する時のai(k)とgi(k)の関係を示す図。
【図３】中央定位音源を強調する時のap(k)とgp(k)の関係を示す図。
【図４】中央定位音源を抑圧する時のai(k)とgi(k)の関係を示す図。
【図５】中央定位音源を抑圧する時のap(k)とgp(k)の関係を示す図。
【図６】本発明の第２の実施例を示すブロック図。
【図７】 kとge(k)の関係を示す図。
【図８】 rとgak(k,T)の関係を示す図。
【図９】本発明の第１の利用方法を示す図。
【図１０】本発明の第２の利用方法を示す図。
【図１１】本発明の第３の利用方法を示す図。
【符号の説明】
１０２ ステレオ信号入力部
１０３ 左チャネル周波数帯域分割部
１０４ 類似度計算部
１０５ 減衰係数計算部
１０６ 左チャネル音源信号合成部
１０７ ステレオ信号出力部
１０８ ステレオラウドスピーカ
１０９ ステレオヘッドホン
１１０ 右チャネル周波数帯域分割部
１１１ 右チャネル周波数音源信号合成部
１１２ 音源信号合成部
１１３ モノラル信号出力部
１１４ ラウドスピーカ
１１５ モノラルイヤホン
１１６ 乗算器
１１７ 加算器
２０１ 左ｃｈ単一指向性マイクロホン
２０２ 右ｃｈ単一指向性マイクロホン
２０３ 左ｃｈイヤホン
２０４ 右ｃｈイヤホン
２０５ 本発明処理部、補聴部
３０１ 音楽コンパクトディスク
３０２ パーソナルコンピュータ
３０３ アンプ
３０４ ステレオヘッドホン
３０５ ホストコンピュータ
３０６ ネットワーク
Claims (15)
- ステレオ収音、もしくはステレオ再生用に加工された２チャネル音響信号から中央付近に定位する音源信号を抑圧もしくは強調するステレオ音響信号処理方法において、
ステレオ信号を各チャネルごとに複数の周波数帯域に分割し、各周波数帯域ごとにチャネル間の類似度を計算し、類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算し、その減衰係数を各周波数帯域信号に乗算し、減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成して出力すること
を特徴とするステレオ音響信号処理方法。 - 請求項１に記載のステレオ音響信号処理方法において、
各周波数帯域ごとの類似度は、周波数帯域ごとにチャネル信号間の大きさの比と位相差によって二つ求め、求めた二つの類似度から中央付近に定位する音源信号を抑圧もしくは強調するための減衰係数を二つ求めること
を特徴とするステレオ音響信号処理方法。 - 請求項２に記載のステレオ音響信号処理方法において、
求めた二つの減衰係数のうち、中央付近に定位する音源信号を強調する時には小さい係数を、抑圧する時には大きい係数を各周波数帯域信号に乗算すること
を特徴とするステレオ音響信号処理方法。 - 請求項１乃至３のいずれか１項に記載のステレオ音響信号処理方法において、
チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーとの比を算出し、その比と所望する固定比から抑圧に必要な減衰係数を計算し、チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーの比を所望な一定に保つこと
を特徴とするステレオ音響信号処理方法。 - 請求項１乃至４のいずれか１項に記載のステレオ音響信号処理方法において、
音の立ち上がり時間を周波数帯域ごとに観測し、立ち上がり時間の早さに応じた減衰係数を前記類似度による減衰係数に乗算して新たな減衰係数とすることで、中央付近に音声と共に定位する、音声に比べて立ち上がりが速いと判断された音源信号をさらに抑圧すること
を特徴とするステレオ音響信号処理方法。 - ステレオ収音、もしくはステレオ再生用に加工された２チャネル音響信号から中央付近に定位する音源信号を抑圧もしくは強調するステレオ音響信号処理装置において、
ステレオ信号を各チャネルごとに複数の周波数帯域に分割する周波数帯域分割手段と、
各周波数帯域ごとにチャネル間の類似度を計算する類似度計算手段と、
類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算する減衰係数計算手段と、
その減衰係数を各周波数帯域信号に乗算する乗算手段と、
減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成して出力する音源信号合成・出力手段を備えたこと
を特徴とするステレオ音響信号処理装置。 - 請求項６に記載のステレオ音響信号処理装置において、
類似度計算手段は、各周波数帯域ごとにチャネル信号間の大きさの比と位相差によって類似度を二つ求め、
減衰係数計算手段は、類似度計算手段で求めた二つの類似度から中央付近に定位する音源信号を抑圧もしくは強調するための減衰係数を二つ求めること
を特徴とするステレオ音響信号処理装置。 - 請求項７に記載のステレオ音響信号処理装置において、
乗算手段は、求めた二つの減衰係数のうち、中央付近に定位する音源信号を強調する時には小さい係数を、抑圧する時には大きい係数を各周波数帯域信号に乗算すること
を特徴とするステレオ音響信号処理装置。 - 請求項６乃至８のいずれか１項に記載のステレオ音響信号処理装置において、
減衰係数計算手段は、チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーとの比を算出し、その比と所望する固定比から抑圧に必要な減衰係数を計算し、チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーの比を所望な一定に保つこと
を特徴とするステレオ音響信号処理装置。 - 請求項６乃至９のいずれか１項に記載のステレオ音響信号処理装置において、
減衰係数計算手段は、音の立ち上がり時間を周波数帯域ごとに観測し、立ち上がり時間の早さに応じた減衰係数を前記類似度による減衰係数に乗算して新たな減衰係数とすることで、中央に音声と共に定位する、音声に比べて立ち上がりが速いと判断された音源信号をさらに抑圧すること
を特徴とするステレオ音響信号処理装置。 - ステレオ収音、もしくはステレオ再生用に加工された２チャネル音響信号から中央付近に定位する音源信号を抑圧もしくは強調するステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
ステレオ信号を各チャネルごとに複数の周波数帯域に分割する処理と、
各周波数帯域ごとにチャネル間の類似度を計算する処理と、
類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算する処理と、
その減衰係数を各周波数帯域信号に乗算する処理と、
減衰係数を乗じた後の各チャネルごとの各周波数帯域信号を再合成して出力する処理と、
をステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項１１に記載のステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
類似度を計算する処理は、周波数帯域ごとにチャネル信号間の大きさの比と位相差によって二つ求める処理を有し、
減衰係数を計算する処理は、周波数帯域ごとにチャネル信号間の大きさの比と位相差によって二つ求めた類似度から中央付近に定位する音源信号を抑圧もしくは強調するための減衰係数を二つ求める処理を有すること を特徴とするステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項１２に記載のステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
乗算する処理は、求めた二つの減衰係数のうち、中央付近に定位する音源信号を強調する時には小さい係数を、抑圧する時には大きい係数を各周波数帯域信号に乗算する処理を有すること
を特徴とするステレオ音響信号方法を実行させる処理プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項１１乃至１３のいずれか１項に記載のステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
減衰係数を計算する処理は、チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーとの比を算出し、その比と所望する固定比から抑圧に必要な減衰係数を計算し、チャネル間のレベル差及び時間差がわずかな音源信号の平均的なパワーとそれ以外の音源信号のパワーの比を所望な一定に保つ処理を有すること
を特徴とするステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項１１乃至１４のいずれか１項に記載のステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体において、
減衰係数を計算する処理は、音の立ち上がり時間を周波数帯域ごとに観測し、立ち上がり時間の早さに応じた減衰係数を前記類似度による減衰係数に乗算して新たな減衰係数とすることで、中央に音声と共に定位する、音声に比べて立ち上がりが速いと判断された音源信号をさらに抑圧する処理を有すること を特徴とするステレオ音響信号処理方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000268442A JP3670562B2 (ja) | 2000-09-05 | 2000-09-05 | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000268442A JP3670562B2 (ja) | 2000-09-05 | 2000-09-05 | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002078100A JP2002078100A (ja) | 2002-03-15 |
| JP3670562B2 true JP3670562B2 (ja) | 2005-07-13 |
Family
ID=18755226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000268442A Expired - Lifetime JP3670562B2 (ja) | 2000-09-05 | 2000-09-05 | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3670562B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2447944A2 (en) | 2010-10-28 | 2012-05-02 | Yamaha Corporation | Technique for suppressing particular audio component |
| US9412391B2 (en) | 2012-12-20 | 2016-08-09 | Kabushiki Kaisha Toshiba | Signal processing device, signal processing method, and computer program product |
| WO2020032624A1 (ko) * | 2018-08-10 | 2020-02-13 | 삼성전자주식회사 | 오디오 장치 및 그 제어방법 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI118247B (fi) | 2003-02-26 | 2007-08-31 | Fraunhofer Ges Forschung | Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa |
| US7490044B2 (en) | 2004-06-08 | 2009-02-10 | Bose Corporation | Audio signal processing |
| JP4594681B2 (ja) * | 2004-09-08 | 2010-12-08 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| JP2006100869A (ja) | 2004-09-28 | 2006-04-13 | Sony Corp | 音声信号処理装置および音声信号処理方法 |
| JP4580210B2 (ja) * | 2004-10-19 | 2010-11-10 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| US20090055169A1 (en) * | 2005-01-26 | 2009-02-26 | Matsushita Electric Industrial Co., Ltd. | Voice encoding device, and voice encoding method |
| JP4602204B2 (ja) | 2005-08-31 | 2010-12-22 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| JP4479644B2 (ja) * | 2005-11-02 | 2010-06-09 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| JP4637725B2 (ja) | 2005-11-11 | 2011-02-23 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
| JP4940671B2 (ja) * | 2006-01-26 | 2012-05-30 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
| JP4951985B2 (ja) * | 2006-01-30 | 2012-06-13 | ソニー株式会社 | 音声信号処理装置、音声信号処理システム、プログラム |
| JP4894386B2 (ja) | 2006-07-21 | 2012-03-14 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
| JP4835298B2 (ja) | 2006-07-21 | 2011-12-14 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法およびプログラム |
| JP5082327B2 (ja) * | 2006-08-09 | 2012-11-28 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
| EP2064915B1 (en) * | 2006-09-14 | 2014-08-27 | LG Electronics Inc. | Controller and user interface for dialogue enhancement techniques |
| JP4315180B2 (ja) | 2006-10-20 | 2009-08-19 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| JP4214491B2 (ja) * | 2006-10-20 | 2009-01-28 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| US8767975B2 (en) * | 2007-06-21 | 2014-07-01 | Bose Corporation | Sound discrimination method and apparatus |
| JP5383008B2 (ja) * | 2007-07-09 | 2014-01-08 | アルパイン株式会社 | 音声明瞭度改善システム及び音声明瞭度改善方法 |
| JP4970174B2 (ja) * | 2007-07-18 | 2012-07-04 | 株式会社ダイマジック | ナレーション音声制御装置 |
| US8588427B2 (en) | 2007-09-26 | 2013-11-19 | Frauhnhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
| JPWO2009051132A1 (ja) * | 2007-10-19 | 2011-03-03 | 日本電気株式会社 | 信号処理システムと、その装置、方法及びそのプログラム |
| JP5298649B2 (ja) * | 2008-01-07 | 2013-09-25 | 株式会社コルグ | 音楽装置 |
| JP4840421B2 (ja) * | 2008-09-01 | 2011-12-21 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
| JP4840423B2 (ja) * | 2008-09-11 | 2011-12-21 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| DK2347603T3 (en) | 2008-11-05 | 2016-02-01 | Hear Ip Pty Ltd | System and method for producing a directional output signal |
| EP2484127B1 (en) * | 2009-09-30 | 2020-02-12 | Nokia Technologies Oy | Method, computer program and apparatus for processing audio signals |
| US8207439B2 (en) | 2009-12-04 | 2012-06-26 | Roland Corporation | Musical tone signal-processing apparatus |
| JP5463924B2 (ja) * | 2010-01-15 | 2014-04-09 | ヤマハ株式会社 | 音響処理装置 |
| JP5736124B2 (ja) * | 2010-05-18 | 2015-06-17 | シャープ株式会社 | 音声信号処理装置、方法、プログラム、及び記録媒体 |
| JP5593852B2 (ja) * | 2010-06-01 | 2014-09-24 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法 |
| JP2012078422A (ja) | 2010-09-30 | 2012-04-19 | Roland Corp | 音信号処理装置 |
| JP5604275B2 (ja) * | 2010-12-02 | 2014-10-08 | 富士通テン株式会社 | 相関低減方法、音声信号変換装置および音響再生装置 |
| JP2012145836A (ja) * | 2011-01-13 | 2012-08-02 | Yamaha Corp | 音響処理装置 |
| JP5621637B2 (ja) * | 2011-02-04 | 2014-11-12 | ヤマハ株式会社 | 音響処理装置 |
| JP5248718B1 (ja) | 2011-12-19 | 2013-07-31 | パナソニック株式会社 | 音分離装置、および音分離方法 |
| JP6197298B2 (ja) * | 2012-02-01 | 2017-09-20 | 株式会社ニコン | 音処理装置および音処理プログラム |
| CN110719563B (zh) * | 2018-07-13 | 2021-04-13 | 海信视像科技股份有限公司 | 调整立体声声像的方法、获取立体声声像的电路 |
-
2000
- 2000-09-05 JP JP2000268442A patent/JP3670562B2/ja not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2447944A2 (en) | 2010-10-28 | 2012-05-02 | Yamaha Corporation | Technique for suppressing particular audio component |
| US9070370B2 (en) | 2010-10-28 | 2015-06-30 | Yamaha Corporation | Technique for suppressing particular audio component |
| US9412391B2 (en) | 2012-12-20 | 2016-08-09 | Kabushiki Kaisha Toshiba | Signal processing device, signal processing method, and computer program product |
| WO2020032624A1 (ko) * | 2018-08-10 | 2020-02-13 | 삼성전자주식회사 | 오디오 장치 및 그 제어방법 |
| US20230292079A1 (en) * | 2018-08-10 | 2023-09-14 | Samsung Electronics Co., Ltd. | Audio device and control method thereor |
| US11968521B2 (en) * | 2018-08-10 | 2024-04-23 | Samsung Electronics Co., Ltd. | Audio apparatus and method of controlling the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002078100A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3670562B2 (ja) | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 | |
| JP5149968B2 (ja) | スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法 | |
| CN106664473B (zh) | 信息处理装置、信息处理方法和程序 | |
| RU2666316C2 (ru) | Аппарат и способ улучшения аудиосигнала, система улучшения звука | |
| EP2278707B1 (en) | Dynamic enhancement of audio signals | |
| EP3020212B1 (en) | Pre-processing of a channelized music signal | |
| JP3537674B2 (ja) | オーディオシステム | |
| JP3810004B2 (ja) | ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム | |
| JP6280983B2 (ja) | 信号対ダウンミックス比に基づいたセンター信号スケーリング及び立体音響強調のための装置及び方法 | |
| EP2484127B1 (en) | Method, computer program and apparatus for processing audio signals | |
| JP3755739B2 (ja) | ステレオ音響信号処理方法及び装置並びにプログラム及び記録媒体 | |
| JP3579639B2 (ja) | 信号処理方法、装置及びプログラム記録媒体 | |
| JP7256164B2 (ja) | オーディオ処理装置及びオーディオ処理方法 | |
| JP2008058470A (ja) | 音声信号処理装置、音声信号再生システム | |
| JP2004343590A (ja) | ステレオ音響信号処理方法、装置、プログラムおよび記憶媒体 | |
| CN114067817A (zh) | 低音增强方法、装置、电子设备及存储介质 | |
| JP2007180922A (ja) | ノイズキャンセルヘッドホン | |
| JP5494085B2 (ja) | 音響処理装置 | |
| US20230040821A1 (en) | Processing device and processing method | |
| Vashkevich et al. | Speech enhancement in a smartphone-based hearing aid | |
| JP5641187B2 (ja) | 音響処理装置 | |
| JP5454157B2 (ja) | 音響処理装置 | |
| CN112511941A (zh) | 一种音频输出方法及系统及耳机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050414 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3670562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |