Nothing Special   »   [go: up one dir, main page]

JP7024615B2 - 音響信号分離装置、学習装置、それらの方法、およびプログラム - Google Patents

音響信号分離装置、学習装置、それらの方法、およびプログラム Download PDF

Info

Publication number
JP7024615B2
JP7024615B2 JP2018109327A JP2018109327A JP7024615B2 JP 7024615 B2 JP7024615 B2 JP 7024615B2 JP 2018109327 A JP2018109327 A JP 2018109327A JP 2018109327 A JP2018109327 A JP 2018109327A JP 7024615 B2 JP7024615 B2 JP 7024615B2
Authority
JP
Japan
Prior art keywords
acoustic signal
distance
frequency
microphones
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018109327A
Other languages
English (en)
Other versions
JP2019211685A (ja
Inventor
悠馬 小泉
櫻子 矢澤
和則 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018109327A priority Critical patent/JP7024615B2/ja
Priority to PCT/JP2019/019833 priority patent/WO2019235194A1/ja
Priority to US15/734,473 priority patent/US11297418B2/en
Publication of JP2019211685A publication Critical patent/JP2019211685A/ja
Application granted granted Critical
Publication of JP7024615B2 publication Critical patent/JP7024615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、音響信号を分離する技術に関し、特に、音源からマイクロホンまでの距離の違いに基づいて音響信号を分離する技術に関する。
音響信号分離は、目的音と雑音との何らかの信号的な性質の違いに基づいて音響信号を分離する手法である。代表的な音響信号分離手法には、音色の違いに基づいて分離を行う手法（ＤＮＮ（Deep Neural Network）音源強調など）（例えば、非特許文献１等参照）や、音の方向の違いに基づいて分離を行う手法（インテリジェントマイクなど）がある。
小泉悠馬, "深層学習に基づく音源情報推定のための確率論的目的関数の研究"，電気通信大学大学院情報理工学研究科，２０１７年９月
音源からマイクロホンまでの距離の違いに基づいて音響信号を分離するためには、音場の「空間的な情報」を精緻に得る必要がある。これを得るためには、通常、大量のマイクロホンが必要である。この場合、これまでのＤＮＮ音源強調のように、各マイクロホンで得られた観測信号の音響特徴量をそのままＤＮＮの学習データとして用いると、学習データ量や学習時間が膨大なものとなってしまい、音響信号の分離を行うことが困難となる。音響特徴量を工夫するという方針もあり得るが、これまでの音響特徴量は、ＭＦＣＣ(mel-frequency-cepstrum-coefficient)やlog-mel-spectrumなどといった音色に関するものやビームフォーマの出力音などの方向に関するものが大半であり、音源からマイクロホンまでの距離の違いに基づいて音響信号を分離するために、どのような音響特徴量を用いるべきかについては未知である。
本発明はこのような点に鑑みてなされたものであり、音源からマイクロホンまでの距離の違いに基づいて音響信号を分離することを目的とする。
「複数のマイクロホン」で収音された信号に由来する第２音響信号から「所定の関数」を用いて得られる、「複数のマイクロホン」に近い距離から発せられた近距離音響信号の推定値に対応する値と、「複数のマイクロホン」から遠い距離から発せられた遠距離音響信号の推定値に対応する値と、を関連付けることで得られるフィルタを用い、「特定のマイクロホン」で収音された信号に由来する第１音響信号から、「特定のマイクロホン」に近い距離から発せられた音または「特定のマイクロホン」から遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を取得する。ただし、「所定の関数」は、「複数のマイクロホン」に近い距離から発せられた音が球面波として、「複数のマイクロホン」から遠い距離から発せられた音が平面波として、「複数のマイクロホン」に収音されると近似されることを利用した関数である。
近距離音響信号の推定値に対応する値と遠距離音響信号の推定値に対応する値とを関連付けることで得られたフィルタを用いることで、音源からマイクロホンまでの距離の違いに基づいて音響信号を分離することが可能になる。
図１は実施形態の音響信号分離システムの機能構成を例示したブロック図である。 図２は実施形態の学習装置の機能構成を例示したブロック図である。 図３は実施形態の音響信号分離装置の機能構成を例示したブロック図である。 図４は実施形態の学習処理を説明するためのフロー図である。 図５は実施形態の分離処理を説明するためのフロー図である。
以下、図面を参照して本発明の実施形態を説明する。
［原理］
まず原理を説明する。
以下で説明する実施形態では、Ｍ＋１本のマイクロホンで収音された信号から、当該マイクロホンの近くに位置する音源（近接音源）および当該マイクロホンの遠方に位置する音源（遠方音源）の少なくとも一方を分離する。なお、各マイクロホンから各近接音源までの距離は、各マイクロホンから各遠方音源までの距離よりも短い。例えば、各マイクロホンから各近接音源までの距離は３０ｃｍ以下であり、各マイクロホンから各遠方音源までの距離は１ｍ以上である。なお、Ｍは１以上の整数であり、好ましくはＭは２以上の整数である。今、ｍ∈｛０，…，Ｍ｝番目のマイクロホンで収音された時間領域の観測信号をサンプリングしてさらに時間周波数領域に変換して得られる、時間区間ｔおよび周波数ｆでの時間周波数領域の観測信号を
Figure 0007024615000001
とし、以下のように定義する。
Figure 0007024615000002
ここで、
Figure 0007024615000003
は、近接音源から発せられた近接音をｍ番目のマイクロホンで収音することで得られる近距離音響信号をサンプリングしてさらに時間周波数領域に変換して得られる、時間区間ｔおよび周波数ｆでの時間周波数領域の近距離音響信号に相当する成分である。
Figure 0007024615000004
は、遠方音源から発せられた遠方音をｍ番目のマイクロホンで収音することで得られる遠距離音響信号をサンプリングしてさらに時間周波数領域に変換して得られる、時間区間ｔおよび周波数ｆでの時間周波数領域の遠距離音響信号に相当する成分である。ｔ∈｛１，…，Ｔ｝およびｆ∈｛１，…，Ｆ｝はそれぞれ、時間周波数領域における時間区間（フレーム）および周波数（離散周波数）のインデックスである。ＴおよびＦは正整数であり、インデックスｔに対応する時間区間を「時間区間ｔ」と表し、インデックスｆに対応する周波数を「周波数ｆ」と表す。記載表記の制約上、以下の説明において、
Figure 0007024615000005
を、それぞれＸｔ，ｆ （ｍ），Ｓｔ，ｆ （ｍ），Ｎｔ，ｆ （ｍ）と表記する場合がある。詳細は省略するが、Ｓｔ，ｆ （ｍ）は各近接音源の原信号と当該近接音源からｍ番目のマイクロホンまでの各伝達特性とに依存し、Ｎｔ，ｆ （ｍ）は各遠方音源の原信号と当該遠方音源からｍ番目のマイクロホンまでの各伝達特性とに依存する。時間周波数領域への変換は、例えば、高速フーリエ変換（ＦＦＴ）などによって行うことができる。
＜球面調和関数展開に基づく内部音場予測による近接音抽出＞
まず、球の中心に置かれたマイクロホンとその球の球面上に等間隔に配置されたＭ個のマイクロホンとを含む球面マイクロホンアレイを用いる近接音収音方法を説明する。上述したＭ＋１個のマイクロホンのうち、０番目のマイクロホンが球の中心に配置され、それ以外の１からＭ番目までのマイクロホンが球の球面上に等間隔に配置されているとする。この方法では、遠方音の音波はマイクロホンへ平面波として到来し、近接音の音波はマイクロホンへ球面波として到来する、と近似できることに着目する。半径ｒ（ｒは正値）の球面よりも外側から到来する音のみがある場合、その球面上で観測された音圧分布の球面調和スペクトル（球面調和関数展開係数）から、半径ｒ０（ｒ０＜ｒ）の球面上の音圧が予測できる。ここで、球面上に置かれた１からＭ番目までのマイクロホンでの観測信号を用いて球の中心での音圧を予測し、予測した球の中心での音圧と球の中心に置かれたマイクロホンで観測した音圧との差分をとる。遠方音は平面波としての近似精度が良いため、この差分は０に近づく。一方、近接音の場合は平面波近似が困難であるため、近似誤差として近接音がこの差分となる。結果として近接音源強調（すなわち、マイクロホンに近い距離から発せられた近距離音響信号の推定値を観測信号から分離すること）が実現される。この処理は、以下のように記述できる（例えば、参考文献１等参照）。
Figure 0007024615000006
ここでＪ０（ｋｒ）は球ベッセル関数、ｋは周波数ｆに対応する波数である。式（２）の左辺は近距離音響信号の推定値を表し、記載表記の制約上、以下ではこれをＳ＾ｔ，ｆ，Ｄと表記する場合がある。同様に、
Figure 0007024615000007
をＸｔ，ｆ，Ｄ （ｍ）と表記する場合がある。下付き文字のＤはダウンサンプリングされた信号であることを表す。すなわち、Ｓ＾ｔ，ｆ，ＤはＳ＾ｔ，ｆをダウンサンプリングしたものであり、Ｘｔ，ｆ，Ｄ （ｍ）はＸｔ，ｆ （ｍ）をダウンサンプリングしたものである。
［参考文献１］羽田陽一, 古家賢一, 小山翔一, 丹羽健太, "球面調和関数展開に基づく2種類の超接話マイクロホンアレイ," 電子情報通信学会論文誌 A, Vol. J97-A, No. 4, pp. 264-273, 2014.
式（２）で得られる近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄはダウンサンプリングされた信号である。これは上記の方法で分離できる音響信号の最大周波数が、球面マイクロホンアレイの半径ｒに依存するためである。例えば、半径ｒ＝５（ｃｍ）の球面マイクロホンアレイを用いた場合、３．４ｋＨｚ付近に“spherical Bessel zero”と呼ばれる禁止周波数が存在する。そのため、分離前に、観測信号をそのナイキスト周波数以下までダウンサンプリングするか、禁止周波数以下の周波数だけを処理するようにアルゴリズムを設計しなくてはならない。一方、音声認識などの音響信号を扱うアプリケーションでは、４ｋＨｚ以上の帯域の信号を利用する。ゆえに、上記の方法をそのまま、このようなアプリケーションの前処理として利用することはできない。
＜深層学習を利用した時間周波数マスクの推定＞
次に、他の音源分離方法である時間周波数マスク処理を説明する。時間周波数マスク処理では、以下の式で音響信号Ｘｔ，ｆから目的信号の推定値Ｓ＾ｔ，ｆを得る。
Figure 0007024615000008
ここでＧｔ，ｆが時間周波数マスクである。また、記載表記の制約上、式（３）の左辺をＳ＾ｔ，ｆと表記する。目的信号が音響信号Ｘｔ，ｆに含まれる近距離音響信号であり、雑音信号が遠距離音響信号である場合、例えば、以下のようにＧｔ，ｆが得られる。
Figure 0007024615000009
つまり、近距離音響信号Ｓｔ，ｆ （０）および遠距離音響信号Ｎｔ，ｆ （０）が既知であれば、時間周波数マスクＧｔ，ｆは容易に得られる。しかし、近距離音響信号Ｓｔ，ｆ （０）および遠距離音響信号Ｎｔ，ｆ （０）は一般的に未知であり、何らかの形で時間周波数マスクＧｔ，ｆを推定しなくてはならない。ＤＮＮ（Deep Neural Network）を用いた深層学習（DL: deep learning）音源強調（「ＤＮＮ音源強調」ともいう）では、時間区間ｔにおける各周波数ｆ∈｛１，…，Ｆ｝の時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆを縦に並べたベクトルＧｔ＝（Ｇｔ，１，…，Ｇｔ，Ｆ）Ｔを以下のように推定する（例えば、参考文献２等参照）。
Figure 0007024615000010
ここで、Ｍはニューラルネットワークを利用した回帰関数、φｔは観測信号から抽出した時間区間ｔにおける音響特徴量、Θはニューラルネットワークのパラメータ、・Ｔは・の転置を表す。また、０≦Ｇｔ，ｆ≦１である。
［参考文献２］H. Erdogan, J. R. Hershey, S. Watanabe, and J. L. Roux, "Phase-sensitive and recognition-boosted speech separation using deep recurrent neural networks," in Proc. ICASSP, 2015.
ＤＬ音源強調において精緻にＧｔを推定するためには、Ｇｔとの相互情報量が大きい音響特徴量φｔを用いる必要がある（例えば、参考文献３等参照）。言い換えれば、音響特徴量φｔは、近距離音響信号と遠距離音響信号とを見分けるための手がかり（情報）を含んだものである必要がある。
［参考文献３］Y. Koizumi, K. Niwa, Y. Hioka, K. Kobayashi and H. Ohmuro, "Informative acoustic feature selection to maximize mutual information for collecting target sources," IEEE/ACM Trans. Audio, Speech and Language Processing, pp. 768-779, 2017.
前述したように、近距離音響信号は近接音源から発せられた原信号に対応し、遠距離音響信号は遠方音源から発せられた原信号に対応し、マイクロホンから近接音源および遠方音源までの距離は互いに相違する。そのため、音響特徴量φｔには、音源からマイクロホンまでの距離、または音場の空間的な特徴を表す音響特徴量を利用すべきである。しかし、ＤＬ音源強調において広く用いられるＭＦＣＣ(mel-frequency-cepstrum-coefficient)やlog-mel-spectrumは音色に関する特徴量であり、音源からマイクロホンまでの距離や音場の空間的な情報は失われている。また空間的な特徴量は、部屋の残響や形状によって大きく変化するため、それをＤＬ音源強調ための音響特徴量として用いることは難しいとされてきた。そのため、ＤＬ音源強調に基づいて、観測信号から近距離音響信号および遠距離音響信号の少なくとも一方を分離する近接/遠方音源分離を実現することは困難とされてきた。
＜本実施形態の手法＞
これに対し、以下に述べる実施形態では、球面調和関数解析で得られた音響特徴量を用いて、近接/遠方音源分離を実現する時間周波数マスクを深層学習で推定する。この方法により、(1)球面調和関数解析では不可能であった高域の周波数においても、近接/遠方音源分離を実現できるようになる。時間周波数マスクの学習には低域の周波数の音響特徴量しか利用できないとしても、学習によって得られた時間周波数マスクを高域の周波数で利用することは可能だからである。また、(2)球面調和関数解析で得られた音響特徴量を用いることで、ＤＬ音源強調では困難であった近接／遠方音源分離が可能な時間周波数マスクを推定できる。以下に詳細に説明する。
深層学習では、観測信号をそのまま特徴量としてニューラルネットワークに入力できることが知られている（例えば、参考文献４等参照）。
［参考文献４］Q. V. Le, K. Chen, G. S. Corrado, J. Dean, and A. Y. Ng, "Building High-level Features Using Large Scale Unsupervised Learning," in Proc. of ICML, 2012.
ゆえに、前述した球面マイクロホンアレイで収音された信号をそのまま音響特徴量としてニューラルネットワークに入力する方法が直感的に考えられる。しかし、この方法を採用することは、以下の理由により、現実的には困難である。球面マイクロホンアレイのマイクロホン数Ｍ＋１は、一般のマイクロホンアレイよりも多いことがほとんどである（例えば、参考文献１では３３本のマイクロホンを利用している）。深層学習を用いた音源強調では、前後５フレーム分程度の振幅スペクトルを結合して音響特徴量とすることが多い（例えば、参考文献２等参照）。そのため、３３本のマイクロホンで得られた観測信号をサンプリングし、５１２点の高速フーリエ変換（ＦＦＴ）を利用して時間周波数領域の観測信号を得、それらの時間周波数領域の観測信号をそのままニューラルネットワークの入力とする場合、入力の次元数は、
257 [点] × (1+5+5) [フレーム] × 33 [チャネル] = 93291 [次元] (6)
と膨大になる。一般に、ニューラルネットワークへの入力の次元数が増加すると、過適合を避けるために、膨大な学習データや計算時間が必要になる。ゆえに、近接/遠方音源分離を実現するためには、前述のＧｔとの相互情報量が大きく、入力の次元数ができるだけ小さな音響特徴量を用いるべきである。そこで、式（２）の球面調和関数解析で得られた近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄを音響特徴量とすることが考えられる。なぜなら、式（２）で得られるＳ＾ｔ，ｆ，Ｄは、遠方音に対応する成分が低減され、近接音に対応する成分が強調されており、近距離音響信号と遠距離音響信号とを見分けるための手がかりを含んでいると考えられるからである。しかしながら、Ｓ＾ｔ，ｆ，Ｄには、式（２）によって消去しきれなかった遠方音に対応する成分（遠方音の残留ノイズ）が含まれており、ニューラルネットワークがこの遠方音の残留ノイズを近接音に対応する成分であると誤判定する可能性もある。
そこで、以下の方法で遠方音に対応する遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄも計算する。
Figure 0007024615000011
ここで、｜・｜は・の絶対値を表す。さらに、式（２）で得られた近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値と、式（７）で得られた遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値と、を関連付けた音響特徴量φｔを計算する。
Figure 0007024615000012
ただし、
Figure 0007024615000013
Figure 0007024615000014
である。ここで、Ｃはコンテキスト窓長を表す正整数であり、例えばＣ＝５である。Ａｂｓ［（・）］はベクトル（・）の各要素を各要素の絶対値に置き換える演算を表す。すなわち、Ａｂｓ［（・）］の演算結果はベクトル（・）の各要素の絶対値を当該各要素とするベクトルとなる。Ｍｅｌ［（・）］はベクトル（・）にメル変換行列を乗じてＢ次元ベクトルを得る演算を表す。すなわち、Ｍｅｌ［（・）］の演算結果はベクトル（・）に対応するＢ次元ベクトルとなる。Ｂ＝６４である。ｌｎ（・）はベクトル（・）の各要素を当該各要素の自然対数に置き換える演算を表す。すなわち、ｌｎ（・）の演算結果はベクトル（・）の各要素の自然対数を各要素とするベクトルである。また、記載表記の制約上、式（９）の左辺をｓ＾ｔ，Ｄと表記し、式（１０）の左辺をｎ＾ｔ，Ｄと表記する場合がある。
また、この音響特徴量φｔは、以下の手順で得られてもよい。
１．サンプリング周波数sｆ１（第１周波数）の観測信号Ｘｔ，ｆ （ｍ）をサンプリング周波数sｆ２（第２周波数）にダウンサンプリングしたＸｔ，ｆ，Ｄ （ｍ）（ｍ∈｛０，…，Ｍ｝）を用い、式（２）（７）に従い、サンプリング周波数sｆ２にダウンサンプリングされたＳ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄを計算する。ただし、ｓｆ２＜ｓｆ１である。
２．Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄをサンプリング周波数sｆ１のＳ＾ｔ，ｆおよびＮ＾ｔ，ｆにアップサンプリングする。
３．アップサンプリングされた状態で、Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄに代えてＳ＾ｔ，ｆおよびＮ＾ｔ，ｆを用い、式（９）（１０）に従って、ｓ＾ｔ，Ｄおよびｎ＾ｔ，Ｄに代えてｓ＾ｔおよびｎ＾ｔを計算する。さらに、ｓ＾ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｓ＾ｔ，Ｌとし、ｎ＾ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｎ＾ｔ，Ｌとする。
４．ｓ＾ｔ，Ｄおよびｎ＾ｔ，Ｄに代えてｎ＾ｔ，Ｌおよびｎ＾ｔ，Ｌを用い、式（８）に従って音響特徴量φｔを計算する。
この場合、アップサンプリング後のサンプリング周波数sｆ１が１６ｋＨｚである場合、音響特徴量φｔの次元数は以下のようになる。
40 [点] ×(1+5+5) [フレーム] × 2[近接+遠方の２チャンネル] = 880 [次元] (11)
前述のように、観測信号をそのままニューラルネットワークの入力とする場合には、音響特徴量の次元数がマイクロホンの個数Ｍ＋１チャネル（式（６）の例では３３チャネル）に対応し、非常に大きな値となる（式（６）の例では９３２９１次元）。これに対し、式（８）のように近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値と遠距離音響信号Ｎ＾ｔ，ｆ，Ｄの推定値に対応する値とを関連付けた音響特徴量φｔの次元数は、マイクロホンＭ＋１の数にかかわらず、Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄの２チャネルに対応し、比較的小さな値となる（式（１１）の例では８８０次元）。例えば、式（６）（１１）を比較すると、式（８）の音響特徴量φｔの次元数は、観測信号をそのままニューラルネットワークの入力とする場合に比べて１００分の１以下となる。
以上のように得られた音響特徴量φｔを学習データとして用い、前述した式（５）のパラメータΘを学習する。例えば、与えられた近距離音響信号Ｓｔ，ｆ （０）および観測信号Ｘｔ，ｆ （０）ならびに観測信号Ｘｔ，ｆ （ｍ）から得た音響特徴量φｔを学習データとして用い、以下の関数値Ｊ（Θ）を最小化するパラメータΘを学習する。
Figure 0007024615000015
ただし、
Figure 0007024615000016
Figure 0007024615000017
である。α○βはベクトルαおよびベクトルβの互いに同じ位置の要素を互いに乗じたものを要素とするベクトルを得る演算（要素ごとの乗算）を表す。すなわち、α＝（α１，…，αＦ）Ｔおよびβ＝（β１，…，βＦ）Ｔとすると、α○β＝（α１β１，…，αＦβＦ）Ｔである。また、||α||ｑはＬｑノルムである。
以上のように得られたパラメータΘを用いることで、新たにＭ＋１個のマイクロホンで収音され、サンプリングされ、さらに時間周波数領域に変換して得られるＸｔ，ｆ （ｍ）（ｍ∈｛０，…，Ｍ｝）に対する音響信号分離が可能となる。すなわち、パラメータΘと新たに得られたＸｔ，ｆ （ｍ）から計算された音響特徴量φｔとを用い、式（５）に従ってＧｔ＝（Ｇｔ，１，…，Ｇｔ，Ｆ）Ｔを得、さらに式（３）に従ってＳ＾ｔ，ｆを計算できる。
［第１実施形態］
第１実施形態を説明する。
＜構成＞
図１に例示するように、本実施形態の音響信号分離システム１は、学習装置１１と音響信号分離装置１２と球面マイクロホンアレイ１３とを有する。
≪学習装置１１≫
図２に例示するように、本実施形態の学習装置１１は、設定部１１１、記憶部１１２、ランダムサンプリング部１１３、ダウンサンプリング部１１４－ｍ（ｍ∈｛０，…，Ｍ｝）、関数演算部１１５，１１６、特徴量計算部１１７、学習部１１８、および制御部１１９を有する。
≪音響信号分離装置１２≫
図３に例示するように、本実施形態の音響信号分離装置１２は、設定部１２１、信号処理部１２３、ダウンサンプリング部１２４－ｍ（ｍ∈｛０，…，Ｍ｝）、関数演算部１２５，１２６、特徴量計算部１２７、およびフィルタ部１２８を有する。
≪球面マイクロホンアレイ１３≫
球面マイクロホンアレイ１３は、半径ｒの球の中心に配置された０番目のマイクロホンと、当該球の球面上に等間隔に配置された１からＭ番目までのマイクロホンとを有する。
＜学習処理＞
次に、図４を用いて本実施形態の学習処理を説明する。
前処理として、単数または複数の任意の近接音源から発せられた近接音を球面マイクロホンアレイ１３のＭ＋１個のマイクロホンで収音することで得られた近距離音響信号をサンプリング周波数ｓｆ１でサンプリングし、さらに時間周波数領域に変換して得られた時間周波数領域の近距離音響信号Ｓｔ，ｆ （ｍ）（ｍ∈｛０，…，Ｍ｝）を得る。近接音源をランダムに選択しながらこのようなＳｔ，ｆ （ｍ）を複数個取得し、それらからなる集合Ｓを構成する。同様に、単数または複数の任意の遠方音源から発せられた遠方音を球面マイクロホンアレイ１３のＭ＋１個のマイクロホンで収音することで得られた遠距離音響信号をサンプリング周波数ｓｆ１でサンプリングし、さらに時間周波数領域に変換して得られた時間周波数領域の遠距離音響信号Ｎｔ，ｆ （ｍ）（ｍ∈｛０，…，Ｍ｝）を得る。遠方音源をランダムに選択しながらこのようなＮｔ，ｆ （ｍ）を複数個取得し、それらからなる集合Ｎを構成する。また、各種パラメータｐ（例えば、Ｍ，Ｆ，Ｔ，Ｃ，Ｂ，ｒ，ｓｆ１，ｓｆ２や学習に必要なパラメータなど）が設定される。前処理で得られたＳ，Ｎ，ｐは学習装置１１（図２）の設定部１１１に入力される。集合Ｓ，Ｎは記憶部１１２に格納され、各種パラメータｐは学習装置１１の各部に設定される（ステップＳ１１１）。
ランダムサンプリング部１１３は、記憶部１１２に格納された集合Ｓ，Ｎから、Ｔ＋２Ｃ個以上の時間区間（フレーム）ｔについての近距離音響信号｛Ｓｔ，ｆ （０），…，Ｓｔ，ｆ （Ｍ）｝および遠距離音響信号｛Ｎｔ，ｆ （０），…，Ｎｔ，ｆ （Ｍ）｝をランダムに選択し（ｆ∈｛１，…，Ｆ｝）、それらを重畳することで観測信号｛Ｘｔ，ｆ （０），…，Ｘｔ，ｆ （Ｍ）｝を得るシミュレーションを行い、それによって得た観測信号Ｘｔ，ｆ （ｍ）（ｍ∈｛０，…，Ｍ｝）を出力する（ステップＳ１１３）。
ステップＳ１１３で得られた各観測信号Ｘｔ，ｆ （ｍ）は各ダウンサンプリング部１１４－ｍに入力される。ダウンサンプリング部１１４－ｍは、観測信号Ｘｔ，ｆ （ｍ）をサンプリング周波数sｆ２の観測信号Ｘｔ，ｆ，Ｄ （ｍ）（複数のマイクロホンで収音された信号に由来する第２音響信号）にダウンサンプリングして出力する（ステップＳ１１４）。
ステップＳ１１４で得られた観測信号Ｘｔ，ｆ，Ｄ （０），…，Ｘｔ，ｆ，Ｄ （Ｍ）は関数演算部１１５に入力される。関数演算部１１５は、式（２）（所定の関数）に従って、観測信号Ｘｔ，ｆ，Ｄ （０），…，Ｘｔ，ｆ，Ｄ （Ｍ）から近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄ（複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値）を得て出力する（ステップＳ１１５）。
ステップＳ１１４で得られた観測信号Ｘｔ，ｆ，Ｄ （０）およびステップＳ１１５で得られた近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄは、関数演算部１１６に入力される。関数演算部１１６は、式（７）に従ってＸｔ，ｆ，Ｄ （０）およびＳ＾ｔ，ｆ，Ｄから遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄ（複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値）を得て出力する（ステップＳ１１６）。
ステップＳ１１５で得られた近距離音響信号の推定値Ｓ＾ｔ，ｆ，ＤおよびステップＳ１１６で得られた遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄは、特徴量計算部１１７に入力される。特徴量計算部１１７は、式（８）（９）（１０）に従って、前述の音響特徴量φｔ（近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値ｓ＾ｔ，Ｄと、遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値ｎ＾ｔ，Ｄと、を関連付けた音響特徴量）を計算して出力する（ステップＳ１１７）。
ステップＳ１１７で得られた音響特徴量φｔおよび当該音響特徴量φｔに対応するＳｔ，ｆ （０）およびＸｔ，ｆ （０）（ｔ∈｛１，…，Ｔ｝，ｆ∈｛１，…，Ｆ｝）が、学習データとして学習部１１８に入力される。学習部１１８は、これらを用い、公知の学習法を用いて、式（１２）の関数値Ｊ（Θ）を最小化するようにパラメータΘ（フィルタに対応する情報）を学習する。学習法には、例えば、確率的最急降下法などを利用すればよく、その学習率は１０－５程度に設定すればよい（ステップＳ１１８）。
制御部１１９は、収束判定を行い、収束条件を充足したか否かを判定する。収束条件の例は、一定回数（例えば、１０万回）の学習を繰り返したこと、各学習で得られたパラメータΘの変化量が一定範囲内であったことなどである。制御部１１９が収束条件を充足していないと判定した場合、ステップＳ１１３の処理に戻る。一方、制御部１１９が収束条件を充足したと判定した場合、学習部１１８は収束条件を充足したパラメータΘを出力する。このパラメータΘと式（５）とを用いることで、未知の音響特徴量φｔに対応する時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆを得ることができる（ステップＳ１１９）。
＜分離処理＞
次に、図５を用いて本実施形態の分離処理を説明する。前処理として、パラメータｐ’（例えば、学習に必要なパラメータを除き、前述したパラメータｐと同一）が設定部１２１に入力され、ステップＳ１１９で出力されたパラメータΘがフィルタ部１２８に入力される。パラメータｐ’は音響信号分離装置１２の各部に設定され、パラメータΘはフィルタ部１２８に設定される。その後、各時間区間ｔについて以下の各処理が実行される。
単数または複数の任意の音源から発せられた音が球面マイクロホンアレイ１３のＭ＋１個（複数）のマイクロホンで収音され、それによって得られた信号が信号処理部１２３に送られる（ステップＳ１２１）。信号処理部１２３は、各ｍ∈｛０，…，Ｍ｝番目のマイクロホンで取得された信号をサンプリング周波数ｓｆ１でサンプリングし、さらに時間周波数領域に変換して時間周波数領域の観測信号Ｘ’ｔ，ｆ （ｍ）（ｍ∈｛０，…，Ｍ｝）（複数のマイクロホンで収音された信号に由来する第２音響信号）を得て出力する（ステップＳ１２３）。
ステップＳ１２３で得られた各観測信号Ｘ’ｔ，ｆ （ｍ）は各ダウンサンプリング部１２４－ｍに入力される。ダウンサンプリング部１２４－ｍは、観測信号Ｘ’ｔ，ｆ （ｍ）をサンプリング周波数sｆ２の観測信号Ｘ’ｔ，ｆ，Ｄ （ｍ）（複数のマイクロホンで収音された信号に由来する第２音響信号）にダウンサンプリングして出力する（ステップＳ１２４）。
ステップＳ１２４で得られた観測信号Ｘ’ｔ，ｆ，Ｄ （０），…，Ｘ’ｔ，ｆ，Ｄ （Ｍ）は関数演算部１２５に入力される。関数演算部１２５は、
Figure 0007024615000018
（所定の関数）に従って、観測信号Ｘ’ｔ，ｆ，Ｄ （０），…，Ｘ’ｔ，ｆ，Ｄ （Ｍ）から近距離音響信号の推定値Ｓ＾’ｔ，ｆ，Ｄ（複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値）を得て出力する。なお、記載表記の制約上、式（１５）の左辺をＳ＾’ｔ，ｆ，Ｄと表記する（ステップＳ１２５）。
ステップＳ１２４で得られた観測信号Ｘ’ｔ，ｆ，Ｄ （０）およびステップＳ１２５で得られた近距離音響信号の推定値Ｓ＾’ｔ，ｆ，Ｄは、関数演算部１２６に入力される。関数演算部１２６は、
Figure 0007024615000019
に従ってＸ’ｔ，ｆ，Ｄ （０）およびＳ＾’ｔ，ｆ，Ｄから遠距離音響信号の推定値Ｎ＾’ｔ，ｆ，Ｄ（複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値）を得て出力する。なお、記載表記の制約上、式（１６）の左辺をＮ＾’ｔ，ｆ，Ｄと表記する（ステップＳ１２６）。
ステップＳ１２５で得られた近距離音響信号の推定値Ｓ＾’ｔ，ｆ，ＤおよびステップＳ１２６で得られた遠距離音響信号の推定値Ｎ＾’ｔ，ｆ，Ｄは、特徴量計算部１２７に入力される。特徴量計算部１２７は、以下の式（１７）（１８）（１９）に従って、音響特徴量φ’ｔ（近距離音響信号の推定値Ｓ＾’ｔ，ｆ，Ｄに対応する値ｓ＾’ｔ，Ｄと、遠距離音響信号の推定値Ｎ＾’ｔ，ｆ，Ｄに対応する値ｎ＾’ｔ，Ｄと、を関連付けた音響特徴量）を計算して出力する。
Figure 0007024615000020
Figure 0007024615000021
Figure 0007024615000022
なお、記載表記の制約上、式（１８）（１９）の左辺をｓ＾’ｔ，Ｄ，ｎ＾’ｔ，Ｄとそれぞれ表記する（ステップＳ１２７）。
ステップＳ１２３で得られた各観測信号Ｘ’ｔ，ｆ （０）、およびステップＳ１２７で得られた音響特徴量φ’ｔはフィルタ部１２８に入力される。フィルタ部１２８は、前述のパラメータΘを用い、時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆを縦に並べたベクトルＧｔ＝（Ｇｔ，１，…，Ｇｔ，Ｆ）Ｔを以下のように計算する。
Figure 0007024615000023
このように得られる時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆは、複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄ（Ｓ＾’ｔ，ｆ，Ｄ）に対応する値ｓ＾ｔ，Ｄ（ｓ＾’ｔ，Ｄ）と、複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄ（Ｎ＾’ｔ，ｆ，Ｄ）に対応する値ｎ＾ｔ，Ｄ（ｎ＾’ｔ，Ｄ）と、を関連付けることで得られるフィルタ（非線形フィルタ）である。さらにフィルタ部１２８は、時間周波数マスクＧｔ，ｆ（ｆ∈｛０，…，Ｆ｝）を用い、観測信号Ｘ’ｔ，ｆ （０）（特定のマイクロホンで収音された信号に由来する第１音響信号）から、以下のように、近距離音響信号の推定値Ｓ＾’ｔ，ｆ（特定のマイクロホンに近い距離から発せられた音を表す所望の音響信号）を取得して出力する。
Figure 0007024615000024
なお、本形態では、時間周波数マスクＧｔ，ｆのサンプリング周波数がｓｆ２のままであるため、式（２１）の計算を行う前に、時間周波数マスクＧｔ，ｆをサンプリング周波数ｓｆ１またはその近傍にアップサンプリングすることが望ましい（ステップＳ１２８）。出力されたＳ＾ｔ，ｆは時間領域の信号に変換されてもよいし、時間領域の信号に変換されることなく他の処理に用いられてもよい。
［第１実施形態の変形例１］
第１実施形態のステップＳ１２８では、音響信号分離装置１２のフィルタ部１２８が、時間周波数マスクＧｔ，ｆを用い、観測信号Ｘ’ｔ，ｆ （０）から近距離音響信号の推定値Ｓ＾ｔ，ｆを取得して出力した（式（２１））。しかし、音響信号分離装置１２がフィルタ部１２８に代えてフィルタ部１２８’を備え、フィルタ部１２８’が時間周波数マスクＧｔ，ｆを用い、以下のように観測信号Ｘ’ｔ，ｆ （０）から遠距離音響信号の推定値Ｎ＾’ｔ，ｆ（特定のマイクロホンから遠い距離から発せられた音を表す所望の音響信号）を取得して出力してもよい。
Figure 0007024615000025
または、音響信号分離装置１２がフィルタ部１２８に加えてフィルタ部１２８’を備え、フィルタ部１２８が前述のように式（２１）に従って近距離音響信号の推定値Ｓ＾ｔ，ｆを取得して出力し、フィルタ部１２８’が上述のように式（２２）に従って遠距離音響信号の推定値Ｎ＾’ｔ，ｆを取得して出力してもよい。または、フィルタ部１２８が距離音響信号の推定値Ｓ＾’ｔ，ｆを取得して出力するか、または、フィルタ部１２８’が遠距離音響信号の推定値Ｎ＾’ｔ，ｆを取得して出力するかが、入力に基づいて選択可能であってもよい（ステップＳ１２８’）。
［第１実施形態の変形例２］
第１実施形態のステップＳ１１８では、学習装置１１の学習部１１８が式（１２）の関数値Ｊ（Θ）を最小化するようにパラメータΘ（フィルタに対応する情報）を学習した。しかし、学習装置１１が学習部１１８に代えて学習部１１８”を備え、学習部１１８”が、ステップＳ１１７で得られた音響特徴量φｔおよび当該音響特徴量φｔに対応するＮｔ，ｆ （０）およびＸｔ，ｆ （０）（ｔ∈｛１，…，Ｔ｝，ｆ∈｛１，…，Ｆ｝）を学習データとして用い、公知の学習法を用いて、以下のように関数値Ｊ（Θ）を最小化するようにパラメータΘ（フィルタに対応する情報）を学習してもよい（ステップＳ１１８”）。
Figure 0007024615000026
Figure 0007024615000027
この場合、音響信号分離装置１２のフィルタ部１２８が時間周波数マスクＧｔ，ｆを用い、以下のように観測信号Ｘ’ｔ，ｆ （０）から遠距離音響信号の推定値Ｎ＾’ｔ，ｆを取得して出力してもよい。
Figure 0007024615000028
または、音響信号分離装置１２のフィルタ部１２８’が時間周波数マスクＧｔ，ｆを用い、以下のように観測信号Ｘ’ｔ，ｆ （０）から近距離音響信号の推定値Ｓ＾’ｔ，ｆを取得して出力してもよい。
Figure 0007024615000029
または、音響信号分離装置１２がフィルタ部１２８に加えてフィルタ部１２８’を備え、フィルタ部１２８が前述のように式（２５）に従って遠距離音響信号の推定値Ｎ＾’ｔ，ｆを取得して出力し、フィルタ部１２８’が上述のように式（２６）に従って近距離音響信号の推定値Ｓ＾’ｔ，ｆを取得して出力してもよい。または、フィルタ部１２８が遠距離音響信号の推定値Ｎ＾’ｔ，ｆを取得して出力するか、または、フィルタ部１２８’が近距離音響信号の推定値Ｓ＾’ｔ，ｆを取得して出力するかが、入力に基づいて選択可能であってもよい。
［第２実施形態］
第２実施形態を説明する。本実施形態は第１実施形態の変形例であり、音響特徴量の計算前にアップサンプリングが行われる点のみが第１実施形態と相違する。以下では第１実施形態との相違点を中心に説明を行い、第１実施形態と共通する事項については同じ参照番号を用いて説明を簡略化する。
＜構成＞
図１に例示するように、本実施形態の音響信号分離システム２は、学習装置２１と音響信号分離装置２２と球面マイクロホンアレイ１３とを有する。
≪学習装置２１≫
図２に例示するように、本実施形態の学習装置２１は、設定部１１１、記憶部１１２、ランダムサンプリング部１１３、ダウンサンプリング部１１４－ｍ（ｍ∈｛０，…，Ｍ｝）、関数演算部１１５，１１６、特徴量計算部２１７、学習部１１８、および制御部１１９を有する。
≪音響信号分離装置２２≫
図３に例示するように、本実施形態の音響信号分離装置２２は、設定部１２１、信号処理部１２３、ダウンサンプリング部１２４－ｍ（ｍ∈｛０，…，Ｍ｝）、関数演算部１２５，１２６、特徴量計算部２２７、およびフィルタ部１２８を有する。
＜学習処理＞
次に、図４を用いて本実施形態の学習処理を説明する。第１実施形態の学習処理との相違点はステップＳ１１７が以下のステップＳ２１７に置換される点のみである。その他は、第１実施形態もしくは第１実施形態の変形例１または２の学習処理と同一である。
≪ステップＳ２１７≫
ステップＳ１１５で得られた近距離音響信号の推定値Ｓ＾ｔ，ｆ，ＤおよびステップＳ１１６で得られた遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄは、特徴量計算部２１７に入力される。特徴量計算部２１７は、Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄをサンプリング周波数sｆ１のＳ＾ｔ，ｆおよびＮ＾ｔ，ｆにアップサンプリングする。その後、特徴量計算部２１７は、アップサンプリングされた状態で、Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄに代えてＳ＾ｔ，ｆおよびＮ＾ｔ，ｆを用い、式（９）（１０）に従って、ｓ＾ｔ，Ｄおよびｎ＾ｔ，Ｄに代えてｓ＾ｔおよびｎ＾ｔを計算する。さらに、特徴量計算部２１７は、ｓ＾ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｓ＾ｔ，Ｌとし、ｎ＾ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｎ＾ｔ，Ｌとする。特徴量計算部２１７は、ｓ＾ｔ，Ｄおよびｎ＾ｔ，Ｄに代えてｎ＾ｔ，Ｌおよびｎ＾ｔ，Ｌを用い、式（８）に従って音響特徴量φｔ（近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値ｓ＾ｔ，Ｌと、遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値ｎ＾ｔ，Ｌと、を関連付けた音響特徴量）を計算して出力する。
＜分離処理＞
次に、図５を用いて本実施形態の分離処理を説明する。第１実施形態の分離処理との相違点はステップＳ１２７が以下のステップＳ２２７に置換される点のみである。その他は、第１実施形態の分離処理と同一である。
≪ステップＳ２２７≫
ステップＳ１２５で得られた近距離音響信号の推定値Ｓ＾’ｔ，ｆ，ＤおよびステップＳ１２６で得られた遠距離音響信号の推定値Ｎ＾’ｔ，ｆ，Ｄは、特徴量計算部２２７に入力される。特徴量計算部２２７は、Ｓ＾’ｔ，ｆ，ＤおよびＮ＾’ｔ，ｆ，Ｄをサンプリング周波数sｆ１のＳ＾’ｔ，ｆおよびＮ＾’ｔ，ｆにアップサンプリングする。その後、特徴量計算部２２７は、アップサンプリングされた状態で、Ｓ＾’ｔ，ｆ，ＤおよびＮ＾’ｔ，ｆ，Ｄに代えてＳ’＾ｔ，ｆおよびＮ’＾ｔ，ｆを用い、式（１８）（１０）に従って、ｓ＾’ｔ，Ｄおよびｎ＾’ｔ，Ｄに代えてｓ＾’ｔおよびｎ＾’ｔを計算する。さらに、特徴量計算部２２７は、ｓ＾’ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｓ＾’ｔ，Ｌとし、ｎ＾’ｔからナイキスト周波数以下の帯域の要素だけを取り出したものをｎ＾’ｔ，Ｌとする。特徴量計算部２２７は、ｓ＾’ｔ，Ｄおよびｎ＾’ｔ，Ｄに代えてｎ＾’ｔ，Ｌおよびｎ＾’ｔ，Ｌを用い、式（１７）に従って音響特徴量φ’ｔ（近距離音響信号の推定値Ｓ＾’ｔ，ｆ，Ｄに対応する値ｓ＾’ｔ，Ｌと、遠距離音響信号の推定値Ｎ＾’ｔ，ｆ，Ｄに対応する値ｎ＾’ｔ，Ｌと、を関連付けた音響特徴量）を計算して出力する。
［まとめ］
第１，２実施形態およびそれらの変形例の学習装置は、「複数のマイクロホン」で収音された信号に由来する第２音響信号（観測信号Ｘｔ，ｆ，Ｄ （ｍ））から「所定の関数」（式（２））を用いて得られる、「複数のマイクロホン」に近い距離から発せられた近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値と、「複数のマイクロホン」から遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値と、を関連付けた学習データ（音響特徴量φｔ）を用い、「特定のマイクロホン」で収音された信号に由来する第１音響信号（観測信号Ｘ’ｔ，ｆ （０））から、「特定のマイクロホン」に近い距離から発せられた音または特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を分離するためのフィルタ（時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆ）に対応する情報（パラメータΘ）を学習した。なお、「マイクロホンに近い距離」は「マイクロホンから遠い距離」よりも短い。例えば、「マイクロホンに近い距離」は３０ｃｍ以下の距離であり、「マイクロホンから遠い距離」は１ｍ以上の距離である。例えば、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄは、第２音響信号と「所定の関数」とを用いて得られ（式（２））、遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄは、第２音響信号と近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄとを用いて得られる（式（７））。
また、第１音響信号（観測信号Ｘ’ｔ，ｆ （０））から所望の音響信号を分離する音響信号分離装置では、「複数のマイクロホン」で収音された信号に由来する第２音響信号（観測信号Ｘｔ，ｆ，Ｄ （ｍ），Ｘ’ｔ，ｆ （０））から「所定の関数」を用いて得られる、「複数のマイクロホン」に近い距離から発せられた近距離音響信号の推定値（Ｓ＾ｔ，ｆ，Ｄ，Ｓ＾’ｔ，ｆ，Ｄ）に対応する値と、複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値（Ｎ＾ｔ，ｆ，Ｄ，Ｎ＾’ｔ，ｆ，Ｄ）に対応する値と、を関連付けることで得られるフィルタ（近距離音響信号の推定値に対応する値と遠距離音響信号の推定値に対応する値とを関連付けた学習データを用いた学習によって得られる情報に基づくフィルタである、時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆ）を用い、「特定のマイクロホン」で収音された信号に由来する第１音響信号（観測信号Ｘ’ｔ，ｆ （０））から、「特定のマイクロホン」に近い距離から発せられた音または「特定のマイクロホン」から遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号（Ｓ＾’ｔ，ｆおよび／またはＮ＾’ｔ，ｆ）を取得した。
前述のように、各実施形態で学習データとして用いる音響特徴量φｔの次元数は、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値と遠距離音響信号Ｎ＾ｔ，ｆ，Ｄの推定値に対応する値とを関連付けたものであり、マイクロホンＭ＋１の数にかかわらず、Ｓ＾ｔ，ｆ，ＤおよびＮ＾ｔ，ｆ，Ｄの２チャネルに対応するものとなる。そのため、各実施形態では、マイクロホンＭ＋１での観測信号をそのまま学習データとして用いる場合に比べ、学習データの次元数を大幅に削減できる。その結果、マイクロホンＭ＋１での観測信号をそのまま学習データとして用いる場合に比べ、学習データのデータ量を削減し、学習時間を大幅に短縮できる。また、音響特徴量φｔは「所定の関数」を用いて得られるが、この「所定の関数」は「複数のマイクロホン」に近い距離から発せられた音が球面波として、「複数のマイクロホン」から遠い距離から発せられた音が平面波として、「複数のマイクロホン」に収音されると近似されることを利用した関数である。このように得られる音響特徴量φｔは、近距離音響信号と遠距離音響信号とを見分けるための手がかりを含んだものであり、Ｇｔ＝（Ｇｔ，１，…，Ｇｔ，Ｆ）Ｔとの相互情報量が大きい。そのため、このような音響特徴量φｔを学習データとして用いることで高精度でフィルタ（時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆ）を推定でき、音源からマイクロホンまでの距離の違いに基づいて高精度に音響信号を分離できる。また、フィルタ（時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆ）の学習には低域の周波数の音響特徴量しか利用できないとしても、学習によって得られたフィルタを高域の周波数で利用することは可能である。そのため、このようなフィルタを用いて得られた音響信号分離を、音声認識などの音響信号を扱うアプリケーションの前処理として利用することもできる。
第１音響信号（観測信号Ｘ’ｔ，ｆ （０））のサンプリング周波数はｓｆ１（第１周波数）であり、第２音響信号（観測信号Ｘｔ，ｆ，Ｄ （ｍ））のサンプリング周波数はｓｆ２（第２周波数）であり、ｓｆ２（第２周波数）はｓｆ１（第１周波数）よりも低い。第２実施形態およびその変形例では、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄおよび遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄのサンプリング周波数はｓｆ２（第２周波数）であるが、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値および遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値のサンプリング周波数はｓｆ１（第１周波数）にアップサンプリングされている。そのため、学習に基づいて得られたフィルタ（時間周波数マスクＧｔ，１，…，Ｇｔ，Ｆ）のサンプリング周波数を第１音響信号（観測信号Ｘ’ｔ，ｆ （０））に一致させることができ、フィルタリング処理を簡易化できる。なお、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄおよび遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄのサンプリング周波数がｓｆ２（第２周波数）の近傍であってもよいし、近距離音響信号の推定値Ｓ＾ｔ，ｆ，Ｄに対応する値および遠距離音響信号の推定値Ｎ＾ｔ，ｆ，Ｄに対応する値のサンプリング周波数がｓｆ１（第１周波数）の近傍にアップサンプリングされてもかまわない。
なお、本発明は上述の実施形態に限定されるものではない。例えば、ＤＮＮ以外のモデルを用いてフィルタの学習および適用が行われてもよい。また、学習装置の機能と音響信号分離装置の機能とを含む単一の装置が設けられてもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
例えば、上述したマイクロホンに遠い距離から発せられた音を分離する技術をスマートスピーカーなどに適用した場合、スマートスピーカーなどがテレビの傍に置かれていたとしても、テレビの音声を抑圧して遠方の音声等を明確に抽出でき、音声認識や通話などの品質を向上させることができる。
例えば、上述したマイクロホンから近い距離から発せられた音を分離する技術を工場における異常音検知装置に適用し、この異常音検知装置を監視対象機器の傍に配置した場合、別のセクションなどから到来する雑音を抑圧し、監視対象機器の音だけを抽出できるようになり、異常音検知装置による検出精度を向上させることができる。
１ 音響信号分離システム
１１，２１ 学習装置
１２，２２ 音響信号分離装置

Claims (10)

  1. 第１音響信号から所望の音響信号を分離する音響信号分離装置であって、
    Ｍが１以上の整数であり、ｍ’＝１，…，Ｍ＋１であり、ｔは時間区間を表し、ｆ∈｛１，…，Ｆ｝は周波数を表し、Ｆは正整数であり、
    球の中心に配置されている１個のマイクロホンと前記球の球面上に等間隔に配置されているＭ個のマイクロホンで収音された信号に由来する第２音響信号Ｘ ｔ，ｆ，Ｄ （０） ，…，Ｘ ｔ，ｆ，Ｄ （Ｍ＋１） から所定の関数を用いて得られる、前記マイクロホンに近い距離から発せられた近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ に対応する値と、前記マイクロホンから遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ に対応する値と、を関連付けた音響特徴量φ ｔ を用いることで得られるフィルタＧ ｔ，ｆ を用い、
    特定のマイクロホンで収音された信号に由来する前記第１音響信号Ｘ ｔ，ｆ から、
    前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す前記所望の音響信号を取得するフィルタ部を有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （０） は、前記球の中心に配置されているマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （０） をダウンサンプリングして得られる信号であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （ｍ’） は、前記球の球面上に等間隔に配置されているｍ’番目のマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （ｍ’） をダウンサンプリングして得られる信号であり、
    前記近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000030
    であり、
    ｒは正値であり、Ｊ ０ （ｋｒ）は球ベッセル関数であり、ｋはｆが表す周波数に対応する波数であり、
    前記遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000031
    であり、
    ｜・｜は・の絶対値を表し、
    前記音響特徴量φ ｔ は
    Figure 0007024615000032
    であり、・ Ｔ は・の転置を表し、
    Figure 0007024615000033
    Figure 0007024615000034
    であり、
    Ｃは正整数であり、Ａｂｓ［（・）］はベクトル（・）の各要素を各要素の絶対値に置き換える演算を表し、Ｍｅｌ［（・）］はベクトル（・）にメル変換行列を乗じてベクトルを得る演算を表し、ｌｎ（・）はベクトル（・）の各要素を当該各要素の自然対数に置き換える演算を表す、
    音響信号分離装置。
  2. 第１音響信号から所望の音響信号を分離する音響信号分離装置であって、
    複数のマイクロホンで収音された信号に由来する第２音響信号から所定の関数を用いて得られる、前記複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値に対応する値と、前記複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値に対応する値と、を関連付けることで得られるフィルタを用い、
    特定のマイクロホンで収音された信号に由来する前記第１音響信号から、
    前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す前記所望の音響信号を取得するフィルタ部を有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第１音響信号のサンプリング周波数は第１周波数であり、
    前記第２音響信号のサンプリング周波数は第２周波数であり、
    第２周波数は前記第１周波数よりも低く、
    前記近距離音響信号の推定値および前記遠距離音響信号の推定値のサンプリング周波数は、前記第２周波数または前記第２周波数の近傍であり、
    前記近距離音響信号の推定値に対応する値および前記遠距離音響信号の推定値に対応する値のサンプリング周波数は、前記第１周波数または前記第１周波数の近傍である、音響信号分離装置。
  3. 請求項１または２の音響信号分離装置であって、
    前記フィルタは、前記近距離音響信号の推定値に対応する値と前記遠距離音響信号の推定値に対応する値とを関連付けた前記音響特徴量φ ｔ を含む学習データを用いた学習によって得られる情報に基づく、音響信号分離装置。
  4. Ｍが１以上の整数であり、ｍ’＝１，…，Ｍ＋１であり、ｔは時間区間を表し、ｆ∈｛１，…，Ｆ｝は周波数を表し、Ｆは正整数であり、
    球の中心に配置されている１個のマイクロホンと前記球の球面上に等間隔に配置されているＭ個のマイクロホンで収音された信号に由来する第２音響信号Ｘ ｔ，ｆ，Ｄ （０） ，…，Ｘ ｔ，ｆ，Ｄ （Ｍ＋１） から所定の関数を用いて得られる、前記マイクロホンに近い距離から発せられた近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ に対応する値と、前記マイクロホンから遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ に対応する値と、を関連付けた音響特徴量φ ｔ を含む学習データを用い、
    特定のマイクロホンで収音された信号に由来する第１音響信号Ｘ ｔ，ｆ から、前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を分離するためのフィルタＧ ｔ，ｆ に対応する情報を学習する学習部を有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （０） は、前記球の中心に配置されているマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （０） をダウンサンプリングして得られる信号であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （ｍ’） は、前記球の球面上に等間隔に配置されているｍ’番目のマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （ｍ’） をダウンサンプリングして得られる信号であり、
    前記近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000035
    であり、
    ｒは正値であり、Ｊ ０ （ｋｒ）は球ベッセル関数であり、ｋはｆが表す周波数に対応する波数であり、
    前記遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000036
    であり、
    ｜・｜は・の絶対値を表し、
    前記音響特徴量φ ｔ は
    Figure 0007024615000037
    であり、・ Ｔ は・の転置を表し、
    Figure 0007024615000038
    Figure 0007024615000039
    であり、
    Ｃは正整数であり、Ａｂｓ［（・）］はベクトル（・）の各要素を各要素の絶対値に置き換える演算を表し、Ｍｅｌ［（・）］はベクトル（・）にメル変換行列を乗じてベクトルを得る演算を表し、ｌｎ（・）はベクトル（・）の各要素を当該各要素の自然対数に置き換える演算を表す、
    学習装置。
  5. 複数のマイクロホンで収音された信号に由来する第２音響信号から所定の関数を用いて得られる、前記複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値に対応する値と、前記複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値に対応する値と、を関連付けた学習データを用い、
    特定のマイクロホンで収音された信号に由来する第１音響信号から、前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を分離するためのフィルタに対応する情報を学習する学習部を有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第１音響信号のサンプリング周波数は第１周波数であり、
    前記第２音響信号のサンプリング周波数は第２周波数であり、
    第２周波数は前記第１周波数よりも低く、
    前記近距離音響信号の推定値および前記遠距離音響信号の推定値のサンプリング周波数は、前記第２周波数または前記第２周波数の近傍であり、
    前記近距離音響信号の推定値に対応する値および前記遠距離音響信号の推定値に対応する値のサンプリング周波数は、前記第１周波数または前記第１周波数の近傍である、
    学習装置。
  6. 第１音響信号から所望の音響信号を分離する音響信号分離方法であって、
    Ｍが１以上の整数であり、ｍ’＝１，…，Ｍ＋１であり、ｔは時間区間を表し、ｆ∈｛１，…，Ｆ｝は周波数を表し、Ｆは正整数であり、
    球の中心に配置されている１個のマイクロホンと前記球の球面上に等間隔に配置されているＭ個のマイクロホンで収音された信号に由来する第２音響信号Ｘ ｔ，ｆ，Ｄ （０） ，…，Ｘ ｔ，ｆ，Ｄ （Ｍ＋１） から所定の関数を用いて得られる、前記マイクロホンに近い距離から発せられた近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ に対応する値と、前記マイクロホンから遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ に対応する値と、を関連付けた音響特徴量φ ｔ を用いることで得られるフィルタＧ ｔ，ｆ を用い、
    特定のマイクロホンで収音された信号に由来する前記第１音響信号Ｘ ｔ，ｆ から、
    前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す前記所望の音響信号を取得するステップを有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （０） は、前記球の中心に配置されているマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （０） をダウンサンプリングして得られる信号であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （ｍ’） は、前記球の球面上に等間隔に配置されているｍ’番目のマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （ｍ’） をダウンサンプリングして得られる信号であり、
    前記近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000040
    であり、
    ｒは正値であり、Ｊ ０ （ｋｒ）は球ベッセル関数であり、ｋはｆが表す周波数に対応する波数であり、
    前記遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000041
    であり、
    ｜・｜は・の絶対値を表し、
    前記音響特徴量φ ｔ は
    Figure 0007024615000042
    であり、・ Ｔ は・の転置を表し、
    Figure 0007024615000043
    Figure 0007024615000044
    であり、
    Ｃは正整数であり、Ａｂｓ［（・）］はベクトル（・）の各要素を各要素の絶対値に置き換える演算を表し、Ｍｅｌ［（・）］はベクトル（・）にメル変換行列を乗じてベクトルを得る演算を表し、ｌｎ（・）はベクトル（・）の各要素を当該各要素の自然対数に置き換える演算を表す、
    音響信号分離方法。
  7. 第１音響信号から所望の音響信号を分離する音響信号分離方法であって、
    複数のマイクロホンで収音された信号に由来する第２音響信号から所定の関数を用いて得られる、前記複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値に対応する値と、前記複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値に対応する値と、を関連付けることで得られるフィルタを用い、
    特定のマイクロホンで収音された信号に由来する前記第１音響信号から、
    前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す前記所望の音響信号を取得するステップを有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第１音響信号のサンプリング周波数は第１周波数であり、
    前記第２音響信号のサンプリング周波数は第２周波数であり、
    第２周波数は前記第１周波数よりも低く、
    前記近距離音響信号の推定値および前記遠距離音響信号の推定値のサンプリング周波数は、前記第２周波数または前記第２周波数の近傍であり、
    前記近距離音響信号の推定値に対応する値および前記遠距離音響信号の推定値に対応する値のサンプリング周波数は、前記第１周波数または前記第１周波数の近傍である、
    音響信号分離方法。
  8. Ｍが１以上の整数であり、ｍ’＝１，…，Ｍ＋１であり、ｔは時間区間を表し、ｆ∈｛１，…，Ｆ｝は周波数を表し、Ｆは正整数であり、
    球の中心に配置されている１個のマイクロホンと前記球の球面上に等間隔に配置されているＭ個のマイクロホンで収音された信号に由来する第２音響信号Ｘ ｔ，ｆ，Ｄ （０） ，…，Ｘ ｔ，ｆ，Ｄ （Ｍ＋１） から所定の関数を用いて得られる、前記マイクロホンに近い距離から発せられた近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ に対応する値と、前記マイクロホンから遠い距離から発せられた遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ に対応する値と、を関連付けた音響特徴量φ ｔ を含む学習データを用い、
    特定のマイクロホンで収音された信号に由来する第１音響信号Ｘ ｔ，ｆ から、前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を分離するためのフィルタＧ ｔ，ｆ に対応する情報を学習するステップを有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （０） は、前記球の中心に配置されているマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （０） をダウンサンプリングして得られる信号であり、
    前記第２音響信号Ｘ ｔ，ｆ，Ｄ （ｍ’） は、前記球の球面上に等間隔に配置されているｍ’番目のマイクロホンで収音された信号を時間周波数領域に変換して得られる時間周波数領域音響信号Ｘ ｔ，ｆ （ｍ’） をダウンサンプリングして得られる信号であり、
    前記近距離音響信号の推定値Ｓ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000045
    であり、
    ｒは正値であり、Ｊ ０ （ｋｒ）は球ベッセル関数であり、ｋはｆが表す周波数に対応する波数であり、
    前記遠距離音響信号の推定値Ｎ＾ ｔ，ｆ，Ｄ は
    Figure 0007024615000046
    であり、
    ｜・｜は・の絶対値を表し、
    前記音響特徴量φ ｔ は
    Figure 0007024615000047
    であり、・ Ｔ は・の転置を表し、
    Figure 0007024615000048
    Figure 0007024615000049
    であり、
    Ｃは正整数であり、Ａｂｓ［（・）］はベクトル（・）の各要素を各要素の絶対値に置き換える演算を表し、Ｍｅｌ［（・）］はベクトル（・）にメル変換行列を乗じてベクトルを得る演算を表し、ｌｎ（・）はベクトル（・）の各要素を当該各要素の自然対数に置き換える演算を表す、
    学習方法。
  9. 複数のマイクロホンで収音された信号に由来する第２音響信号から所定の関数を用いて得られる、前記複数のマイクロホンに近い距離から発せられた近距離音響信号の推定値に対応する値と、前記複数のマイクロホンから遠い距離から発せられた遠距離音響信号の推定値に対応する値と、を関連付けた学習データを用い、
    特定のマイクロホンで収音された信号に由来する第１音響信号から、前記特定のマイクロホンに近い距離から発せられた音または前記特定のマイクロホンから遠い距離から発せられた音、の少なくとも一方を表す所望の音響信号を分離するためのフィルタに対応する情報を学習するステップを有し、
    前記所定の関数は、
    前記複数のマイクロホンに近い距離から発せられた音が球面波として、
    前記複数のマイクロホンから遠い距離から発せられた音が平面波として、
    前記複数のマイクロホンに収音されると近似されることを利用した関数であり、
    前記第１音響信号のサンプリング周波数は第１周波数であり、
    前記第２音響信号のサンプリング周波数は第２周波数であり、
    第２周波数は前記第１周波数よりも低く、
    前記近距離音響信号の推定値および前記遠距離音響信号の推定値のサンプリング周波数は、前記第２周波数または前記第２周波数の近傍であり、
    前記近距離音響信号の推定値に対応する値および前記遠距離音響信号の推定値に対応する値のサンプリング周波数は、前記第１周波数または前記第１周波数の近傍である、
    学習方法。
  10. 請求項１から３の何れかの音響信号分離装置または請求項４または５の学習装置としてコンピュータを機能させるためのプログラム。
JP2018109327A 2018-06-07 2018-06-07 音響信号分離装置、学習装置、それらの方法、およびプログラム Active JP7024615B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018109327A JP7024615B2 (ja) 2018-06-07 2018-06-07 音響信号分離装置、学習装置、それらの方法、およびプログラム
PCT/JP2019/019833 WO2019235194A1 (ja) 2018-06-07 2019-05-20 音響信号分離装置、学習装置、それらの方法、およびプログラム
US15/734,473 US11297418B2 (en) 2018-06-07 2019-05-20 Acoustic signal separation apparatus, learning apparatus, method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018109327A JP7024615B2 (ja) 2018-06-07 2018-06-07 音響信号分離装置、学習装置、それらの方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019211685A JP2019211685A (ja) 2019-12-12
JP7024615B2 true JP7024615B2 (ja) 2022-02-24

Family

ID=68770233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018109327A Active JP7024615B2 (ja) 2018-06-07 2018-06-07 音響信号分離装置、学習装置、それらの方法、およびプログラム

Country Status (3)

Country Link
US (1) US11297418B2 (ja)
JP (1) JP7024615B2 (ja)
WO (1) WO2019235194A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024006516A1 (en) * 2022-06-30 2024-01-04 Google Llc Sound separation based on distance estimation using machine learning models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180392A (ja) 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体
JP2008236077A (ja) 2007-03-16 2008-10-02 Kobe Steel Ltd 目的音抽出装置，目的音抽出プログラム
JP2009128906A (ja) 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2015164267A (ja) 2014-02-28 2015-09-10 国立大学法人電気通信大学 収音装置および収音方法、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175408A1 (en) * 2007-01-20 2008-07-24 Shridhar Mukund Proximity filter
KR101238362B1 (ko) * 2007-12-03 2013-02-28 삼성전자주식회사 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치
US8737636B2 (en) * 2009-07-10 2014-05-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation
US10210882B1 (en) * 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10433086B1 (en) * 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180392A (ja) 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体
JP2008236077A (ja) 2007-03-16 2008-10-02 Kobe Steel Ltd 目的音抽出装置，目的音抽出プログラム
JP2009128906A (ja) 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2015164267A (ja) 2014-02-28 2015-09-10 国立大学法人電気通信大学 収音装置および収音方法、並びにプログラム

Also Published As

Publication number Publication date
WO2019235194A1 (ja) 2019-12-12
JP2019211685A (ja) 2019-12-12
US20210219048A1 (en) 2021-07-15
US11297418B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110600017B (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
Chen et al. Long short-term memory for speaker generalization in supervised speech separation
JPWO2006085537A1 (ja) 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体
WO2005024788A9 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP2018040848A (ja) 音響処理装置および音響処理方法
JP6348427B2 (ja) 雑音除去装置及び雑音除去プログラム
JP7176627B2 (ja) 信号抽出システム、信号抽出学習方法および信号抽出学習プログラム
KR20190032868A (ko) 음성인식 방법 및 그 장치
JP5994639B2 (ja) 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム
JP2006154314A (ja) 音源分離装置，音源分離プログラム及び音源分離方法
JP7024615B2 (ja) 音響信号分離装置、学習装置、それらの方法、およびプログラム
WO2012105385A1 (ja) 有音区間分類装置、有音区間分類方法、及び有音区間分類プログラム
JP2013167698A (ja) 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム
EP3557576B1 (en) Target sound emphasis device, noise estimation parameter learning device, method for emphasizing target sound, method for learning noise estimation parameter, and program
JP5705190B2 (ja) 音響信号強調装置、音響信号強調方法、およびプログラム
JP6973254B2 (ja) 信号分析装置、信号分析方法および信号分析プログラム
JP6285855B2 (ja) フィルタ係数算出装置、音声再生装置、フィルタ係数算出方法及びプログラム
WO2019208137A1 (ja) 音源分離装置、その方法、およびプログラム
WO2020121860A1 (ja) 音響信号処理装置、その方法、およびプログラム
JP6734237B2 (ja) 目的音源推定装置、目的音源推定方法及び目的音源推定プログラム
JP6930408B2 (ja) 推定装置、推定方法および推定プログラム
US20220130406A1 (en) Noise spatial covariance matrix estimation apparatus, noise spatial covariance matrix estimation method, and program
US20240127841A1 (en) Acoustic signal enhancement apparatus, method and program
JP5498452B2 (ja) 背景音抑圧装置、背景音抑圧方法、およびプログラム
Jiang et al. A Complex Neural Network Adaptive Beamforming for Multi-channel Speech Enhancement in Time Domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7024615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150