JP5446745B2 - Sound signal processing method and sound signal processing apparatus - Google Patents
Sound signal processing method and sound signal processing apparatus Download PDFInfo
- Publication number
- JP5446745B2 JP5446745B2 JP2009253963A JP2009253963A JP5446745B2 JP 5446745 B2 JP5446745 B2 JP 5446745B2 JP 2009253963 A JP2009253963 A JP 2009253963A JP 2009253963 A JP2009253963 A JP 2009253963A JP 5446745 B2 JP5446745 B2 JP 5446745B2
- Authority
- JP
- Japan
- Prior art keywords
- sound signal
- noise
- input sound
- phase difference
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Description
本発明は、音信号の雑音抑圧処理に関し、特に、雑音の大きさに応じた音信号の雑音抑圧処理に関する。 The present invention relates to noise suppression processing for sound signals, and more particularly to noise suppression processing for sound signals in accordance with the magnitude of noise.
ノイズ抑圧装置は、入力音信号における音声を含む区間と背景雑音のみを含む区間とを判別し(VAD判定し)、その背景雑音区間における背景雑音電力を検出し、その音区間においてその検出された背景雑音電力に対応する電力分を抑圧することができる。 The noise suppression device discriminates a section including speech in the input sound signal and a section including only background noise (VAD determination), detects background noise power in the background noise section, and detects the detected noise in the sound section. The power corresponding to the background noise power can be suppressed.
マイクロホン・アレイは、少なくとも2つのマイクロホンのアレイを用い、受音して変換された音信号を処理することによって、所望の目的音の音源方向に受音範囲を限定しまたは指向性を制御し、雑音抑圧または目的音強調を行うことができる。 The microphone array uses an array of at least two microphones to process the sound signal received and converted, thereby limiting the sound receiving range to the sound source direction of the desired target sound or controlling the directivity, Noise suppression or target sound enhancement can be performed.
既知の或る音声信号送出装置では、送話位置Mからの通話音声及び雑音源からの雑音が各経路を通じて各マイクロホンに入力され、さらに各遅延器に入力する。この場合、それら遅延器から出力される音声信号のそれぞれの遅延量が等しくなるようにし、加算器では、それらの遅延量のそれぞれの音声信号及び雑音を加え合わせて出力する。雑音は時間相関が小さいので、この白色雑音の振幅は3倍にならず、音声信号の振幅は3倍の値になり、音声の明瞭度が向上する。 In a certain known voice signal transmission device, the voice from the transmission position M and the noise from the noise source are input to each microphone through each path and further input to each delay unit. In this case, the delay amounts of the audio signals output from the delay devices are made equal, and the adder outputs the audio signals and noises of those delay amounts together. Since the noise has a small time correlation, the amplitude of the white noise is not tripled, and the amplitude of the voice signal is tripled, thereby improving the clarity of the voice.
既知の或る会議用拡聴器では、マイクロホン・アレイの両端のマイクロホンに入力する音波の到来時間差を利用して音源方向検出手段で音源方向を検出し、各可変遅延素子の遅延量を調整して各マイクロホンの出力が同相になるようにして指向性を高め、また、入力する音源が変わった時はその都度AGC手段により増幅手段の利得を自動調整する。それによって、背景雑音を抑制し、目的音声のみを適切な音量で歪みなく受聴できる。 In one known conference hearing aid, the sound source direction is detected by the sound source direction detection means using the difference in arrival time of the sound waves input to the microphones at both ends of the microphone array, and the delay amount of each variable delay element is adjusted. The directivity is improved by making the outputs of the microphones in phase, and the gain of the amplification means is automatically adjusted by the AGC means each time the input sound source changes. As a result, background noise is suppressed, and only the target voice can be heard at an appropriate volume without distortion.
既知の或る音源分離システムは、目的音到来方向に並べて配置された2個のマイクロフォンと、これらの受音信号を用いて目的音強調用の線形結合処理を行って目的音優勢の信号を生成する目的音優勢信号生成手段と、マイクロフォンの受音信号を用いて目的音抑制用の線形結合処理を行って目的音劣勢の信号を生成する目的音劣勢信号生成手段と、目的音優勢の信号のスペクトルと目的音劣勢の信号のスペクトルとを用いて目的音と妨害音とを分離する分離手段とを含む。それによって、目的音と任意の方向から到来する妨害音とを精度よく分離することができ、装置を小型化できる。 A known sound source separation system generates a target sound dominant signal by performing linear combination processing for target sound enhancement using two microphones arranged side by side in the target sound arrival direction and these received signals. A target sound dominant signal generating means, a target sound inferior signal generating means for generating a target sound inferior signal by performing a linear combination process for suppressing the target sound using the received sound signal of the microphone, and a target sound dominant signal Separation means for separating the target sound and the interference sound using the spectrum and the spectrum of the target sound inferior signal. Thereby, the target sound and the interference sound coming from an arbitrary direction can be separated with high accuracy, and the apparatus can be miniaturized.
上述のノイズ抑圧装置では、音声成分が雑音成分に埋もれてしまうほど雑音電力が相対的に大きいとき、VAD判定の精度が低くなる傾向がある。一方、上述のマイクロホン・アレイでは、個々のマイクロホン間に出荷時におけるおよび経年変化による特性の差が存在することがあり、例えばマイクロホン感度がばらつくので、マイクロホン間の位相差が理論通りに求まらないことがある。 In the above-described noise suppression device, when the noise power is relatively large such that the speech component is buried in the noise component, the accuracy of the VAD determination tends to be low. On the other hand, in the above-described microphone array, there may be a difference in characteristics between the individual microphones at the time of shipment and due to aging. For example, since the microphone sensitivity varies, the phase difference between the microphones can be obtained theoretically. There may not be.
発明者は、入力音信号の雑音の大きさに応じて、異なる抑圧法を適用すると、雑音が抑圧されたより高い音声品質を実現することができる、と認識した。 The inventor has recognized that, when different suppression methods are applied according to the noise level of the input sound signal, higher voice quality with suppressed noise can be realized.
本発明の実施形態の目的は、雑音が抑圧されたより高い音声品質を実現することである。 An object of embodiments of the present invention is to achieve higher voice quality with noise suppressed.
本発明の実施形態の一観点によれば、情報処理装置における音信号処理方法は、或る時間期間において第1と第2の入力音信号の中のその第1の入力音信号の音声区間と雑音区間を判定する工程と、その雑音区間におけるその第1の入力音信号の電力の大きさを判定する工程と、その雑音区間におけるその第1の入力音信号の電力の大きさが第1の閾値より大きいかどうかを判定する工程と、その雑音区間におけるその第1の入力音信号の電力の大きさがその第1の閾値より大きくないと判定された場合には、その雑音区間におけるその判定された電力の大きさに基づいて、第1の抑圧部により、その第1の入力音信号のその音声区間およびその雑音区間における雑音を抑圧する工程と、その雑音区間におけるその第1の入力音信号の電力の大きさがその第1の閾値より大きくないと判定された場合に、その音声区間において、その第1の入力音信号とその第2の入力音信号の間の位相差を求め、その第1の入力音信号とその第2の入力音信号の間の理論的位相差とその求めた位相差との間の誤差を求める工程と、その雑音区間におけるその第1の入力音信号の電力の大きさがその第1の閾値より大きいと判定された場合には、その第1の入力音信号とその第2の入力音信号の間の位相差をその求められた誤差に応じて補正し、第2の抑圧部により、その補正された位相差に応じてその第1の入力音信号の雑音を抑圧する工程と、を含んでいる。 According to one aspect of the embodiment of the present invention, a sound signal processing method in an information processing apparatus includes: a sound section of a first input sound signal in first and second input sound signals in a certain time period; Determining a noise interval; determining a power level of the first input sound signal in the noise interval; and determining a power level of the first input sound signal in the noise interval A step of determining whether or not the threshold value is greater than the threshold value; and if it is determined that the power of the first input sound signal in the noise interval is not greater than the first threshold value, the determination in the noise interval A step of suppressing noise in the speech section and the noise section of the first input sound signal by the first suppressor based on the magnitude of the power, and the first input sound in the noise section. Of signal power When it is determined that the pitch is not greater than the first threshold value, a phase difference between the first input sound signal and the second input sound signal is obtained in the sound section, and the first Obtaining an error between the theoretical phase difference between the input sound signal and the second input sound signal and the obtained phase difference, and the magnitude of the power of the first input sound signal in the noise interval Is determined to be larger than the first threshold, the phase difference between the first input sound signal and the second input sound signal is corrected according to the obtained error, and the second And a step of suppressing noise of the first input sound signal in accordance with the corrected phase difference.
本発明の実施形態によれば、音信号の雑音抑圧後の音声品質を高くすることができる。 According to the embodiment of the present invention, it is possible to improve the voice quality after noise suppression of the sound signal.
発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。 The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない。 The foregoing general description and the following detailed description are exemplary and explanatory only and are not intended to limit the invention.
本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様の構成要素には同じ参照番号が付されている。 Non-limiting embodiments of the present invention will be described with reference to the drawings. In the drawings, similar components are given the same reference numerals.
図1は、本発明の実施形態による音声情報装置10の概略的構成(configuration)の例を示している。
FIG. 1 shows an example of a schematic configuration of a
音声情報装置10は、少なくとも2つのマイクロホンMIC1、MIC2を含むマイクロホン・アレイ装置100、ディジタル信号プロセッサ(DSP)200、および利用アプリケーション部400を含んでいる。音声情報装置10は、例えば音声認識機能を有する車載装置またはカー・ナビゲーション装置、ハンズフリー電話機、または携帯電話機のような情報機器であってもよい。
The
マイクロホン・アレイ装置100は、受音部または音信号入力部としてのマイクロホンMIC1、MIC2、増幅器(AMP)122、124、低域通過フィルタ(LPF)142、144、およびアナログ−ディジタル変換器(A/D)162、164を具えている。ディジタル信号プロセッサ(DSP)200は、例えばRAM等を含むメモリ202に結合されている。
The microphone array apparatus 100 includes microphones MIC1, MIC2, amplifiers (AMP) 122, 124, low-pass filters (LPF) 142, 144, and analog-digital converters (A / A) as sound receiving units or sound signal input units. D) 162 and 164 are provided. A digital signal processor (DSP) 200 is coupled to a
マイクロホンMIC1、MIC2によって音波から変換されたアナログ入力信号ina1、ina2は、増幅器(AMP)122、124にそれぞれ供給されて、増幅器122、124によって増幅される。増幅器122、124の出力の増幅されたアナログ音信号INa1、INa2は、例えば遮断周波数fc(例えば、3.9kHz)の低域通過フィルタ(Low Pass Filter)142、144の入力にそれぞれ結合されて、低域通過濾波される。低域通過フィルタの代わりに、例えば通過周波数帯域0.4〜3.9kHzの帯域通過フィルタを用いてもよい。
Analog input signals ina1 and ina2 converted from sound waves by the microphones MIC1 and MIC2 are supplied to amplifiers (AMP) 122 and 124, respectively, and are amplified by the
低域通過フィルタ142、144の出力の濾波済みのアナログ信号INp1、INp2は、サンプリング周波数fs(例えば、8kHz)(fs>2fc)のアナログ−ディジタル変換器162、164の入力にそれぞれ結合されて、ディジタル入力信号に変換される。アナログ−ディジタル変換器162、164からの時間領域のディジタル入力信号IN1(t)、IN2(t)は、ディジタル信号プロセッサ(DSP)200の、音信号入力部としての入力端子it1およびit2にそれぞれ結合される。
The filtered analog signals INp1, INp2 at the outputs of the low-
図2は、ディジタル信号プロセッサ200の概略的構成(configuration)の例を示している。
FIG. 2 shows an example of a schematic configuration of the
ディジタル信号プロセッサ200は、入力端子it1およびit2にそれぞれ結合された入力バッファ・メモリ212および214、1マイクMIC1用のノイズ・サプレッサ(抑圧部)(NS)220、制御部またはモード切替部230、および2マイクMIC1およびMIC2用のノイズ・サプレッサ(抑圧部)(NS)260を含んでいる。入力バッファ・メモリ212および214は、マイクロホン・アレイ装置100(マイクロホンMIC1、MIC2)に結合されていて、そのディジタル入力信号IN1(t)、IN2(t)を受け取って、雑音抑圧処理のためにバッファリングする。入力バッファ・メモリ212および214は、メモリ202のメモリ領域であってもよい。
ノイズ・サプレッサ220は、ディジタル入力信号IN1(t)をバッファリングする入力バッファ・メモリ212に結合され、また、制御部230、ノイズ・サプレッサ260および出力側スイッチSW_Oに結合されている。ノイズ・サプレッサ220は、音声区間検出部(VAD)222、電力判定部または電力検出および推定部224、入力側スイッチSW_I1、および雑音電力を抑圧する抑圧部226を含んでいる。音声区間検出部(VAD)222は、既知のVAD(Voice Activity Detection、音声活動検出)法により、例えば20msの時間期間について入力音信号における音声区間かまたは非音声区間(雑音区間)かを識別する。
The
ノイズ・サプレッサ260は、ディジタル入力信号IN1(t)およびIN2(t)をそれぞれバッファリングする入力バッファ・メモリ212および214に結合され、制御部230の制御信号CTL、および出力側スイッチSW_Oに結合されている。ノイズ・サプレッサ260は、位相差決定部262、誤差位相差決定部264、入力側スイッチSW_I2、位相差補正部266、方向判定部268、および雑音角度方向の雑音電力を抑圧する抑圧部270を含んでいる。
The noise suppressor 260 is coupled to the input buffer memories 212 and 214 for buffering the digital input signals IN1 (t) and IN2 (t), respectively, and is coupled to the control signal CTL of the
ノイズ・サプレッサ220の電力判定部224は、音声区間検出部222からの非音声区間におけるディジタル入力信号IN1(t)の雑音の平均電力の大きさを検出し、その検出した雑音平均電力の大きさを制御部230に供給する。電力の大きさを表すものとして、電力に限定されることなく、平均振幅を用いてもよい。
The
制御部230は、音声区間および非音声区間の各時間区間毎に、また非音声区間における雑音(N)電力の大きさに応じて、雑音電力抑圧モードと雑音方向抑圧モードの間の切替えを行うための制御信号CTLを生成する。制御部230は、制御信号CTLを、電力判定部(または電力検出および推定部)224、位相差決定部262、誤差位相差決定部264、入力側のスイッチSW_I1、SW_I2、および出力側のスイッチSW_Oに供給する。制御部230は、さらに、制御信号CTLを、抑圧部226および270、位相差補正部266、および方向判定部268に供給してもよい。
The
ノイズ・サプレッサ220において、音声区間検出部(VAD)222は、時間領域のディジタル入力信号IN1(t)を、例えばフーリエ変換などによって周波数領域のディジタル入力信号または複素スペクトルIN1(f)に変換する。音声区間検出部222は、その電力分布の特徴に基づいて、音声区間と非音声区間(雑音区間、無音区間)とを識別し、音声区間と非音声区間の識別情報を、電力判定部224、制御部230、位相差決定部262および誤差位相差決定部264に供給する。
In the
図3は、音声区間のパワースペクトルと雑音区間のパワースペクトルの例を示している。音声区間のパワースペクトルは、分布が不均一であり、相対的に規則性が高い(エントロピが小さい)。雑音区間のパワースペクトルは、周波数全体に対して分布が概ね均一であり、相対的に規則性が低い(エントロピが大きい)。このような分布差を利用して音声区間と非音声区間を識別する。さらに、例えば音声特有のピッチ(ハーモニクス)特性やフォルマンの分布特性を求めて識別してもよい。 FIG. 3 shows an example of the power spectrum of the voice section and the power spectrum of the noise section. The power spectrum of the speech section has a non-uniform distribution and a relatively high regularity (small entropy). The power spectrum of the noise section has a substantially uniform distribution over the entire frequency, and is relatively low in regularity (high entropy). A voice interval and a non-voice interval are identified using such a distribution difference. Further, for example, a pitch (harmonic) characteristic peculiar to voice or a formant distribution characteristic may be obtained and identified.
電力判定部224は、雑音電力抑圧モードにおいて、通過周波数帯域に対するその検出した雑音電力の分布に基づいて雑音電力の分布を推定し、推定の雑音電力の分布を抑圧部226に供給する。図3における雑音区間のパワースペクトルを周波数に対する雑音電力成分の分布と推定してもよい。抑圧部226は、雑音電力抑圧モードにおいて、入力信号IN1(t)からその推定の雑音電力成分を減算し、それによって雑音成分を抑圧し、その雑音を除去した音声信号INns(t)をスイッチSW_Oに供給する。
The
図4は、目的音源SSに対するそれぞれ2つのマイクロホンMIC1およびMIC2の空間的な配置の例を示している。
図5は、図4におけるマイクロホンMIC1およびMIC2の抑圧角度範囲+α〜π〜(2π−α)の例を示している。
FIG. 4 shows an example of a spatial arrangement of two microphones MIC1 and MIC2 with respect to the target sound source SS.
FIG. 5 shows an example of suppression angle ranges + α to π to (2π−α) of the microphones MIC1 and MIC2 in FIG.
図4において、一般的には、複数のマイクロホンMIC1、MIC2、...のアレイが、直線上に互いに既知の距離dだけ離して配置される。ここでは、典型例として、隣接する2つのマイクロホンMIC1およびMIC2が直線上に互いに距離dだけ離して配置されているものとする。隣接マイクロホン間の距離dは、サンプリング定理を満たすものであればよい。 In FIG. 4, generally, a plurality of microphones MIC1, MIC2,. . . Are arranged at a known distance d from each other on a straight line. Here, as a typical example, it is assumed that two adjacent microphones MIC1 and MIC2 are arranged on a straight line at a distance d from each other. The distance d between adjacent microphones only needs to satisfy the sampling theorem.
図4において、目的音源SSは、マイクロホンMIC1とMIC2を結ぶ直線上にあり、目的音源はマイクロホンMIC1の左側正面にあり、目的音源SSの方向をマイクロホン・アレイMIC1、MIC2の受音方向または目的方向とする。典型的には、受音目的の音源SSは話者の口であり、受音方向は話者の口の方向である。受音角度方向(0)付近に受音角度範囲(−α〜0〜+α)が設けられる。受音角度範囲(−α〜0〜+α)以外の範囲(+α〜π〜(2π−α))を雑音の抑圧角度範囲としてもよい。 In FIG. 4, the target sound source SS is on a straight line connecting the microphones MIC1 and MIC2, the target sound source is on the left front surface of the microphone MIC1, and the direction of the target sound source SS is the sound receiving direction or the target direction of the microphone arrays MIC1 and MIC2. And Typically, the sound source SS for receiving sound is the speaker's mouth, and the sound receiving direction is the direction of the speaker's mouth. A sound reception angle range (−α to 0 to + α) is provided in the vicinity of the sound reception angle direction (0). A range (+ α to π to (2π−α)) other than the sound receiving angle range (−α to 0 to + α) may be set as the noise suppression angle range.
マイクロホンMIC1とMIC2の間の距離dは、サンプリング定理を満たすように、距離d<音速c/サンプリング周波数fsの条件を満たすように設定されることが好ましい。マイクロホン・アレイMIC1、MIC2によって受音され処理される入力音信号は、マイクロホン・アレイMIC1、MIC2を通る直線に対する音波の入射角度θ(=−α〜0〜+α)に依存し、その直線に垂直な平面上の半径方向の入射方向(0〜2π)には依存しない。 The distance d between the microphones MIC1 and MIC2 is preferably set so as to satisfy the condition of distance d <sound speed c / sampling frequency fs so as to satisfy the sampling theorem. The input sound signal received and processed by the microphone arrays MIC1 and MIC2 depends on the incident angle θ (= −α to 0 + α) of the sound wave with respect to the straight line passing through the microphone arrays MIC1 and MIC2, and is perpendicular to the straight line. It does not depend on the incident direction (0 to 2π) in the radial direction on a flat surface.
目的音源SSの音は、右側のマイクロホンMIC2において、その左側のマイクロホンMIC1よりも遅延時間τ=d/cだけ遅延して検出される。左側正面の角度θ方向の音源からの音声は、右側のマイクロホンMIC2において、その左側のマイクロホンMIC1よりも遅延時間τ=d・sin(π/2−θ)/cだけ遅延して検出される(−π/2≦θ≦+π/2)。一方、抑圧角度範囲の雑音Nは、左側のマイクロホンMIC1において、その右側のマイクロホンMIC2よりも遅延時間τ=d/cだけ遅延して検出される。右側背面の角度θ方向の音源からの雑音は、左側のマイクロホンMIC1において、その右側のマイクロホンMIC2よりも遅延時間τ=d・sin(θ−π/2)/cだけ遅延して検出される(+π/2≦θ≦+π)。 The sound of the target sound source SS is detected by the right microphone MIC2 with a delay time τ = d / c from the left microphone MIC1. The sound from the sound source in the direction of the angle θ on the left front is detected by the right microphone MIC2 with a delay time τ = d · sin (π / 2−θ) / c from the left microphone MIC1 ( −π / 2 ≦ θ ≦ + π / 2). On the other hand, the noise N in the suppression angle range is detected by the left microphone MIC1 with a delay time τ = d / c from the right microphone MIC2. Noise from the sound source in the angle θ direction on the right rear surface is detected by the left microphone MIC1 with a delay time τ = d · sin (θ−π / 2) / c from the right microphone MIC2. + Π / 2 ≦ θ ≦ + π).
ノイズ・サプレッサ260において、位相差決定部262は、時間領域のディジタル入力信号IN1(t)とIN2(t)の間の位相差PDを求める。位相差PDは、周波数f毎に2つのディジタル入力信号IN1(t)とIN2(t)の時間的な電力または振幅の変化の時間差に基づいて求めてもよい。代替形態として、位相差PDは、周波数f毎に周波数領域における2つのディジタル入力信号IN1(t)とIN2(t)の位相に基づいて求めてもよい。
In the noise suppressor 260, the phase
位相差PDを求めるために、時間領域のディジタル入力信号IN1(t)、IN2(t)を、例えばフーリエ変換などによって周波数領域のディジタル入力信号または複素スペクトルIN1(f)、IN2(f)に変換してもよい。 In order to obtain the phase difference PD, the time domain digital input signals IN1 (t) and IN2 (t) are converted into frequency domain digital input signals or complex spectra IN1 (f) and IN2 (f) by, for example, Fourier transform. May be.
周波数領域で入力信号を処理するために、入力バッファ・メモリ212および214中の時間領域のディジタル入力信号IN1(t)、IN2(t)は、ディジタル信号プロセッサ200の高速フーリエ変換器(FFT)にそれぞれ供給される。高速フーリエ変換器は、既知の形態で、ディジタル入力信号IN1(t)、IN2(t)の各信号区間に、オーバラップ窓関数を乗算してその積をフーリエ変換または直交変換して、周波数領域の複素スペクトルIN1(f)、IN2(f)を生成する。ここで、IN1(f)=A1ej(2πft+φ1(f))、IN2(f)=A2ej(2πft+φ2(f))、fは周波数、A1およびA2は振幅、jは単位虚数、φ1(f)およびφ2(f)は周波数fの関数である遅延位相である。オーバラップ窓関数として、例えば、ハミング窓関数、ハニング窓関数、ブラックマン窓関数、3シグマガウス窓関数、または三角窓関数を用いることができる。
In order to process the input signal in the frequency domain, the time domain digital input signals IN1 (t), IN2 (t) in the input buffer memories 212 and 214 are fed to the fast Fourier transform (FFT) of the
位相差決定部262は、距離dだけ離れた隣接の2つのマイクロホンMIC1とMIC2の間での周波数f(0<f<fs/2)毎の音源方向を示す位相スペクトル成分の位相差PD(f)(ラジアン、rad)を次の式で求める。
PD(f)=tan−1(IN1(f)/IN2(f))
=tan−1(J{IN1(f)/IN2(f)}/R{IN1(f)/IN2(f)})
ここで、特定の周波数fの音声または雑音の音源は1つの音源しかないものと近似する。J{x}は複素数xの虚数成分を表し、R{x}は複素数xの実数成分を表す。
The phase
PD (f) = tan −1 (IN1 (f) / IN2 (f))
= Tan −1 (J {IN1 (f) / IN2 (f)} / R {IN1 (f) / IN2 (f)})
Here, a sound source having a specific frequency f or a sound source is approximated as having only one sound source. J {x} represents the imaginary component of the complex number x, and R {x} represents the real component of the complex number x.
この位相差PD(f)をディジタル入力信号IN1(t)、IN2(t)の遅延位相(φ1(f)、φ2(f))で表現すると、次のようになる。
PD(f)=tan−1(J{(A1ej(2πft+φ1(f))/A2ej(2πft+φ2(f))}/R{(A1ej(2πft+φ1(f))/A2ej(2πft+φ2(f))})
=tan−1(J{(A1/A2)ej(φ1(f)−φ2(f))}/R{(A1/A2)ej(φ1(f)−φ2(f))})
=tan−1(J{ej(φ1(f)−φ2(f))}/R{ej(φ1(f)−φ2(f))})
=tan−1(sin(φ1(f)−φ2(f))/cos(φ1(f)−φ2(f)))
=tan−1(tan(φ1(f)−φ2(f))
=φ1(f)−φ2(f)
This phase difference PD (f) is expressed as follows by the delay phases (φ1 (f), φ2 (f)) of the digital input signals IN1 (t) and IN2 (t).
PD (f) = tan −1 (J {(A 1 e j (2πft + φ1 (f)) / A 2 e j (2πft + φ2 (f)) } / R {(A 1 e j (2πft + φ1 (f)) / A 2 e j (2πft + φ2 (f)) })
= Tan −1 (J {(A 1 / A 2 ) e j (φ1 (f) −φ2 (f)) } / R {(A 1 / A 2 ) e j (φ1 (f) −φ2 (f) ) })
= Tan −1 (J {e j (φ1 (f) −φ2 (f)) } / R {e j (φ1 (f) −φ2 (f)) })
= Tan −1 (sin (φ1 (f) −φ2 (f)) / cos (φ1 (f) −φ2 (f)))
= Tan −1 (tan (φ1 (f) −φ2 (f))
= Φ1 (f) −φ2 (f)
図6および7は、音源からの受音の角度方向θに対する或る周波数fに関する入力信号の位相差PDおよび誤差位相差ΔPDの例を示している。図6、7において、理論上の位相差は実線で例示され、実測した位相差は破線で例示されている。 6 and 7 show examples of the phase difference PD and the error phase difference ΔPD of the input signal related to a certain frequency f with respect to the angular direction θ of the sound received from the sound source. 6 and 7, the theoretical phase difference is exemplified by a solid line, and the actually measured phase difference is exemplified by a broken line.
図6および7において、音源の角度方向θ=0〜+π/2および+3π/2〜2πにおいて、位相差PDは正の値を有し、即ち進み位相を示す。音源の角度方向θ=+π/2〜+3π/2において、位相差PDは負の値を有し、即ち遅れ位相を示す。音源の角度方向θ=+π/2および+3π/2において、位相差PDは0を有し、即ち同相を示す。 6 and 7, in the angular directions θ = 0 to + π / 2 and + 3π / 2 to 2π of the sound source, the phase difference PD has a positive value, that is, indicates a leading phase. In the angle direction θ = + π / 2 to + 3π / 2 of the sound source, the phase difference PD has a negative value, that is, indicates a delayed phase. In the angular directions θ = + π / 2 and + 3π / 2 of the sound source, the phase difference PD has 0, that is, shows the same phase.
図6において、実測の入力信号IN1(t)とIN2(t)の位相差PDは、マイクロホンMIC1、MIC2の感度のばらつきのせいで、抑圧角度範囲の角度境界αに対応する望ましい位相差の閾値Dthよりも低い位相差を有することがある。この場合、その閾値Dthより低い位相差PDを有する入力信号IN1(t)は望ましくなく全てが抑圧される。 In FIG. 6, the phase difference PD between the actually measured input signals IN1 (t) and IN2 (t) is a desirable threshold value of the phase difference corresponding to the angle boundary α of the suppression angle range due to variations in sensitivity of the microphones MIC1 and MIC2. It may have a phase difference lower than Dth. In this case, the input signal IN1 (t) having the phase difference PD lower than the threshold value Dth is not desirable and is all suppressed.
図7において、実測の入力信号IN1(t)とIN2(t)の位相差PDは、マイクロホンMIC1、MIC2の感度のばらつきのせいで、抑圧角度範囲の角度境界αに対応する位相差の閾値Dthよりも高い位相差を有することがある。この場合、抑圧角度範囲が望ましくなく狭くなり、即ちその閾値Dthより高い位相差PDを有する入力信号IN1(t)は抑圧角度範囲が狭く、雑音抑圧が不充分になる。 In FIG. 7, the phase difference PD between the actually measured input signals IN1 (t) and IN2 (t) is the phase difference threshold Dth corresponding to the angle boundary α of the suppression angle range due to variations in sensitivity of the microphones MIC1 and MIC2. May have a higher phase difference. In this case, the suppression angle range becomes undesirably narrow, that is, the input signal IN1 (t) having a phase difference PD higher than the threshold value Dth has a narrow suppression angle range, and noise suppression becomes insufficient.
一方、音声区間検出部222によって判定された音声区間では、目的音源SSの方向から受音されると期待され、従って位相差PDは理論的な最大の正の値を有すると考えられる。従って、この実測の位相差PDと理論的な位相差PDの間の差が誤差位相差ΔPDであると考えられる。
On the other hand, in the speech section determined by the speech
位相差決定部262は、隣接する2つの入力信号IN1(t)、IN2(t)の間の周波数f毎の位相差PDまたは最大電力の周波数の位相差PD若しくは上限周波数(例えば、3.8kHz)での位相差PDの値を、誤差位相差決定部264および位相差補正部266に供給する。
The phase
誤差位相差決定部264は、雑音電力抑圧モードにおいて、音声区間検出部222によって判定された音声区間において、理論的な位相差PDと位相差決定部262からの実測の位相差PDの間の差を、誤差位相差ΔPDとして求める。誤差位相差決定部264は、雑音電力抑圧モードにおいてその求めた誤差位相差ΔPDを保持して、その後の雑音方向抑圧モードにおいて位相差補正部266に供給する。位相差補正部266は、雑音方向抑圧モードにおいて、誤差位相差決定部264からの誤差位相差ΔPDだけ、位相差決定部262からの位相差PDを補正または補償して、補正された位相差PDcを生成する。
In the noise power suppression mode, the error phase
方向判定部268は、雑音方向抑圧モードにおいて、閾値Dthに基づいてその補正された位相差PDcを判定し、抑圧角度範囲の角度境界αに対応する望ましい閾値Dth以下の位相差PDcを有する入力信号の時間区間を雑音区間と判定する。また、方向判定部268は、抑圧角度範囲の角度境界αに対応する望ましい閾値Dthより大きい位相差PDcを有する入力信号の時間区間を音声区間と判定する。方向判定部268は、雑音方向抑圧モードにおいて、音声区間または雑音区間の識別情報を抑圧部270に供給する。抑圧部270は、雑音方向抑圧モードにおいて、雑音区間における入力信号IN1(t)またはIN1(f)を減衰させることによって抑圧する。抑圧部270は、雑音方向抑圧モードにおいて、音声区間における入力信号IN1(t)またはIN1(f)を通過させる。抑圧部270は、雑音方向抑圧モードにおいて、その雑音が除去された音声信号INns(t)をスイッチSW_O(T1)に供給する。
The
ノイズ・サプレッサ220および260は、これらの雑音抑圧のための処理を周波数領域で周波数毎に行ってもよい。この場合、ノイズ・サプレッサ220および260の抑圧部226および270は、さらに、処理済みの周波数領域のディジタル入力信号INns(f)を、例えば逆フーリエ変換などによって時間領域のディジタル音信号INns(t)に逆変換して、雑音抑圧済みのディジタル音信号INns(t)をスイッチSW_Oに供給する。
The noise suppressors 220 and 260 may perform the processing for noise suppression for each frequency in the frequency domain. In this case, the
ディジタル音信号INns(t)の出力は、例えば、音声認識または携帯電話機の通話に用いられる。ディジタル音信号INns(t)は、後続の利用アプリケーション400に供給され、そこで、例えば、ディジタル−アナログ変換器404でディジタル−アナログ変換され低域通過フィルタ406で低域通過濾波されてアナログ信号が生成され、またはメモリ414に格納されて音声認識部416で音声認識に使用される。音声認識部416は、ハードウェアとして実装されたプロセッサであっても、またはソフトウェアとして実装された例えばROMおよびRAMを含むメモリ414に格納されたプログラムに従って動作するプロセッサであってもよい。
The output of the digital sound signal INns (t) is used, for example, for voice recognition or a mobile phone call. The digital sound signal INns (t) is supplied to a subsequent application 400 where, for example, it is digital-analog converted by a digital-
ディジタル信号プロセッサ200は、ハードウェアとして実装された信号処理回路であっても、またはソフトウェアとして実装された例えばROMおよびRAMを含むメモリ202に格納されたプログラムに従って動作する信号処理回路であってもよい。
The
図8A〜8Cは、2つのノイズ・サプレッサ220および260および制御部230によって実行される、雑音抑圧のためのフローチャートの例を示している。
8A to 8C show examples of flowcharts for noise suppression executed by the two
図8Aを参照すると、ステップ802において、音声区間検出部222は、入力バッファ・メモリ212から、マイクロホンMIC1から取り出された現在の時間区間のディジタル入力信号IN1(t)を受け取る。
Referring to FIG. 8A, in step 802, the
ステップ804において、音声区間検出部222は、その時間区間のディジタル入力信号IN1(t)についてVAD(Voice Activity Detection、音声活動検出)法により音声区間か非音声区間または雑音区間かを判定する。音声区間検出部222は、ディジタル入力信号IN1(t)のその時間区間について音声区間および/または非音声区間(雑音区間)の識別情報を制御部230および電力判定部224に供給する。
In step 804, the
ステップ806において、電力判定部224は、入力バッファ・メモリ212からディジタル入力信号IN1(t)を取りだして、その判定された雑音区間におけるディジタル入力信号IN1(t)の雑音の電力(または振幅)の大きさを検出する。電力判定部224は、その検出した雑音電力の大きさを制御部230に供給する。
In step 806, the
ステップ808において、制御部230は、雑音電力の大きさが、雑音抑制のための閾値Pthより大きいかどうかを判定する。雑音電力の大きさとして、例えば電力または振幅の平均値を用いてもよい。閾値Pthは、望ましい音声電力の大きさより充分小さい値、または予期される一般的な背景雑音より高い値に設定してもよい。雑音電力の大きさが閾値Pthより大きいと判定された場合は、手順は図8Cのステップ832に進む。雑音電力の大きさが閾値Pth以下であると判定された場合は、手順は図8Bのステップ812に進む。
In step 808, the
雑音区間における入力信号IN1(t)の雑音電力の大きさが閾値Pthより大きくない場合には、雑音区間における入力信号を抑圧し、音声電力成分を含む入力信号電力から雑音電力成分を減算することによって、入力信号の音声品質を向上させることができる。雑音区間における入力信号IN1(t)の雑音電力の大きさが、閾値Pthより大きい、または音声成分より充分小さくない場合には、音声と雑音を電力の大きさで区別することは難しい。この場合、音声電力成分を含む入力信号電力から雑音電力成分を減算すると、音声電力成分が小さ過ぎて、入力信号の音声品質が低下する可能性がある。従って、2つの入力信号の間の位相差または音源方向に基づいて雑音を抑制するとよい。 When the magnitude of the noise power of the input signal IN1 (t) in the noise section is not larger than the threshold value Pth, the input signal in the noise section is suppressed and the noise power component is subtracted from the input signal power including the voice power component. Thus, the voice quality of the input signal can be improved. When the magnitude of the noise power of the input signal IN1 (t) in the noise section is larger than the threshold value Pth or not sufficiently smaller than the voice component, it is difficult to distinguish voice and noise by the magnitude of power. In this case, if the noise power component is subtracted from the input signal power including the audio power component, the audio power component is too small, and the audio quality of the input signal may be degraded. Therefore, noise may be suppressed based on the phase difference between the two input signals or the sound source direction.
図8Bを参照すると、ステップ812において、制御部230は、少なくとも現在の雑音区間、または現在の雑音区間および後続の音声区間を含む時間期間において、ノイズ・サプレッサ220を雑音電力抑圧モードに設定する。そのために、制御部230は、ノイズ・サプレッサ220のスイッチSW_I1をオン状態(T1)に設定し、ノイズ・サプレッサ260のスイッチSW_I2をオフ状態(T1)に設定する。
Referring to FIG. 8B, in step 812, the
ステップ814において、電力判定部224は、その判定された雑音区間における検出した雑音の電力に基づいて、雑音電力を推定し、その推定の雑音電力を抑圧部226に供給する。その推定の雑音電力は、例えば、その検出した雑音の電力の平均値であってもよい。
In
ステップ816において、抑圧部226は、ディジタル入力信号IN1(t)の電力をゼロ(0)に減衰させることによってその雑音区間における雑音電力(成分)を抑圧する。代替形態として、入力信号IN1(t)の電力を或る割合で、例えば1/10に減衰させてもよい。それによって、雑音電力中に音声が埋もれていた場合に音声を消去してしまう危険性を減らすことができる。また、抑圧部226は、ディジタル入力信号IN1(t)から各周波数について推定の雑音電力(成分)を減算することによってその音声区間における雑音成分を抑圧する。
In step 816, the
ステップ818において、位相差決定部262は、音声区間検出部222から音声区間(V)と非音声区間(N)の識別情報を受け取って、音声区間(V)が検出されたかどうかを判定する。音声区間が検出されたと判定された場合は、手順はステップ820に進む。音声区間が検出されなかったと判定された場合は、手順はステップ824に進む。
In
ステップ820において、位相差決定部262は、入力バッファ・メモリ212および214からその音声区間のディジタル入力信号IN1(t)およびIN2(t)を取り出して、音声区間における音声ディジタル入力信号IN1(t)およびIN2(t)の間の位相差を求める。音声区間では、方向θ=0における目的音源SSからの音がマイクロホンMIC1、MIC2によって拾われると考えられる。
In step 820, the phase
ステップ822において、誤差位相差決定部264は、音声ディジタル入力信号IN1(t)およびIN2(t)の間の決定された位相差PDと、目的音源方向からの音声についてそれに対応する理論的位相差PDとを比較してその間の誤差(差)を求める。例えば、誤差位相差ΔPDは、その決定された位相差PDから理論的位相差PDを減算して求めてもよい。誤差位相差決定部264は、その決定された誤差を誤差位相差ΔPDとして位相差補正部266に供給する。この誤差位相差ΔPDは、後で、ステップ836において用いることができる。
In step 822, the error phase
ステップ824において、制御部230は、出力側スイッチSW_Oをノイズ・サブレッサ220の抑圧部226の出力に接続して、抑圧部226からの(ステップ816における)雑音抑圧された出力音声信号INns(t)を出力する。
In step 824, the
ステップ852において、音声区間検出部222は、入力バッファ・メモリ212に現在処理すべき時間区間のディジタル入力信号IN1(t)があるかどうかを判定する。そのような時間区間のディジタル入力信号IN1(t)があると判定された場合は、手順はステップ814に戻る。そのような時間区間のディジタル入力信号がないと判定された場合は、手順は図8A〜8Cのルーチンを出る。新しい時間区間のディジタル入力信号に対して図8A〜8Cのフローチャートが再び実行される。
In step 852, the
図8Bのステップ814〜824および852は、次に図8Aのステップ808の判定が行われてその後で図8Cのステップ832が実行されるまで繰り返してもよい。 Steps 814-824 and 852 of FIG. 8B may be repeated until the determination of step 808 of FIG. 8A is then made and thereafter step 832 of FIG. 8C is executed.
このようにして、雑音区間におけるディジタル入力信号の雑音電力の大きさが閾値Pthより大きくない場合には、ノイズ・サプレッサ220によって雑音電力に基づいて雑音が抑制される。
Thus, when the magnitude of the noise power of the digital input signal in the noise interval is not larger than the threshold value Pth, the noise is suppressed by the
図8Cを参照すると、ステップ832において、制御部230は、少なくとも現在の雑音区間、または現在の雑音区間および後続の音声区間を含む時間期間において、ノイズ・サプレッサ260を雑音方向抑圧モードに設定する。そのために、制御部230は、ノイズ・サプレッサ260のスイッチSW_I2をオン状態(T2)に設定し、ノイズ・サプレッサ220のスイッチSW_I1をオフ状態(T2)に設定する。
Referring to FIG. 8C, in step 832, the
ステップ834において、位相差決定部262は、入力バッファ・メモリ212および214からディジタル入力信号IN1(t)およびIN2(t)を取り出して、雑音区間または音声区間の時間区間における音声ディジタル入力信号IN1(t)およびIN2(t)の間の位相差PDを求める。
In
ステップ836において、位相誤差補正部264は、位相差決定部262によって求めた位相差PDを、ステップ822において誤差位相差決定部264から受け取った誤差位相差ΔPDを用いて補正または補償して、補正された位相差PDcを生成する(図6、7)。そのために、その求めた位相差PDから、誤差位相差ΔPDまたは誤差位相差ΔPDの或る割合α(例えば、α=1または0.8)を減算してもよい(PD−ΔPD×α)。それによって位相差の誤差補正の可能性ある誤差を小さくすることができる。
In step 836, the phase
ステップ838において、方向判定部268は、その補正された位相差PDcに基づいてその時間区間における音源の方向が空間的に受音角度範囲(−α〜0〜+α)かどうかを判定し、または補正された位相差PDcが閾値Dthを超えるかどうかを判定する。この場合、各時間区間は、1つの音声区間または雑音区間であっても、それより短い時間区間であってもよい。方向判定部268は、位相差PDcが閾値Dthを超える場合には、音源の方向が空間的に受音角度範囲(−α〜0〜+α)であると判定する。方向判定部268は、位相差PDcが閾値Dthを超えない場合には、音源の方向が空間的に抑圧角度範囲(+α〜π〜(2π−α))であると判定する。
In step 838, the
ステップ840〜844において、抑圧部270は、音源の方向が受音角度範囲(−α〜0〜+α)か、または受音角度範囲(−α〜0〜+α)の位相差を有するディジタル入力信号IN1(t)を通過させる。また、抑圧部270は、音源の方向が抑圧角度範囲(+α〜π〜(2π−α))であるか、または位相差PDcが抑圧角度範囲(+α〜π〜(2π−α))の位相差を有するとき、ディジタル入力信号IN1(t)の電力をゼロ(0)に減衰させる。このようにして、音源の方向が抑圧角度範囲(+α〜π〜(2π−α))にある時間区間におけるディジタル入力信号IN1(t)の電力を抑圧する。
In
ステップ840において、抑圧部270は、判定された音源の方向が、受音角度範囲(−α〜0〜+α)かどうか、または位相差PDcが抑圧角度範囲(+α〜π〜(2π−α))の位相差を有するかどうかを判定する。それが受音角度範囲(−α〜0〜+α)であると判定された場合は、手順はステップ842に進む。それが受音角度範囲(−α〜0〜+α)でないと判定された場合は、手順はステップ844に進む。
In
ステップ842において、抑圧部270は、ディジタル入力信号IN1(t)を通過させる。その後、手順はステップ850に進む。
In step 842, the
ステップ844において、抑圧部270は、ディジタル入力信号IN1(t)をゼロ(0)に減衰させて抑圧する。代替形態として、入力信号IN1(t)の電力を或る割合で、例えば1/10に減衰させてもよい。それによって、雑音電力中に音声が埋もれていた場合に音声を消去してしまう危険性を減らすことができる。その後、手順はステップ850に進む。
In
ステップ850において、制御部230は、出力側スイッチSW_Oをノイズ・サブレッサ260の抑圧部270に接続して、抑圧部270からの雑音抑圧された出力音声信号INns(t)を出力する。その後、手順はステップ842に進む。
In
ステップ852は、図8Bのものと同様である。現在処理すべき時間区間のディジタル入力信号IN1(t)があると判定された場合は、手順は図8Aのステップ834に戻る。新しい時間区間のディジタル入力信号に対して図8A〜8Cのフローチャートが再び実行される。 Step 852 is similar to that of FIG. 8B. If it is determined that there is a digital input signal IN1 (t) for the current time interval to be processed, the procedure returns to step 834 in FIG. 8A. The flowcharts of FIGS. 8A-8C are executed again for the digital input signal in the new time interval.
図8Cのステップ834〜850および852は、次に図8Aのステップ808の判定が行われてその後で図8Bのステップ812が実行されるまで繰り返してもよい。 Steps 834-850 and 852 of FIG. 8C may be repeated until the determination of step 808 of FIG. 8A is then made and thereafter step 812 of FIG. 8B is executed.
このように、雑音区間におけるディジタル入力信号の雑音電力の大きさが閾値Pthより大きい場合には、ノイズ・サプレッサ260によって2つのディジタル入力信号の間の位相差または音源方向に基づいて雑音を抑制する。 Thus, when the magnitude of the noise power of the digital input signal in the noise interval is larger than the threshold value Pth, the noise is suppressed by the noise suppressor 260 based on the phase difference between the two digital input signals or the sound source direction. .
このようにして、抑圧部226または抑圧部270からの雑音抑圧された出力音声信号INns(t)が、出力され、さらに利用アプリケーション部400に供給される。
In this way, the noise-suppressed output audio signal INns (t) from the
ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈できる。また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる。 All examples and conditional expressions given here are intended to help the reader understand the inventions and concepts that have contributed to the promotion of technology, such examples and Interpretation is not limited to conditions. Also, the organization of such examples in the specification is not related to showing the superiority or inferiority of the present invention. While embodiments of the present invention have been described in detail, various changes, substitutions and variations can be made thereto without departing from the spirit and scope of the present invention.
200 ディジタル信号プロセッサ
220 1マイク用のノイズ・サプレッサ
222 音声区間検出部(VAD)
224 電力判定部
226 抑圧部
230 制御部
260 2マイク用のノイズ・サプレッサ
262 位相差決定部
264 誤差位相差決定部
266 位相差補正部
268 方向判定部
270 抑圧部
SW_I1、SW_I2 入力側のスイッチ
SW_O 出力側のスイッチ
200
224
Claims (4)
或る時間期間において第1と第2の入力音信号の中の前記第1の入力音信号の音声区間と雑音区間を判定する工程と、
前記雑音区間における前記第1の入力音信号の電力の大きさを判定する工程と、
前記雑音区間における前記第1の入力音信号の電力の大きさが第1の閾値より大きいかどうかを判定する工程と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きくないと判定された場合には、前記雑音区間における前記判定された電力の大きさに基づいて、第1の抑圧部により、前記第1の入力音信号の前記音声区間および前記雑音区間における雑音を抑圧する工程と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きくないと判定された場合に、前記音声区間において、前記第1の入力音信号と前記第2の入力音信号の間の位相差を求め、前記第1の入力音信号と前記第2の入力音信号の間の理論的位相差と前記求めた位相差との間の誤差を求める工程と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きいと判定された場合には、前記第1の入力音信号と前記第2の入力音信号の間の位相差を前記求められた誤差に応じて補正し、第2の抑圧部により、前記補正された位相差に応じて前記第1の入力音信号の雑音を抑圧する工程と、
を含む音信号処理方法。 A sound signal processing method in an information processing apparatus,
Determining a speech section and a noise section of the first input sound signal in the first and second input sound signals in a certain time period;
Determining the magnitude of power of the first input sound signal in the noise interval;
Determining whether the magnitude of the power of the first input sound signal in the noise interval is greater than a first threshold;
When it is determined that the power level of the first input sound signal in the noise section is not larger than the first threshold, based on the determined power level in the noise section, A step of suppressing noise in the voice section and the noise section of the first input sound signal by one suppression unit;
When it is determined that the power level of the first input sound signal in the noise section is not larger than the first threshold value, the first input sound signal and the second input in the voice section Obtaining a phase difference between the sound signals and obtaining an error between the theoretical phase difference between the first input sound signal and the second input sound signal and the obtained phase difference;
When it is determined that the power level of the first input sound signal in the noise section is larger than the first threshold value, the first input sound signal and the second input sound signal are between the first input sound signal and the second input sound signal. Correcting a phase difference according to the obtained error, and suppressing noise of the first input sound signal according to the corrected phase difference by a second suppression unit;
A sound signal processing method including:
前記第1の入力音信号と前記第2の入力音信号の間の前記位相差が第2の閾値より大きいかどうかを判定し、
前記の位相差が前記第2の閾値より大きいと判定された場合に、前記第1の入力音信号を出力部に供給し、前記位相差が前記第2の閾値より大きくないと判定された場合には、前記第2の抑圧部により、前記第1の入力音信号の雑音を抑圧すること
を含むものである、請求項1に記載の音信号処理方法。 The step of suppressing noise of the first input sound signal in accordance with the corrected phase difference,
Determining whether the phase difference between the first input sound signal and the second input sound signal is greater than a second threshold;
If the phase difference between the is determined to be greater than the second threshold value, and supplies the first input sound signal to the output unit, when the phase difference is not greater than said second threshold value The sound signal processing method according to claim 1, wherein the second suppression unit includes suppressing noise of the first input sound signal.
受け取った或る時間期間において前記第1の音信号入力部から受け取った前記第1の入力音信号の音声区間と雑音区間を判定する区間判定部と、
前記雑音区間における前記第1の入力音信号の電力の大きさを判定する電力判定部と、
前記雑音区間における前記第1の入力音信号の電力の大きさが第1の閾値より大きいかどうかを判定する制御部と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きくないと判定された場合には、前記雑音区間における前記判定された電力の大きさに基づいて、前記第1の入力音信号の前記音声区間および前記雑音区間における雑音を抑圧する第1の抑圧部と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きくないと判定された場合に、前記音声区間において、前記第1の入力音信号と前記第2の入力音信号の間の位相差を求め、前記第1の入力音信号と前記第2の入力音信号の間の理論的位相差と前記求めた位相差との間の誤差を求める誤差位相差決定部と、
前記雑音区間における前記第1の入力音信号の電力の大きさが前記第1の閾値より大きいと判定された場合には、前記第1の入力音信号と前記第2の入力音信号の間の位相差を前記求められた誤差に応じて補正し、前記補正された位相差に応じて前記第1の入力音信号の雑音を抑圧する第2の抑圧部と、
を含む音信号処理装置。 First and second sound signal input units for receiving first and second input sound signals, respectively;
A section determination unit for determining a voice section and a noise section of the first input sound signal received from the first sound signal input unit in a certain time period received;
A power determination unit that determines the magnitude of the power of the first input sound signal in the noise section;
A control unit for determining whether the magnitude of the power of the first input sound signal in the noise section is greater than a first threshold;
When it is determined that the power level of the first input sound signal in the noise section is not greater than the first threshold, based on the determined power level in the noise section, A first suppression unit that suppresses noise in the speech section and the noise section of the first input sound signal;
When it is determined that the power level of the first input sound signal in the noise section is not larger than the first threshold value, the first input sound signal and the second input in the voice section An error phase difference determination unit that obtains a phase difference between sound signals and obtains an error between the theoretical phase difference between the first input sound signal and the second input sound signal and the obtained phase difference. When,
When it is determined that the power level of the first input sound signal in the noise section is larger than the first threshold value, the first input sound signal and the second input sound signal are between the first input sound signal and the second input sound signal. A second suppression unit that corrects a phase difference according to the obtained error, and suppresses noise of the first input sound signal according to the corrected phase difference ;
A sound signal processing apparatus.
前記第1の入力音信号と前記第2の入力音信号の間の前記位相差が第2の閾値より大きいかどうかを判定し、
前記の位相差が前記第2の閾値より大きいと判定された場合に、前記第1の入力音信号を出力部に供給し、前記位相差が前記第2の閾値より大きくないと判定された場合には、前記第2の抑圧部により、前記第1の入力音信号の雑音を抑圧するものである、
請求項3に記載の音信号処理装置。 The second suppressor is
Determining whether the phase difference between the first input sound signal and the second input sound signal is greater than a second threshold;
If the phase difference between the is determined to be greater than the second threshold value, and supplies the first input sound signal to the output unit, when the phase difference is not greater than said second threshold value The second suppressor suppresses the noise of the first input sound signal.
The sound signal processing apparatus according to claim 3 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009253963A JP5446745B2 (en) | 2009-11-05 | 2009-11-05 | Sound signal processing method and sound signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009253963A JP5446745B2 (en) | 2009-11-05 | 2009-11-05 | Sound signal processing method and sound signal processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011099967A JP2011099967A (en) | 2011-05-19 |
JP5446745B2 true JP5446745B2 (en) | 2014-03-19 |
Family
ID=44191202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009253963A Expired - Fee Related JP5446745B2 (en) | 2009-11-05 | 2009-11-05 | Sound signal processing method and sound signal processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5446745B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5672770B2 (en) * | 2010-05-19 | 2015-02-18 | 富士通株式会社 | Microphone array device and program executed by the microphone array device |
JP6179081B2 (en) * | 2011-09-15 | 2017-08-16 | 株式会社Jvcケンウッド | Noise reduction device, voice input device, wireless communication device, and noise reduction method |
JP5810903B2 (en) | 2011-12-27 | 2015-11-11 | 富士通株式会社 | Audio processing apparatus, audio processing method, and computer program for audio processing |
JP5845954B2 (en) * | 2012-02-16 | 2016-01-20 | 株式会社Jvcケンウッド | Noise reduction device, voice input device, wireless communication device, noise reduction method, and noise reduction program |
JP5849758B2 (en) * | 2012-02-20 | 2016-02-03 | 株式会社Jvcケンウッド | Communication device, status notification method |
KR101451844B1 (en) * | 2013-03-27 | 2014-10-16 | 주식회사 시그테크 | Method for voice activity detection and communication device implementing the same |
US10043532B2 (en) * | 2014-03-17 | 2018-08-07 | Nec Corporation | Signal processing apparatus, signal processing method, and signal processing program |
JP6442768B2 (en) * | 2015-02-26 | 2018-12-26 | 富士通コネクテッドテクノロジーズ株式会社 | Electronic equipment and control program |
JP2016163135A (en) * | 2015-02-27 | 2016-09-05 | 沖電気工業株式会社 | Sound collection device, program and method |
JP6536320B2 (en) | 2015-09-28 | 2019-07-03 | 富士通株式会社 | Audio signal processing device, audio signal processing method and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11338499A (en) * | 1998-05-28 | 1999-12-10 | Kokusai Electric Co Ltd | Noise canceller |
JP3484112B2 (en) * | 1999-09-27 | 2004-01-06 | 株式会社東芝 | Noise component suppression processing apparatus and noise component suppression processing method |
JP4910568B2 (en) * | 2006-08-25 | 2012-04-04 | 株式会社日立製作所 | Paper rubbing sound removal device |
JP5032959B2 (en) * | 2007-11-28 | 2012-09-26 | パナソニック株式会社 | Acoustic input device |
-
2009
- 2009-11-05 JP JP2009253963A patent/JP5446745B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011099967A (en) | 2011-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5446745B2 (en) | Sound signal processing method and sound signal processing apparatus | |
US10339952B2 (en) | Apparatuses and systems for acoustic channel auto-balancing during multi-channel signal extraction | |
JP5272920B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
US9659555B1 (en) | Multichannel acoustic echo cancellation | |
US9747920B2 (en) | Adaptive beamforming to create reference channels | |
US9653060B1 (en) | Hybrid reference signal for acoustic echo cancellation | |
EP3542547B1 (en) | Adaptive beamforming | |
US9443532B2 (en) | Noise reduction using direction-of-arrival information | |
JP5007442B2 (en) | System and method using level differences between microphones for speech improvement | |
JP4378170B2 (en) | Acoustic device, system and method based on cardioid beam with desired zero point | |
US9215527B1 (en) | Multi-band integrated speech separating microphone array processor with adaptive beamforming | |
EP2884763A1 (en) | A headset and a method for audio signal processing | |
JP5141691B2 (en) | Sound processing apparatus, correction apparatus, correction method, and computer program | |
KR20090056598A (en) | Noise cancelling method and apparatus from the sound signal through the microphone | |
JP2010124370A (en) | Signal processing device, signal processing method, and signal processing program | |
US11205437B1 (en) | Acoustic echo cancellation control | |
US20190348056A1 (en) | Far field sound capturing | |
EP3764660B1 (en) | Signal processing methods and systems for adaptive beam forming | |
EP3764360B1 (en) | Signal processing methods and systems for beam forming with improved signal to noise ratio | |
US20220132243A1 (en) | Signal processing methods and systems for beam forming with microphone tolerance compensation | |
EP3764358B1 (en) | Signal processing methods and systems for beam forming with wind buffeting protection | |
EP3764359B1 (en) | Signal processing methods and systems for multi-focus beam-forming | |
Adebisi et al. | Acoustic signal gain enhancement and speech recognition improvement in smartphones using the REF beamforming algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5446745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |