JP5148414B2 - 信号帯域拡張装置 - Google Patents

Description

この発明は、帯域制限された音声や音楽・オーディオなどの信号を広帯域信号に変換する信号帯域拡張装置に関する。

周知のように、従来の信号帯域拡張装置では、入力信号について線形予測分析を行い、この分析によって得た線形予測残差信号から基本周波数成分の存在する周波数帯域のみを切り出し、非線形に歪ませて広帯域残差信号を得るようにしている（例えば、特許文献１参照）。しかしながら、原音との歪みが大きくなるため、音質の向上が望まれていた。
特許第２９５６５４８号公報

従来の信号帯域拡張装置では、原音との歪みが大きくなるため、音質の向上が望まれていた。
この発明は上記の問題を解決すべくなされたもので、原音に忠実で高音質な広帯域信号を生成することが可能な信号帯域拡張装置を提供することを目的とする。

上記の目的を達成するために、請求項１に係る発明は、入力信号を分析し、狭帯域スペクトルパラメータと狭帯域音源信号を求める分析手段と、前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、前記分析手段が求めた狭帯域スペクトルパラメータに基づいた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号によって、広帯域信号を合成する合成手段と、前記合成手段が合成した広帯域信号から拡張した帯域を抽出して前記入力信号に加算する加算手段とを具備して構成するようにした。

以上述べたように、この発明では、原音に忠実で高音質な広帯域信号を生成することが可能な信号帯域拡張装置を提供することができる。

以下、図面を参照して、この発明の実施形態について説明する。
図１は、この発明の一実施形態に係わる信号帯域拡張装置が適用された通信装置の構成を示すものである。この図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部１と、デコーダ２と、帯域拡張処理部３と、Ｄ／Ａ変換器４とを備えている。

無線通信部１は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
デコーダ２は、無線通信部１が通信相手局から受信した受信データを、事前に決められた単位（1フレーム=Nサンプル）ごとに復号して、ディジタルの入力信号x[n] (n=0,1,…N-1)を得る。ここで１フレームをN=160サンプルとする。ただし、この入力信号x[n]は、サンプリング周波数はfs[Hz]でfs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限された狭帯域の信号である。このようにして得られたディジタルの入力信号x[n]は、フレーム単位で帯域拡張処理部３に出力される。

帯域拡張処理部３は、１フレーム単位で上記受話信号x[n] (n=0,1,…N-1)に帯域拡張処理を施し、帯域拡張処理によりfs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張される。このとき、サンプリング周波数はデコーダ２でのサンプリング周波数fs[Hz]のままであるか、あるいはより高いサンプリング周波数fs’[Hz]に変更される。すなわち、帯域拡張処理部３によって、サンプリング周波数fs[Hz]あるいはサンプリング周波数fs’[Hz]の帯域拡張された出力信号y[n]が１フレーム単位で得られる。なお、帯域拡張処理部３の具体的な構成例については後に詳述する。

D/A変換器４は、上記帯域拡張された出力信号y[n]をアナログ信号y(t)に変換して、スピーカ５に出力する。スピーカ５は、アナログ信号である出力信号y(t)を音響空間へ出力する。

なお、図１では、この発明に関わる信号帯域拡張装置を通信装置に適用しているが、図２に示すように、ディジタルオーディオプレイヤに適用することも可能である。このディジタルオーディオプレイヤは、無線通信部１に代わって、フラッシュメモリやHDD(Hard Disk Drive)を用いた記憶部６を備え、この記憶部６から読み出した音楽データをデコーダ２が上述したように復号する。

次に、帯域拡張処理部３の構成例について説明する。

（帯域拡張処理部３の第１の構成例）
図３は、この発明に係わる帯域拡張処理部３の第１の構成例を示すものである。この第１の構成例では、帯域拡張処理部３で、サンプリング周波数をデコーダ２で用いたサンプリング周波数fs[Hz]からfs'[Hz]にアップサンプリングを伴う帯域拡張処理するものとする。すなわち、fs < fs'である。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high ≦ fs_wb_high < fs/2 を満たし、fs_nb_high < fs/2 < fs_wb_high < fs’/2 を満たすものとする。

また以下の説明では、高域拡張を例に挙げるため、fs_nb_low = fs_wb_lowとして説明し、例えば、fs=8000[Hz]、fs’=16000[Hz]、fs_nb_low=100[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=100[Hz]、fs_wb_high=7950[Hz]とする。これらは例であって、帯域制限の周波数帯域やサンプリング周波数については、これに限らない。

この図に示すように、第１の構成例の帯域拡張処理部３は、線形予測分析部３０１と、逆フィルタ３０２と、フォルマント強調部３０３と、アップサンプリング部３０４と、帯域通過フィルタ３０５と、広帯域化処理部３０６と、スペクトル包絡広帯域化処理部３０７と、信号合成部３０８と、帯域通過フィルタ３０９と、アップサンプリング部３１０と、信号遅延処理部３１１と、信号加算部３１２とを備える。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。

線形予測分析部３０１は、狭帯域に帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、これについて線形予測分析して、狭帯域のスペクトル包絡を表す狭帯域スペクトルパラメータとしてDn次の線形予測係数LPC[f,d]（d=1,…,Dn）を得る。ここでは例えば、Dn=10とする。具体的には、線形予測分析の対象となる現在のフレームｆの入力信号x[n] (n=0,1,…N-1)と、このフレームの直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…2N-1)に対して、窓関数をハミング窓として窓関数を入力信号に乗じて、データ長2Nの窓掛けを行い、その信号wx[n] (n=0,1,…2N-1)に対してDn次の線形予測分析を行う。なお、１フレーム前の入力信号は、線形予測分析部３０１が備えるメモリを用いて保持する。

ここでは、例として、次の時刻（フレーム）での入力信号x[n]のシフト幅（ここではNサンプル）と窓掛けを行った入力信号wx[n]のデータ長（ここでは2Nサンプル）の比であるオーバーラップは50%としている。ただし、窓掛けに用いる窓関数は、ハミング窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、正弦波窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。またオーバーラップは、50%に限らない。この実施形態では、狭帯域のスペクトル包絡を表現する狭帯域スペクトルパラメータとして線形予測係数を用いる場合を例にしているが、線スペクトル対(LSP)や線スペクトル周波数(LSF)、PARCOR係数、メルケプストラム係数などを用いてもよい。

逆フィルタ３０２は、線形予測分析部３０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を用いて、システム関数を下式（１）とする逆フィルタA(z)を形成し、その逆フィルタA(z)に線形予測分析部３０１でデータ長2Nの窓掛けした入力信号wx[n]を入力して、狭帯域音源信号としてデータ長2Nの線形予測残差信号e[n]を得る。

フォルマント強調部３０３は、狭帯域スペクトルパラメータに基づくシステム関数を下式（２）とするフォルマント強調フィルタF(z)であって、スペクトル包絡の谷の部分を抑圧する特性を持ち、この特性を狭帯域音源信号である上記線形予測残差信号e[n]に掛けることで、フォルマント強調を行う。

なおフォルマント強調は、狭帯域音源信号である上記線形予測残差信号e[n]に、特性を下式（３）とする線形予測合成フィルタを通して、さらに特性を下式（４）とする逆フィルタを通すことで実現してもよい。このようにして、フォルマント強調された線形予測残差信号ew[n]は、線形予測残差信号e[n]と比べて、狭帯域信号のパワースペクトルの谷の部分を抑圧することでフォルマントの谷の信号抑圧し、その分フォルマントの山と谷の差が強調される。ここでは例えば、γ_n=0.6、γ_d=0.8とする。

なお、フォルマント強調部３０３は、狭帯域スペクトルパラメータに基づくフォルマント強調フィルタに限らず、フォルマントの山と谷の差を強調する処理であればどのようなものでも構わない。例えば、特開２００４−２１９７５７号に示されているフォルマント強調処理あるいはアンチフォルマント減衰処理や、特開２００４−８６１０２号に示されているスペクトルパラメータを変更してスペクトル包絡の極の密度を変更する処理であっても構わない。

アップサンプリング部３０４は、フォルマント強調部３０３によりフォルマント強調された線形予測残差信号ew[n]をサンプリング周波数fs[Hz]からそれよりも高いサンプリング周波数fs'[Hz]にアップサンプリングし、エイリアシングを除去し、アップサンプリングされたデータ長4Nの線形予測残差信号ew_us[n]を出力する。
帯域通過フィルタ３０５は、アップサンプリング部３０４の出力から広帯域化に用いる周波数帯域（例えば1k[Hz]〜4k[Hz]）を通過させる特性であって、アップサンプリング部３０４で得たデータ長4Nの線形予測残差信号ew_us[n]を入力として、帯域通過フィルタ処理し、帯域通過処理した線形予測残差信号ew2_us[n]を広帯域化処理部３０６に出力する。

広帯域化処理部３０６は、帯域通過フィルタ３０５で得た線形予測残差信号ew2_us[n]に、半波整流などの非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長4Nの線形予測残差信号ew_wb[n]が得られる。線形予測残差信号ew_wb[n]は、線形予測残差信号e[n]を広帯域化処理した場合に比べて、フォルマントの山と谷の差が強調される。

このような調波構造に変換する非線形処理の一例としては、図４（ａ）や図４（ｂ）に示すような非線形関数を用いた非線形処理がある。図４（ａ）は半波整流を表す。また、調波構造にする非線形処理としては図４（ｂ）のように全波整流を用いる。これらの処理に限らないが、帯域制限された入力信号が、この帯域制限によって、有声音において基本周波数が欠落していた場合は基本周波数を生成し、基本周波数が欠落していない場合は基本周波数を生成しないようにするために、少なくとも周期性を残す関数が望ましい。

スペクトル包絡広帯域化処理部３０７は、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前にモデル化しておき、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータ（ここでは線形予測係数LPC[f,d]）を取得し、この狭帯域スペクトルパラメータを用いて、モデル化しておいた狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応から広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータ（ここでは線スペクトル周波数LSF_WB[f,d]）を求める処理を行う。狭帯域のスペクトル包絡を表す狭帯域スペクトルパラメータから広帯域のスペクトル包絡を表す広帯域スペクトルパラメータに変換する手法としては、ベクトル量子化(VQ)による符号帳を用いる手法（例えば、吉田, 阿部, ”コードブックマッピングによる狭帯域音声から広帯域音声の生成法”, 信学論(D-II), vol.J78-D-II, No.3, pp.391-399, Mar. 1995.）や、GMMを用いる手法（例えば、K. Y. Park, H. S. Kim, ”Narrowband to Wideband Conversion of Speech using GMM based Transformation”, Proc. ICASSP2000, vol.3, pp.1843-1846, Jun. 2000.）や、ベクトル量子化(VQ)による符号帳とHMMを用いる手法（例えば、G. Chen, V. Parsa, ”HMM-based Frequency Bandwidth Extension for Speech Enhancement using Line Spectral Frequencies”, Proc. ICASSP2004, vol.1, pp.709-712, 2004.）や、HMMを用いる手法（例えば、S. Yao, C. F. Chan, ”Block-based Bandwidth Extension of Narrowband Speech Signal by using CDHMM”, Proc. ICASSP2005, vol.1, pp.793-796, 2005.）などがあり、どれを用いても構わない。ここでは、例えばGMM(Gaussian mixture model)を利用する手法を用いるとして、線形予測分析部３０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を、fs_wb_low[Hz]からfs_wb_high[Hz]までに対応する広帯域スペクトルパラメータであるDw次の広帯域の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に、事前に線形予測係数LPC[f,d]と線スペクトル周波数LSF_WB[f,d]の対応をモデル化しておいたGMMを利用して変換する。ここでは例えばDw=18とする。なお、狭帯域スペクトルパラメータであるスペクトル包絡を表す特徴量データは、線形予測係数限らず、PARCOR係数や反射係数、線スペクトル周波数、ケプストラム係数、メルケプストラム係数などでも構わない。同様に、広帯域スペクトルパラメータであるスペクトル包絡を表す特徴量データは、線スペクトル周波数に限らず、例えばLPC係数、PARCOR係数や反射係数、ケプストラム係数、メルケプストラム係数などでも構わない。

スペクトル包絡広帯域化処理部３０７のより具体的な構成例を図５に示す。スペクトル包絡広帯域化処理部３０７は、線スペクトル周波数変換部３０７ａと、GMM格納部３０７ｂと、スペクトル包絡生成部３０７ｃとを備える。

線スペクトル周波数変換部３０７ａは、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]（d=1,…,Dn）を、同じ次数の線スペクトル周波数（LSF）であるLSF_NB[f,d]（d=1,…,Dn）に変換して、スペクトル包絡生成部３０７ｃに出力する。
ＧＭＭ格納部３０７ｂは、事前に学習された混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を格納している。なお、ｗ_qはq番目の混合正規分布の混合重みを示し、μ_qはq番目の混合正規分布の平均ベクトル、Σ_qはq次数目の混合正規分布の共分散行列（対角共分散行列または全共分散行列）を表している。なお、平均ベクトルμ_qと共分散行列Σ_qの成分の数である次数は、Dn＋Dwである。

スペクトル包絡生成部３０７ｃは、線スペクトル周波数（LSF）であるLSF_NB[f,d]（d=1,…,Dn）を入力として、ＧＭＭ格納部３０７ｂからGMM λq={ｗq,μq,Σq}（q=1,…,Q）を読み出して、最小平均２乗推定（MMSE：Minimam Mean Square Error）に従って以下のように、広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとして線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）を算出して出力する。下式（５）は、次元（d=1,…,Dn+Dw）方向のベクトルとして記載している。また、平均ベクトルμ_q（d=1,…,Dn+Dw）は次元方向で、μ_q ^N（d=1,…,Dn）とμ_q ^W（d=Dn,…,Dn+Dw）に分割し、（Dn+Dw）×（Dn+Dw）行列である共分散行列Σ_qも以下のように、Dn×Dn行列であるΣ_q ^NNとDn×Dw行列であるΣ_q ^NWとDw×Dn行列であるΣ_q ^WNとDw×Dw行列であるΣ_q ^WWとに分割する。

事前のGMMの学習生成方法について、フローチャートを図６に示し、説明する。
GMMの生成に用いる信号は、サンプリング周波数fs’[Hz]でfs_wb_low[Hz]からfs_wb_high[Hz]までに対応する理想的な広帯域信号（原音）とし、なるべく多数の音声信号を用いた信号群を用意する。この信号群は、多数の話者、様々な音量、様々な発話内容であることが望ましい。以下では、GMMの生成に用いる理想的な広帯域信号の信号群をまとめて１つにして、広帯域信号データwb[n]と表記する。また、ｎは時刻（サンプル）を表す。

まず、広帯域信号データwb[n]を入力して、ダウンサンプリングフィルタによってサンプリング周波数fs[Hz]にダウンサンプリングし、fs_nb_low[Hz]からfs_nb_high[Hz]までの狭帯域に帯域制限された狭帯域信号データnb[n]を得る（ステップＳ１０１）。なお、図示しないが、上記ダウンサンプリングフィルタや帯域制限処理でアルゴリズム遅延が生じる場合には、狭帯域信号データnb[n]を広帯域信号データwb[n]と同期を合わせる処理を行う。

次に、上記狭帯域信号データnb[n]からフレームf単位で所定の次数の狭帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０２）。ステップ１０２ではまず、狭帯域信号データnb[n]からフレーム毎に線形予測分析を行い、Dn次の線形予測係数LPC_NB[f,d]（d=1,…,Dn）を得る（ステップＳ１０２Ａ）。次にDn次の線形予測係数LPC_NB[f,d]から同じ次数の線スペクトル周波数LSF_NB[f,d]（d=1,…,Dn）に変換する（ステップＳ１０２Ｂ）。

一方、上記に並行して、広帯域信号データwb[n]からフレームf単位で所定の次数の広帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０３）。ステップＳ１０３ではまず、広帯域信号データwb[n]からフレーム毎に線形予測分析を行い、Dw次の線形予測係数LPC_WB[f,d]（d=1,…,Dw）を得る（ステップＳ１０３Ａ）。次にDw次の線形予測係数LPC_WB[f,d]から同じ次数の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に変換する（ステップＳ１０３Ｂ）。

次に、完全に時間的に同期が取れた狭帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_NB[f,d]（d=1,…,Dn）と、広帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）の２つの特徴量データをフレーム単位で次数方向（次元方向）に連結して、次数Dn+Dwの連結特徴量データP[f,d]（d=1,…,Dn+Dw）を生成する（ステップＳ１０４）。

最後に、上記連結特徴量データＰ[f,d] から混合数Q=1の初期GMMを生成し、各GMMの平均ベクトルをわずかにずらして2倍の数のGMMを生成することで混合数Qを増やす処理と、上記連結特徴量データＰ[f,d]を用いてＥＭアルゴリズムにより収束するまでGMMの尤度最大化学習を行う処理とを交互に繰り返し行い、混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を生成する（ステップＳ１０５）。EMアルゴリズムについては、D.A.Reynols and R.C.Rose,“Robust text-independent speaker identification using Gaussian mixture models”,IEEE Trans. Speech and Audio Processing, Vol.3, no.1, pp.72-83, Jan.1995. などの文献に詳細な記述がある。

信号合成部３０８は、スペクトル包絡広帯域化処理部３０７から出力された広帯域スペクトルパラメータである上記線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に基づいて、線スペクトル対LSP_WB[f,d]（d=1,…,Dw）を生成して、広帯域化処理部３０６で得た広帯域音源信号であるデータ長4Nの線形予測残差信号ew_wb[n]にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1[n]を算出し、データ長4Nの広帯域信号y1[n]の時間的に前半のデータ（データ長2N）と、１フレーム前に信号合成部３０８が出力した広帯域信号y1[n]の時間的に後半のデータ（データ長2N）とを、これらのオーバーラップ分を考慮して加算し、データ長2Nの広帯域信号y1[n]を算出する。

帯域通過フィルタ３０９は、データ長2Nの広帯域信号y1[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長2Nの広帯域信号y2[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。

アップサンプリング部３１０は、データ長Nの入力信号x[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長2Nのx_wb[n]として出力する。

信号遅延処理部３１１は、データ長2Nのアップサンプリングされた入力信号x_wb[n]を所定の時間（Dサンプル分）だけバッファし、アップサンプリングされた入力信号x_wb[n-D]として遅延させて出力することで、帯域通過フィルタ３０９から出力される第２の広帯域信号y2[n]とタイミングを合わせる。すなわち、所定の時間（Dサンプル分）は、線形予測分析部３０１への入力から帯域通過フィルタ３０９から出力が得られるまでの処理遅延の時間から、アップサンプリング部３１０での処理遅延の時間を引いた分の時間に相当する。この値は、事前に求めておき、Dを常に固定値として用いる。

信号加算部３１２は、信号遅延処理部３１１から出力されるアップサンプリングされたデータ長2Nの入力信号x_wb[n-D]と、帯域通過フィルタ３０９から出力されるデータ長2Nの広帯域信号y2[n]を、共にサンプリング周波数fs'[Hz]で加算して、データ長2Nの広帯域信号y[n]を出力信号として得る。これにより、アップサンプリングされた入力信号x[n-D]は、広帯域信号y2[n]分だけ帯域拡張される。

図７に第１の構成例のシミュレーション結果として、入力信号x[n]を音声信号とした場合の出力信号y[n]のパワースペクトルとフォルマントの一例を示す。フォルマント強調部３０３を設けた場合のパワースペクトルを細実線ＰＳ１で、そのフォルマントを太実線Ｆ１でそれぞれ示している。また、フォルマント強調部３０３を設けない場合のパワースペクトルを細破線ＰＳ０で、そのフォルマントを太破線Ｆ０でそれぞれ示している。この図に示すように、フォルマント強調部３０３を設けた場合の出力信号y[n]のパワースペクトルは、帯域拡張を行った帯域4000〜8000[Hz]においてフォルマントの谷が深くなることが分かる。

以上のように、上記構成の信号帯域拡張装置では、フォルマント強調部３０３を設けて、線形予測残差信号にフォルマント強調を行い、線形予測残差信号についてフォルマントの山と谷の差を強調するようにしている。そして、フォルマント強調後の線形予測残差信号を広帯域化して、広帯域化したフォルマント強調後の線形予測残差信号に基づいて広帯域信号を求めるようにしている。
したがって、上記構成の信号帯域拡張装置によれば、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。

また、スペクトル包絡広帯域化処理部３０７のように、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前に複数の信号からモデル化する場合、得られる広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータは、平均化され平滑化されているためフォルマントの山と谷の差が浅いようなスペクトルパラメータとなる。これに対して、上記構成の信号帯域拡張装置によれば、フォルマント強調部３０３を設けて、線形予測残差信号にフォルマント強調を行い、広帯域化し、広帯域化されたスペクトル包絡を表すスペクトルパラメータと合成することにより広帯域信号を得るため、広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータによってフォルマントの山と谷の差が浅くなる傾向を防ぐことができ、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。

（帯域拡張処理部３の第１の構成例の変形例１）
なお、図３に示した構成の変形例として、図８に示すような構成も考えられる。図８に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成に加え、有声／無声推定部３１３と、雑音生成部３１４と、パワー制御部３１５と、パワー制御部３１６と、信号加算処理部３１７とを備え、信号合成部３０８が広帯域化処理部３０６の出力に代わって、信号加算処理部３１７の出力を入力として用いるようにしたものである。

有声／無声推定部３１３は、入力信号x[n]と、線形予測分析部３０１が線形予測分析したDn次の線形予測係数LPC[f,d]とを入力として、入力信号x[n]がフレーム単位で「有声音」であるか「無声音」であるかを推定し、その推定情報vuv[f]を出力する。具体的には、有声／無声推定部３１３は、まず入力信号x[n]からフレーム単位での零交差の数を算出し、それをフレーム長Nで割って平均化した上でマイナスにした、負の平均零交差数Zi[f]を算出する。次に、下式（６）に示すように、フレーム単位での入力信号x[n]の２乗和を以下のようにdB単位で計算し、これをフレームパワーCi[f]とする。

また、下式（７）に示すように、フレーム単位での１次自己相関係数In[f]を以下のように計算する。

そして、Dn次の線形予測係数LPC[f,d]に零詰めして256点の信号として256点ＦＦＴを行い、周波数スペクトルL[f,ω]を得て、周波数スペクトルL[f,ω]の２乗であるパワースペクトル|L[f,ω]|²に対して１０を底とする対数を取り−１０倍することでLPCによるスペクトル包絡をdB単位で算出し、基本周波数が存在すると想定される帯域におけるLPCによるスペクトル包絡の平均値Vi[f]を下式（８）に示すように算出する。なお、例えば基本周波数が存在すると想定される帯域を75[Hz]≦fs・ω/256[Hz]≦325[Hz]とし、つまりVi[f]として2≦ω≦11の平均を求める。

そして有声／無声推定部３１３は、負の平均零交差数Zi[f]、フレームパワーCi[f]、１次自己相関係数In[f]、LPCスペクトル包絡の平均値Vi[f]に対してそれぞれ適宜重みを付けた線形和をフレーム毎に監視し、所定の閾値を超えた場合に「有声音」であると推定し、所定の閾値を超えない場合に「無声音」と推定し、その推定情報vuv[f]を出力する。
雑音生成部３１４は、有声／無声推定部３１３の推定結果である推定情報vuv[f]が「無声音」の場合に、一様にランダムな乱数を生成し、それを信号の振幅値にすることにより、白色化された雑音信号wn[n]をデータ長4N分生成して出力する。

パワー制御部３１５は、アップサンプリング部３０４から出力されたデータ長4Nの線形予測残差信号ew_us[n]と有音／無声推定部３１３から出力された１次自己相関係数In[f]に基づいて、雑音生成部３１４が生成した雑音信号wn[n]を所定のレベルまで増幅し、信号加算処理部３１７に出力する。具体的には、まずデータ長4Nの線形予測残差信号ew_us[n]の２乗和を求め、データ長4Nの雑音信号wn[n]の２乗和を求め、線形予測残差信号ew_us[n]の２乗和を雑音信号wn[n]の２乗和で割って増幅ゲインg1[f]を求める。次に、無声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が0に近づけば1に近づき、１次自己相関係数In[f]の絶対値が1に近づけば0に近づく増幅ゲインg2[f]を求める。そして、増幅ゲインg1[f]とg2[f]を雑音信号wn[n]に乗じる。

パワー制御部３１６は、アップサンプリング部３０４から出力されたデータ長4Nの線形予測残差信号ew_us[n]と有音／無声推定部３１３から出力された１次自己相関係数In[f]に基づいて、広帯域化処理部３０６で得られた広帯域化されたデータ長4Nの線形予測残差信号e_wb[n]を所定のレベルまで増幅し、信号加算処理部３１７に出力する。具体的には、まずデータ長4Nの線形予測残差信号ew_us[n]の２乗和を求め、データ長4Nの線形予測残差信号e_wb[n]の２乗和を求め、線形予測残差信号ew_us[n]の２乗和を線形予測残差信号e_wb[n]の２乗和で割って増幅ゲインg3[f]を求める。次に、有声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が1に近づけば1に近づき、１次自己相関係数In[f]の絶対値が0に近づけば0に近づく増幅ゲインg4[f]を求める。そして、増幅ゲインg3[f]とg4[f]を線形予測残差信号e_wb[n]に乗じる。

信号加算処理部３１７は、パワー制御部３１５から出力される雑音信号と、パワー制御部３１６から出力される線形予測残差信号e_wb[n]とを加算して、広帯域音源信号として、信号合成部３０８に出力する。
信号合成部３０８は、スペクトル包絡広帯域化処理部３０７から出力された広帯域スペクトルパラメータである上記線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）に基づいて、線スペクトル対LSP_WB[f,d]（d=1,…,Dw）を生成して、信号加算処理部３１７から出力される広帯域音源信号であるデータ長4Nの信号にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1[n]を算出し、データ長4Nの広帯域信号y1[n]の時間的に前半のデータ（データ長2N）と、１フレーム前に信号合成部３０８が出力した広帯域信号y1[n]の時間的に後半のデータ（データ長2N）とを、これらのオーバーラップ分を考慮して加算し、データ長2Nの広帯域信号y1[n]を算出する。

このような構成であっても、同様の効果を発揮する。また、このような構成によれば、有音／無声推定部３１３により有声音と無声音でそれぞれに適した信号を生成することができ、広帯域化して帯域拡張された信号を原音に近づけて、音質を向上させることができる。

（帯域拡張処理部３の第１の構成例の変形例２）
なお、図３に示した構成のさらなる変形例として、図９に示すような構成も考えられる。図９に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成に加え、広帯域フォルマント強調部３１８を備え、信号合成部３０８が広帯域化処理部３０６の出力に代わって、広帯域フォルマント強調部３１８の出力を入力に用いるようにしたものである。

広帯域フォルマント強調部３１８は、スペクトル包絡広帯域化処理部３０７から出力される広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータと広帯域化処理部３０６から出力される広帯域化された広帯域音源信号であるデータ長4Nの線形予測残差信号ew_wb[n]を入力として、広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータから広帯域のフォルマント強調フィルタを生成し、広帯域化された線形予測残差信号ew_wb[n]に掛けてフォルマント強調を行い、そのフォルマント強調され広帯域化された線形予測残差信号をew_wb2[n]として信号合成部３０８に出力する。ここでは具体的に、まずスペクトル包絡広帯域化処理部３０７から出力される広帯域スペクトルパラメータである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dw）を同じ次数の線形予測係数LPC_WB[f,d]（d=1,…,Dw）に変換して、システム関数を下式（９）である広帯域のフォルマント強調フィルタF’(z)を生成する。

ここでは例えば、γ_ｎ=0.6、γ_d=0.8とする。このフォルマント強調フィルタF’(z)も上記フォルマント強調フィルタF(z)と同様にスペクトル包絡の谷の部分を抑圧する特性を持ち、この特性を広帯域化された線形予測残差信号ew_wb[n]に掛けてることで、フォルマント強調を行う。同様に、広帯域のフォルマント強調は、広帯域化された線形予測残差信号ew_wb[n]に、特性を下式（１０）とする線形予測合成フィルタを通して、さらに特性を下式（１１）とする逆フィルタを通すことで実現してもよい。

このようにすることで、フォルマント強調され広帯域化された線形予測残差信号ew_wb2[n]は、広帯域化された線形予測残差信号ew_wb[n]と比べて、信号のパワースペクトルの谷の部分を抑圧することでフォルマントの谷の信号抑圧し、その分フォルマントの山と谷の差が強調される。

以上のように、上記構成の信号帯域拡張装置では、広帯域フォルマント強調部３１８を設けて、広帯域化された線形予測残差信号にフォルマント強調を行い、広帯域化された線形予測残差信号についてフォルマントの山と谷の差を強調するようにしている。そして、フォルマント強調後の広帯域化された線形予測残差信号に基づいて広帯域信号を求めるようにしている。
したがって、上記構成の信号帯域拡張装置によれば、広帯域化されたスペクトル包絡を表す広帯域スペクトルパラメータによってフォルマントの山と谷の差が浅くなる傾向を防ぐことができ、広帯域化した信号のフォルマントの山と谷の差を第１の構成例よりもよりはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。

また、広帯域フォルマント強調部３１８は、信号合成部３０８で算出する広帯域スペクトルパラメータである線スペクトル対LSP_WB[f,d]（d=1,…,Dw）に基づいて線形予測係数LPC_WB[f,d]（d=1,…,Dw）に変換し、広帯域のフォルマント強調フィルタF’(z)を生成するようにしてもよく、同様の効果が得られる。

（帯域拡張処理部３の第２の構成例）
さらに、図３では、帯域拡張処理部が高域拡張処理を行うものとして構成例を示したが、図１０に示すように低域拡張処理を行う帯域拡張処理部に対しても本発明を適用することができる。

この第２の構成例では、帯域拡張処理部３の帯域拡張処理で、サンプリング周波数fs[Hz]のまま、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high ≦ fs_wb_high < fs/2 を満たすものとする。

また以下の説明では、低域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high = fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=3950[Hz]とする。帯域制限の周波数帯域やサンプリング周波数については、これに限らない。

図１０に示す信号帯域拡張装置の帯域拡張処理部は、図３に示した構成から、アップサンプリング部３０４と、帯域通過フィルタ３０５と、スペクトル包絡広帯域化処理部３０７と、アップサンプリング部３１０とを除いて、広帯域化処理部３０６を広帯域化処理部３０６ａに、信号合成部３０８を線形予測合成部３０８ａに、帯域通過フィルタ部３０９を帯域通過フィルタ部３０９ａに、信号遅延処理部３１１を信号遅延処理部３１１ａに、信号加算部３１２を信号加算部３１２ａにそれぞれ置き換えて、アップサンプリングは行わずに信号処理を行うものである。これに伴い、各処理部の入出力のデータ長は半分になる。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。

広帯域化処理部３０６ａは、フォルマント強調部３０３で得た線形予測残差信号ew[n]に、半波整流などの非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長2Nの線形予測残差信号ew_wb[n]が得られ、これを広帯域音源信号として線形予測合成部３０８ａに出力する。線形予測残差信号ew_wb[n]は、線形予測残差信号e[n]を広帯域化処理した場合に比べて、フォルマントの山と谷の差が強調される。

線形予測合成部３０８ａは、線形予測分析部３０１で得られた狭帯域スペクトルパラメータである線形予測係数LPC[f,d]（d=1,…,Dn）をそのまま広帯域スペクトルパラメータとして、この広帯域スペクトルパラメータに基づいて、システム関数を下式（１２）とする線形予測合成フィルタを生成し、このフィルタを用いて広帯域処理部３０６から出力される広帯域音源信号であるデータ長2Nの線形予測残差信号ew_wb[n]に線形予測合成を行い、データ長2Nの広帯域信号y1[n]を算出し、データ長2Nの広帯域信号y1[n]の時間的に前半のデータ（データ長N）と、１フレーム前に線形予測合成部３０８ａが出力した広帯域信号y1[n]の時間的に後半のデータ（データ長N）とを、これらのオーバーラップ分を考慮して加算し、データ長Nの広帯域信号y1[n]を算出する。

帯域通過フィルタ３０９ａは、データ長Nの広帯域信号y1[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長Nの広帯域信号y2[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。

信号遅延処理部３１１ａは、データ長Nの入力信号x[n]を所定の時間（D1サンプル分）だけバッファし、入力信号x[n-D1]として遅延させて出力することで、帯域通過フィルタ３０９ａから出力される第２の広帯域信号y2[n]とタイミングを合わせる。すなわち、所定の時間（D1サンプル分）は、線形予測分析部３０１への入力から帯域通過フィルタ３０９ａから出力が得られるまでの処理遅延の時間に相当する。この値は、事前に求めておき、D1を常に固定値として用いる。

信号加算部３１２ａは、信号遅延処理部３１１ａから出力されるデータ長Nの入力信号x[n-D1]と、帯域通過フィルタ３０９ａから出力されるデータ長Nの広帯域信号y2[n]を、共にサンプリング周波数fs[Hz]で加算して、データ長Nの広帯域信号y[n]を出力信号として得る。これにより、入力信号x[n-D1]は、広帯域信号y2[n]分だけ帯域拡張される。

このような構成によれば、サンプリング周波数の変更を伴わない帯域拡張においても、広帯域化した信号のフォルマントの山と谷の差をはっきりすることができるので、原音に忠実で高音質な広帯域信号を生成することができる。
また、図３から図８に追加した構成を、図１０に適用することも可能である。
また、図３から図９に追加した構成を、図１０に適用することも可能である。
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる信号帯域拡張装置を適用した通信装置の構成を示す回路ブロック図。 この発明に係わる信号帯域拡張装置を適用したディジタルオーディオプレイヤの構成を示す回路ブロック図。 図１や図２に示した信号帯域拡張装置の帯域拡張処理部の構成例を示す回路ブロック図。 図３に示した広帯域化処理部の非線形処理で用いる非線形関数の例を示す図。 図３に示したスペクトル包絡広帯域化処理拡張部の構成例を示す回路ブロック図。 図５のGMM記憶部が記憶するGMMの生成方法について説明するための図。 図３に示した帯域拡張処理部のシミュレーション結果を示す図。 図３に示した帯域拡張処理部の変形例１の構成を示す回路ブロック図。 図３に示した帯域拡張処理部の変形例２の構成を示す回路ブロック図。 図１や図２に示した信号帯域拡張装置の帯域拡張処理部の第２の構成例を示す回路ブロック図。

符号の説明

１…無線通信部、２…デコーダ、３…帯域拡張処理部、４…Ｄ／Ａ変換器、５…スピーカ、６…記憶部、３０１…線形予測分析部、３０２…逆フィルタ、３０３…フォルマント強調部、３０４…アップサンプリング部、３０５…帯域通過フィルタ、３０６…広帯域化処理部、３０７…スペクトル包絡広帯域化処理部、３０７ａ…線スペクトル周波数変換部、３０７ｂ…GMM格納部、３０７ｃ…スペクトル包絡生成部、３０８…信号合成部、３０９…帯域通過フィルタ、３１０…アップサンプリング部、３１１…信号遅延処理部、３１２…信号加算部、３１３…有声／無声推定部、３１４…雑音生成部、３１５…パワー制御部、３１６…パワー制御部、３１７…信号加算処理部。

Claims (7)

1. 入力信号を分析し、狭帯域スペクトルパラメータと狭帯域音源信号を求める分析手段と、
   前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、
   前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、
   前記分析手段が求めた狭帯域スペクトルパラメータに基づいた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号によって、広帯域信号を合成する合成手段と、
   前記合成手段が合成した広帯域信号から拡張した帯域を抽出して前記入力信号に加算する加算手段とを具備することを特徴とする信号帯域拡張装置。
2. 前記合成手段は、前記分析手段が求めた狭帯域スペクトルパラメータをそのまま広帯域スペクトルパラメータとして用いることを特徴とする請求項１に記載の信号帯域拡張装置。
3. 入力信号を分析し、狭帯域スペクトルパラメータと狭帯域音源信号を求める分析手段と、
   前記分析手段が得た狭帯域音源信号に対して前記分析手段が求めた狭帯域スペクトルパラメータに基づくフォルマント強調を行うフォルマント強調手段と、
   前記フォルマント強調手段でフォルマントが強調された狭帯域音源信号をアップサンプリングする第１アップサンプリング手段と、
   前記第１アップサンプリング手段でアップサンプリングされた狭帯域音源信号から広帯域音源信号に変換する広帯域化手段と、
   前記分析手段が求めた狭帯域スペクトルパラメータと、予めモデル化しておいた狭帯域スペクトルパラメータと広帯域スペクトルパラメータの対応に基づいて、広帯域スペクトルパラメータを求めるスペクトルパラメータ広帯域化手段と、
   前記スペクトルパラメータ広帯域化手段が求めた広帯域スペクトルパラメータと前記広帯域化手段が得た広帯域音源信号に基づいて、広帯域信号を合成する合成手段と、
   前記入力信号をアップサンプリングする第２アップサンプリング手段と、
   前記合成手段が合成した広帯域信号から拡張した帯域を抽出した信号を、前記第２アップサンプリング手段でアップサンプリングされた入力信号に加算する加算手段とを具備することを特徴とする信号帯域拡張装置。
4. 前記広帯域化手段が得た広帯域音源信号に対してスペクトルパラメータ広帯域化手段が求めた広帯域スペクトルパラメータに基づくフォルマント強調を行う広帯域フォルマント強調手段をさらに有することを特徴とする請求項３に記載の信号帯域拡張装置。
5. 前記広帯域化手段は、予め設定した非線形関数に基づいて、フォルマント強調手段でフォルマントが強調された狭帯域音源信号から広帯域音源信号に変換することを特徴とする請求項１乃至請求項４のいずれか１項に記載の信号帯域拡張装置。
6. さらに、前記入力信号と前記分析手段が求めた狭帯域スペクトルパラメータとに基づいて、前記入力信号が有声か無声かを推定する推定手段と、
   前記推定手段が無声と推定した場合に、雑音信号を生成する雑音生成手段と、
   前記雑音生成手段が生成した雑音信号を、前記広帯域化手段が得た信号に加算する加算処理手段とを備え、
   前記合成手段は、前記広帯域スペクトルパラメータと前記加算処理手段が得た信号を合成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の信号帯域拡張装置。
7. 前記分析手段は線形予測分析を行い、狭帯域スペクトルパラメータとして線形予測係数を得、狭帯域音源信号として線形予測残差信号を得ることを特徴とする請求項１乃至請求項６のいずれか１項に記載の信号帯域拡張装置。

Images