JP2013516652A - サブバンドブロックに基づく高調波移調の改善 - Google Patents

Abstract

この文献は、高周波数再構成（HFR）のための高調波移調方法を利用するオーディオソース符号化システムに関し、高調波歪みの生成が処理された信号に輝度を追加するデジタルエフェクトプロセッサ（例えば、励振器）に関し、スペクトル内容が維持されたままで信号持続時間が延長されたタイムストレッチャに関する。入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステム及び方法が記載される。このシステムは、入力信号から分析サブバンド信号を提供するように構成された分析フィルタバンク（101）を有してもよい。分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有してもよい。更に、このシステムは、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニット（102）を有する。サブバンド処理ユニット（102）は、ブロックに基づく非線形処理を実行し、合成サブバンド信号のサンプルの大きさは、分析サブバンド信号の対応するサンプルの大きさ及び分析サブバンド信号の所定のサンプルから判定される。更に、このシステムは、分析サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンク（103）を有する。

Description

この文献は、高周波数再構成（HFR：high frequency reconstruction）のための高調波移調方法（harmonic transposition method）を利用するオーディオソース符号化システムに関し、高調波歪みの生成が処理された信号に輝度を追加するデジタルエフェクトプロセッサ（例えば、励振器）に関し、スペクトル内容が維持されたままで信号持続時間が延長されたタイムストレッチャ（time stretcher）に関する。

WO98/57436では、移調の概念は、オーディオ信号の低周波数帯域から高周波数帯域を再生成する方法として確立されている。オーディオ符号化でこの概念を使用することにより、ビットレートの実質的な節約が得られることが可能になる。HFRに基づくオーディオ符号化システムでは、低帯域幅の信号は、コア波形符号化器（core waveform corder）に提示され、高周波数は、復号化器側での目的のスペクトル形状を記述した非常に低いビットレートの更なるサイド情報及び移調を使用して再生成される。コア符号化された信号の帯域幅が狭い低ビットレートでは、知覚的に快適な特性で高帯域を再生成することがますます重要になっている。WO98/57436に記載の高調波移調は、低いクロスオーバ周波数を有する状態で複雑な音楽データに対してうまく機能する。文献WO98/57436の内容を援用する。高調波移調の原理は、周波数ωの正弦波が周波数Q_φωの正弦波にマッピングされる点にある。ただし、Q_φ>1は、移調のオーダを規定する整数である。これに対して、単一サブバンド変調（SSB：single sideband modulation）に基づくHFRは、周波数ωの正弦波を周波数ω+Δωの正弦波にマッピングする。ただし、Δωは、固定の周波数シフトである。低い帯域幅のコア信号を前提として、典型的にはSSB移調から不調和音のアーティファクト（dissonant ringing artifact）が生じる。これらのアーティファクトのため、一般的には、高調波移調に基づくHFRがSSBに基づくHFRより好まれる。

改善したオーディオ品質を達成するために、高品質の高調波移調に基づくHFR方法は、典型的には、必要なオーディオ品質を達成するために、細かい周波数分解能及び高い程度のオーバーサンプリングを備えた複雑な変調フィルタバンクを使用する。細かい周波数分解能は、通常では、複数の正弦波の和として見なされてもよい異なるサブバンド信号の非線形な取り扱い又は処理から生じる不要な相互変調歪みを回避するために使用される。十分に狭いサブバンドでは（すなわち、十分に高い周波数分解能では）、高品質の高調波移調に基づくHFR方法は、各サブバンドにせいぜい１つの正弦波を有することを目指す。その結果、非線形処理によりもたらされる相互変調歪みは回避され得る。他方、フィルタバンク及び非線形処理によりもたらされ得る別の種類の歪みを回避するために、時間における高い程度のオーバーサンプリングが有利になる可能性がある。更に、サブバンド信号の非線形処理によりもたらされる過渡信号の前エコーを回避するために、周波数における或る程度のオーバーサンプリングが必要になる可能性がある。

更に、高調波移調に基づくHFR方法は、一般的には、２つのブロックのフィルタバンクに基づく処理を使用する。高調波移調に基づくHFRの第１の部分は、低周波数信号成分から高周波数信号成分を生成するために、高い周波数分解能並びに時間及び／又は周波数オーバーサンプリングを備えた分析／合成フィルタバンクを使用する。高調波移調に基づくHFRの第２の部分は、比較的粗い周波数分解能を備えたフィルタバンク（例えば、QMFフィルタバンク）を使用する。比較的粗い周波数分解能を備えたフィルタバンクは、所望のスペクトル形状を有する高周波数成分を生成するため、スペクトルサイド情報又はHFR情報を高周波数成分に適用するために（すなわち、いわゆるHFR処理を実行するために）使用される。フィルタバンクの第２の部分はまた、復号化されたオーディオ信号を提供するために、低周波数信号成分と変更された高周波数信号成分とを結合するために使用される。

一連の２つのブロックのフィルタバンクを使用し、高い周波数分解能並びに時間及び／周波数オーバーサンプリングを備えた分析／合成フィルタバンクを使用した結果として、高調波移調に基づくHFRの計算上の複雑性が比較的高くなる可能性がある。従って、低減した計算上の複雑性で、同時に様々な種類のオーディオ信号（例えば、過渡的な定常のオーディオ信号）の良好なオーディオ品質を提供する高調波移調に基づくHFR方法を提供する必要性が存在する。

一態様によれば、サブバンド信号の非線形処理によりもたらされる相互変調積（intermodulation product）を抑制するために、いわゆるサブバンドブロック（subband block）に基づく高調波移調が使用されてもよい。すなわち、高調波移調器のサブバンド信号のブロックに基づく非線形処理を実行することにより、サブバンド内の相互変調積が抑制又は低減され得る。その結果、比較的粗い周波数分解能及び／又は比較的低い程度のオーバーサンプリングを備えた分析／合成フィルタバンクを使用する高調波移調が適用されてもよい。一例として、QMFフィルタバンクが適用されてもよい。

サブバンドブロックに基づく高調波移調システムのブロックに基づく非線形処理は、複素サブバンドサンプル（complex subband sample）の時間ブロックの処理を有する。複素サブバンドサンプルのブロックの処理は、出力サブバンドサンプルを形成するための、複素サブバンドサンプルの共通の位相変調と、複数の変更されたサンプルの重ね合わせとを有してもよい。このブロックに基づく処理は、別法では複数の正弦波を有する入力サブバンド信号について生じる相互変調積を抑制又は低減する最終的な効果を有する。

比較的粗い周波数分解能を備えた分析／合成フィルタバンクがサブバンドブロックに基づく高調波移調に使用されてもよいという事実と、低減した程度のオーバーサンプリングが必要になり得るという事実とを鑑みて、ブロックに基づくサブバンド処理に基づく高調波移調は、高品質の高調波移調器（すなわち、細かい周波数分解能を有し、サンプルに基づく処理を使用する高調波移調器）と比べて低減した計算上の複雑性を有し得る。同時に、多くの種類のオーディオ信号で、サブバンドブロックに基づく高調波移調を使用した場合に達成され得るオーディオ品質が、サンプルに基づく高調波移調を使用した場合とほぼ同じであることが、実験的に示された。それにも拘らず、過渡的なオーディオ信号について得られたオーディオ信号について得られたオーディオ品質は、高品質のサンプルに基づく高調波移調器（すなわち、細かい周波数分解能を使用した高調波移調器）で実現され得るオーディオ品質に比べて、概して低減されることが観測された。過渡信号の低減した品質は、ブロック処理によりもたらされる時間不鮮明（time smearing）によるものであり得ることが特定された。

前述の品質の問題に加えて、サブバンドブロックに基づく高調波移調の複雑性は、最も簡単なSSBに基づくHFR方法の複雑性より依然として高い。これは、通常では、必要な帯域幅を合成するために、異なる移調オーダQ_φを備えた複数の信号が典型的なHFR用途で必要になるためである。典型的には、ブロックに基づく高調波移調の各移調オーダQ_φは、異なる分析及び合成フィルタバンクの枠組みを必要とする。

前述の分析を鑑みて、定常信号（stationary signal）の品質を維持しつつ、過渡的な音声信号のサブバンドブロックに基づく高調波移調の品質を改善する特定の必要性が存在する。以下に記載するように、品質改善は、非線形ブロック処理の固定の又は信号適応的な変更を用いて得られ得る。更に、サブバンドブロックに基づく高調波移調の複雑性を更に低減する必要性が存在する。以下に記載するように、計算上の複雑性の低減は、単一の分析及び合成フィルタバンクの対の枠組みで、複数のオーダのサブバンドブロックに基づく移調を効果的に実施することにより実現され得る。その結果、単一の分析／合成フィルタバンク（例えば、QMFフィルタバンク）が複数のオーダの高調波移調Q_φに使用され得る。更に、同じ分析／合成フィルタバンクの対は、高調波移調（すなわち、高調波移調に基づくHFRの第１の部分）及びHFR処理（すなわち、高調波移調に基づくHFRの第２の部分）に適用されてもよい。これにより、完全な高調波移調に基づくHFRは、単一の分析／合成フィルタバンクに依存してもよい。換言すると、後に高調波移調処理及びHFR処理に提示される複数の分析サブバンド信号を生成するために、唯一の分析フィルタバンクが入力側で使用され得る。最終的には、出力側で復号化された信号を生成するために、唯一の合成フィルタバンクが使用されてもよい。

一態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムが記載される。このシステムは、入力信号から分析サブバンド信号を提供するように構成された分析フィルタバンクを有してもよい。分析サブバンドは、入力信号の周波数帯域に関連してもよい。分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有してもよい。分析フィルタバンクは、直交ミラーフィルタバンク、窓処理離散フーリエ変換（windowed discrete Fourier transform）又はウェーブレット変換のうち１つでもよい。特に、分析フィルタバンクは、64ポイントの直交ミラーフィルタバンクでもよい。従って、分析フィルタバンクは、粗い周波数分解能を有してもよい。

分析フィルタバンクは、分析時間ストライド（analysis time stride）Δt_Aを入力信号に適用してもよく、及び／又は分析フィルタバンクは、分析サブバンド信号に関連する周波数帯域が名目上の幅Δf_Aを有するように、分析周波数間隔Δf_Aを有してもよく、及び／又は分析フィルタバンクは、N（N>1）個の分析サブバンドを有してもよい。ただし、nはn=0,...,N-1の分析サブバンドインデックスである。隣接する周波数帯域の重複のため、分析サブバンド信号の実際のスペクトル幅は、Δf_Aより大きくてもよい点に留意すべきである。しかし、隣接する分析サブバンドの間の周波数間隔は、典型的には、分析周波数間隔Δf_Aにより与えられる。

このシステムは、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットを有してもよい。Q又はSのうち少なくとも１つは１より大きくてもよい。サブバンド処理ユニットは、複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出するように構成されたブロック抽出器を有してもよい。フレーム長Lは、１より大きくてもよいが、特定の実施例では、フレーム長Lは１に等しくてもよい。或いは又は更に、ブロック抽出器は、L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを複数の分析サンプルに適用するように構成されてもよい。ブロックホップサイズを複数の分析サンプルに繰り返し適用した結果として、入力サンプルの一式のフレームが生成されてもよい。

フレーム長L及び／又はブロックホップサイズpは、任意の数でもよく、必ずしも整数値である必要はない点に留意すべきである。この場合又は他の場合、ブロック抽出器は、L個の入力サンプルのフレームの入力サンプルを導出するために、２つ以上の分析サンプルを補間するように構成されてもよい。一例として、フレーム長及び／又はブロックホップサイズが分数である場合、入力サンプルのフレームの入力サンプルは、２つ以上の周辺の分析サンプルを補間することにより導出されてもよい。或いは又は更に、ブロック抽出器は、L個の入力サンプルのフレームの入力サンプルを生成するために、複数の分析サンプルをダウンサンプリングするように構成されてもよい。特に、ブロック抽出器は、サブバンド移調係数Qにより、複数の分析サンプルをダウンサンプリングするように構成されてもよい。従って、ブロック抽出器は、ダウンサンプリング動作を実行することにより、高調波移調及び／又はタイムストレッチに寄与してもよい。

このシステム（特にサブバンド処理ユニット）は、入力サンプルのフレームから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットを有してもよい。この判定は、入力サンプルの一式のフレームについて繰り返され、これにより、処理されたサンプルの一式のフレームを生成してもよい。この判定は、フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定することにより実行されてもよい。特に、非線形フレーム処理ユニットは、入力サンプルのフレームからの所定の入力サンプルと、移調係数Qと、サブバンドストレッチ係数Sとに基づく位相オフセット値により、対応する入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定するように構成されてもよい。位相オフセット値は、(QS-1)により乗算された所定の入力サンプルに基づいてもよい。特に、位相オフセット値は、位相訂正パラメータθが加えられた(QS-1)により乗算された所定の入力サンプルにより与えられてもよい。位相訂正パラメータθは、特定の音響特性を有する複数の入力信号について実験的に判定されてもよい。

好ましい実施例では、所定の入力サンプルは、フレームの処理されたサンプル毎に同じである。特に、所定の入力サンプルは、入力サンプルのフレームの中央のサンプルでもよい。

或いは又は更に、この判定は、フレームの処理されたサンプル毎に、対応する入力サンプルの大きさ及び所定の入力サンプルの大きさに基づいて、処理されたサンプルの大きさを判定することにより実行されてもよい。特に、非線形フレーム処理ユニットは、対応する入力サンプルの大きさ及び所定の入力サンプルの大きさの平均値として処理されたサンプルの大きさを判定するように構成されてもよい。処理されたサンプルの大きさは、対応する入力サンプルの大きさ及び所定の入力サンプルの大きさの幾何平均値（geometric mean value）として判定されてもよい。より具体的には、幾何平均値は、所定の入力サンプルの大きさのρ乗により乗算された、対応する入力サンプルの大きさの(1-ρ)乗として判定されてもよい。典型的には、幾何大きさ重み付けパラメータ（geometrical magnitude weighting parameter）は、ρ∈(0,1]である。更に、幾何大きさ重み付けパラメータρは、サブバンド移調係数Qとサブバンドストレッチ係数Sとの関数でもよい。特に、幾何大きさ重み付けパラメータは、

でもよい。これは、低減した計算上の複雑性を生じる。

処理されたサンプルの大きさの判定に使用される所定の入力サンプルは、処理されたサンプルの位相の判定に使用される所定の入力サンプルと異なってもよい点に留意すべきである。しかし、好ましい実施例では、双方の所定の入力サンプルは同じである。

概して、非線形フレーム処理ユニットは、システムの高調波移調及び／又はタイムストレッチの程度を制御するために使用されてもよい。対応する入力サンプルの大きさ及び所定の入力サンプルの大きさから処理されたサンプルの大きさを判定する結果として、過渡信号及び／又は音声入力信号についてのシステムの性能が改善され得ることが示され得る。

このシステム（特にサブバンド処理ユニット）は、処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、合成サブバンド信号を判定するように構成された重複及び加算ユニットを有してもよい。重複及び加算ユニットは、ホップサイズを処理されたサンプルの次のフレームに適用してもよい。このホップサイズは、サブバンドストレッチ係数Sにより乗算されたブロックホップサイズpに等しくてもよい。従って、重複及び加算ユニットは、システムのタイムストレッチ及び／又は高調波移調の程度を制御するために使用されてもよい。

このシステム（特にサブバンド処理ユニット）は、重複及び加算ユニットの上流に窓処理ユニットを有してもよい。窓処理ユニットは、窓関数（ウィンドウ関数）を処理されたサンプルのフレームに適用するように構成されてもよい。従って、窓関数は、重複及び加算演算の前に、処理されたサンプルの一式のフレームに適用されてもよい。窓関数は、フレーム長Lに対応する長さを有してもよい。窓関数は、ガウス窓（Gaussian window）、コサイン窓、二乗余弦窓、ハミング窓（Hamming window）、ハン窓（Hann window）、矩形窓、バートレット窓（Bartlett window）及び／又はブラックマン窓（Blackman window）のうち１つでもよい。典型的には、窓関数は、複数の窓サンプルを有し、Spのホップサイズでシフトした複数の窓関数の重複及び加算した窓サンプルは、相当の定数値Kでの一式のサンプルを提供してもよい。

このシステムは、合成サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクを有してもよい。合成サブバンドは、タイムストレッチ及び／又は周波数移調された信号の周波数帯域に関連してもよい。合成フィルタバンクは、分析フィルタバンクのフィルタバンク又は変換に対する対応する逆フィルタバンク又は変換でもよい。特に、合成フィルタバンクは、逆の64ポイントの直交ミラーフィルタバンクでもよい。実施例では、合成フィルタバンクは、合成時間ストライド（synthesis time stride）Δt_Sを合成サブバンド信号に適用し、及び／又は合成フィルタバンクは、合成周波数間隔Δf_Sを有し、及び／又は合成フィルタバンクは、M（M>1）個の合成サブバンドを有する。ただし、mは、m=0,...,M-1の合成サブバンドインデックスである。

典型的には、分析フィルタバンクは、複数の分析サブバンド信号を生成するように構成され、サブバンド処理ユニットは、複数の分析サブバンド信号から複数の合成サブバンド信号を判定するように構成され、合成フィルタバンクは、複数の合成サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成される点に留意すべきである。

実施例では、このシステムは、物理タイムストレッチ係数S_φによりタイムストレッチされた信号及び／又は物理周波数移調係数Q_φにより周波数移調された信号を生成するように構成されてもよい。このような場合、サブバンドストレッチ係数は、

により与えられてもよく、サブバンド移調係数は、

により与えられてもよく、及び／又は分析サブバンド信号に関連する分析サブバンドインデックスn及び合成サブバンド信号に関連する合成サブバンドインデックスmは、

により関係してもよい。

が非整数値である場合、nは最も近いもの（すなわち、項

への最も近い小さい整数値又は大きい整数値）として選択されてもよい。

このシステムは、入力信号の瞬間音響特性を反映する制御データを受信するように構成された制御データ受信ユニットを有してもよい。このような瞬間音響特性は、例えば異なる音響特性クラスへの入力信号の分類により反映されてもよい。このようなクラスは、過渡信号のための過渡特性クラス及び／又は定常信号のための定常特性クラスを有してもよい。このシステムは、信号分類器を有してもよく、信号分類器から制御データを受信してもよい。信号分類器は、入力信号の瞬間音響特性を分析するように構成されてもよく、及び／又は瞬間音響特性を反映した制御データを設定するように構成されてもよい。

サブバンド処理ユニットは、制御データを考慮することにより、合成サブバンド信号を判定するように構成されてもよい。特に、ブロック抽出器は、制御データに従ってフレーム長Lを設定するように構成されてもよい。実施例では、制御データが過渡信号を反映する場合、短いフレーム長Lが設定され、及び／又は制御データが定常信号を反映する場合、長いフレーム長Lが設定される。換言すると、フレーム長Lは、定常信号部分に使用されるフレーム長Lに比べて、過渡信号部分について短縮されてもよい。従って、入力信号の瞬間音響特性は、サブバンド処理ユニット内で考慮されてもよい。その結果、過渡信号及び／又は音声信号についてのシステムの性能が改善され得る。

前述のように、典型的には、分析フィルタバンクは、複数の分析サブバンド信号を提供するように構成される。特に、分析フィルタバンクは、入力信号から第２の分析サブバンド信号を提供するように構成されてもよい。典型的には、この第２の分析サブバンド信号は、分析サブバンド信号とは入力信号の異なる周波数帯域に関連する。第２の分析サブバンド信号は、複数の複素数値の第２の分析サンプルを有してもよい。

サブバンド処理ユニットは、ブロックホップサイズpを複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するように構成された第２のブロック抽出器を有してもよい。すなわち、好ましい実施例では、第２のブロック抽出器は、フレーム長L=1を適用する。典型的には、それぞれの第２の入力サンプルは、入力サンプルのフレームに対応する。この対応は、タイミング及び／又はサンプル側面を示してもよい。特に、第２の入力サンプル及び入力サンプルの対応するフレームは、入力信号の同じ時点に関係してもよい。

サブバンド処理ユニットは、入力サンプルのフレーム及び対応する第２の入力サンプルから第２の処理されたサンプルのフレームを判定するように構成された第２の非線形フレーム処理ユニットを有してもよい。第２の処理されたサンプルのフレームの判定は、フレームの第２の処理されたサンプル毎に、位相オフセット値により対応する入力サンプルの位相をオフセットすることで、第２の処理されたサンプルの位相を判定することにより実行されてもよい。位相オフセット値は、対応する第２の入力サンプルと移調係数Qとサブバンドストレッチ係数Sとに基づく。特に、位相オフセットは、この文献に記載するように実行されてもよく、第２の処理されたサンプルは、所定の入力サンプルに取って代わる。更に、第２の処理されたサンプルのフレームの判定は、フレームの第２の処理されたサンプル毎に、対応する入力サンプルの大きさ及び対応する第２の入力サンプルの大きさに基づいて第２の処理されたサンプルの大きさを判定することにより実行されてもよい。特に、大きさは、この文献に記載するように判定されてもよく、第２の処理されたサンプルは、所定の入力サンプルに取って代わる。

従って、第２の非線形フレーム処理ユニットは、２つの異なる分析サブバンド信号から受け取られたフレームから処理されたサンプルの一連のフレーム又はフレームを導出するために使用されてもよい。換言すると、特定の合成サブバンド信号は、２つ以上の異なる分析サブバンド信号から導出されてもよい。この文献に記載するように、これは、単一の分析及び合成フィルタバンクの対が複数の高調波移調のオーダ及び／又はタイムストレッチの程度に使用される場合に、有利になり得る。

インデックスmの合成サブバンドに寄与すべき１つ又は２つの分析サブバンドを判定するために、分析及び合成フィルタバンクの周波数周波数分解能の間の関係が考慮されてもよい。特に、項

が整数値nである場合、合成サブバンド信号は、処理されたサンプルのフレームに基づいて判定されてもよいことが規定されてもよい。すなわち、合成サブバンド信号は、整数インデックスnに対応する単一の分析サブバンド信号から判定されてもよい。或いは又は更に、項

が非整数値であり、nが最も近い整数値である場合、合成サブバンド信号は、第２の処理されたサンプルのフレームに基づいて判定されてもよい。すなわち、合成サブバンド信号は、最も近い整数インデックス値n及び隣接する整数インデックス値に対応する２つの分析サブバンド信号から判定されてもよい。特に、第２の分析サブバンド信号は、分析サブバンドインデックスn+1又はn-1に対応してもよい。

更なる態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムが記載される。このシステムは、制御信号の影響でタイムストレッチ及び／又は周波数移調された信号を生成し、これにより、入力信号の瞬間音響特性を考慮するように特に適合される。これは、システムの過渡応答を改善するのに特に関係し得る。

このシステムは、入力信号の瞬間音響特性を反映する制御データを受信するように構成された制御データ受信ユニットを有してもよい。更に、このシステムは、入力信号から分析サブバンド信号を提供するように構成された分析フィルタバンクを有してもよい。分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する。このシステムは、サブバンド移調係数Q、サブバンドストレッチ係数S及び制御データを使用して分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットを有してもよい。典型的には、Q又はSのうち少なくとも１つは１より大きい。

サブバンド処理ユニットは、複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出するように構成されたブロック抽出器を有してもよい。フレーム長Lは、１より大きくてもよい。更に、ブロック抽出器は、制御データに従ってフレーム長Lを設定するように構成されてもよい。ブロック抽出器はまた、L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを複数の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するように構成されてもよい。

前述のように、サブバンド処理ユニットは、入力サンプルのフレームから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットを有してもよい。これは、フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定し、フレームの処理されたサンプル毎に、対応する入力サンプルの大きさに基づいて処理されたサンプルの大きさを判定することにより実行されてもよい。

更に、前述のように、このシステムは、処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、合成サブバンド信号を判定するように構成された重複及び加算ユニットと、合成サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクとを有してもよい。

他の態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムが記載される。このシステムは、単一の分析／合成フィルタバンクの対の中で複数のタイムストレッチ及び／又は周波数移調動作を実行するのに特に適してもよい。このシステムは、入力信号から第１及び第２の分析サブバンド信号を提供するように構成された分析フィルタバンクを有してもよい。第１及び第２の分析サブバンド信号は、それぞれ第１及び第２の分析サンプルと呼ばれる複数の複素数値の分析サンプルを有し、各分析サンプルは、位相及び大きさを有する。典型的には、第１及び第２の分析サブバンド信号は、入力信号の異なる周波数帯域に対応する。

このシステムは、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して第１及び第２の分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットを更に有してもよい。典型的には、Q又はSのうち少なくとも１つは１より大きくてもよい。サブバンド処理ユニットは、複数の第１の分析サンプルからL個の第１の入力サンプルのフレームを導出するように構成された第１のブロック抽出器を有してもよく、フレーム長Lは１より大きい。第１のブロック抽出器は、L個の第１の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを複数の第１の分析サンプルに適用し、これにより、第１の入力サンプルの一式のフレームを生成するように構成されてもよい。更に、サブバンド処理ユニットは、ブロックホップサイズpを複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するように構成された第２のブロック抽出器を有してもよい。それぞれの第２の入力サンプルは、第１の入力サンプルのフレームに対応する。第１及び第２のブロック抽出器は、この文献に記載の特徴のいずれかを有してもよい。

サブバンド処理ユニットは、第１の入力サンプルのフレーム及び対応する第２の入力サンプルから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットを有してもよい。これは、フレームの処理されたサンプル毎に、対応する第１の入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定することにより実行されてもよく、及び／又はフレームの処理されたサンプル毎に、対応する第１の入力サンプルの大きさ及び対応する第２の入力サンプルの大きさに基づいて処理されたサンプルの大きさを判定することにより実行されてもよい。特に、非線形フレーム処理ユニットは、位相オフセット値により対応する第１の入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定するように構成されてもよい。位相オフセット値は、対応する第２の入力サンプルと、移調係数Qと、サブバンドストレッチ係数Sとに基づく。

更に、サブバンド処理ユニットは、処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、合成サブバンド信号を判定するように構成された重複及び加算ユニットを有してもよい。重複及び加算ユニットは、ホップサイズを処理されたサンプルの次のフレームに適用してもよい。このホップサイズは、サブバンドストレッチ係数Sにより乗算されたブロックホップサイズpに等しくてもよい。最後に、このシステムは、合成サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクを有してもよい。

この文献に記載したシステムの異なる構成要素は、この文献でこれらの構成要素に関して記載した特徴のいずれか又は全てを有してもよい点に留意すべきである。これは、この文献の異なる部分に記載した分析及び合成フィルタバンク、サブバンド処理ユニット、非線形処理ユニット、ブロック抽出器、重複及び加算ユニット、及び／又は窓処理ユニットに特に適用可能である。

この文献に記載したシステムは、複数のサブバンド処理ユニットを有してもよい。各サブバンド処理ユニットは、異なるサブバンド移調係数Q及び／又は異なるサブバンドストレッチ係数Sを使用して中間合成サブバンド信号を判定するように構成されてもよい。このシステムは、複数のサブバンド処理ユニットの下流且つ合成フィルタバンクの上流に、対応する中間合成サブバンド信号を合成サブバンド信号に併合するように構成された併合ユニットを更に有してもよい。従って、システムは、単一の分析／合成フィルタバンクの対を使用しつつ、複数のタイムストレッチ及び／又は高調波移調動作を実行するために使用されてもよい。

このシステムは、分析フィルタバンクの上流に、ビットストリームを入力信号に復号化するように構成されたコア復号化器（core decoder）を有してもよい。このシステムはまた、併合ユニットの下流（このような併合ユニットが存在する場合）且つ合成フィルタバンクの上流にHFR処理ユニットを有してもよい。HFR処理ユニットは、ビットストリームから導出されたスペクトル帯域情報を合成サブバンド信号に適用するように構成されてもよい。

他の態様によれば、オーディオ信号の少なくとも低周波数成分を有する受信信号を復号化するセットトップボックスが記載される。セットトップボックスは、オーディオ信号の低周波数成分からオーディオ信号の高周波数成分を生成するための、この文献に記載の態様及び特徴のいずれかに従ったシステムを有してもよい。

更なる態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法が記載される。この方法は、タイムストレッチ及び／又は周波数移調動作の過渡応答を向上させるのに特にうまく適する。この方法は、入力信号から分析サブバンド信号を提供するステップを有してもよい。分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する。

概して、この方法は、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して分析サブバンド信号から合成サブバンド信号を判定するステップを有してもよい。典型的には、Q又はSのうち少なくとも１つは１より大きくてもよい。特に、この方法は、複数の複素数値の分析サンプルからL個の第１の入力サンプルのフレームを導出するステップを有してもよく、フレーム長Lは１より大きい。更に、p個のサンプルのブロックホップサイズは、L個の入力サンプルの次のフレームを導出する前に、複数の分析サンプルに適用され、これにより、入力サンプルの一式のフレームを生成してもよい。更に、この方法は、入力サンプルのフレームから処理されたサンプルのフレームを判定するステップを有してもよい。これは、フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定することにより実行されてもよい。或いは又は更に、フレームの処理されたサンプル毎に、処理されたサンプルの大きさは、対応する入力サンプルの大きさ及び所定の入力サンプルの大きさに基づいて判定されてもよい。

この方法は、処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、合成サブバンド信号を判定するステップを更に有してもよい。最終的に、タイムストレッチ及び／又は周波数移調された信号は、合成サブバンド信号から生成されてもよい。

他の態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法が記載される。この方法は、過渡入力信号に関連したタイムストレッチ及び／又は周波数移調動作の性能を改善するのに特に適する。この方法は、入力信号の瞬間音響特性を反映する制御データを受信するステップを有してもよい。この方法は、入力信号から分析サブバンド信号を提供するステップを更に有してもよい。分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する。

次のステップでは、分析サブバンド信号は、サブバンド移調係数Q、サブバンドストレッチ係数S及び制御データを使用して分析サブバンド信号から判定されてもよい。典型的には、Q又はSのうち少なくとも１つは１より大きい。特に、この方法は、複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出するステップを有してもよい。典型的には、フレーム長Lは１より大きく、フレーム長Lは制御データに従って設定される。更に、この方法は、結果として入力サンプルの一式のフレームを生成するために、L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを複数の分析サンプルに適用するステップを有してもよい。その後、処理されたサンプルのフレームは、フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定し、対応する入力サンプルの大きさに基づいて処理されたサンプルの大きさを判定することにより、入力サンプルのフレームから判定されてもよい。

合成サブバンド信号は、処理されたサンプルの一式のフレームを重複及び加算することにより判定されてもよく、タイムストレッチ及び／又は周波数移調された信号は、合成サブバンド信号から生成されてもよい。

更なる態様によれば、入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法が記載される。この方法は、単一の分析／合成フィルタバンクの対を使用して複数のタイムストレッチ及び／又は周波数移調動作を実行するのに特に適してもよい。同時に、この方法は、過渡入力信号の処理にうまく適する。この方法は、入力信号から第１及び第２の分析サブバンド信号を提供するステップを有してもよい。第１及び第２の分析サブバンド信号は、それぞれ第１及び第２の分析サンプルと呼ばれる複数の複素数値の分析サンプルをそれぞれ有する。各分析サンプルは、位相及び大きさを有する。

更に、この方法は、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して第１及び第２の分析サブバンド信号から合成サブバンド信号を判定するステップを有してもよい。典型的には、Q又はSのうち少なくとも１つは１より大きくてもよい。特に、この方法は、複数の第１の分析サンプルからL個の第１の入力サンプルのフレームを導出するステップを有してもよく、典型的には、フレーム長Lは１より大きい。p個のサンプルのブロックホップサイズは、結果として第１の入力サンプルの一式のフレームを生成するために、L個の第１の入力サンプルの次のフレームを導出する前に、複数の第１の分析サンプルに適用されてもよい。この方法は、ブロックホップサイズpを複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するステップを更に有してもよい。それぞれの第２の入力サンプルは、第１の入力サンプルのフレームに対応する。

この方法は、第１の入力サンプルのフレーム及び対応する第２の入力サンプルから処理されたサンプルのフレームを判定することで進む。これは、フレームの処理されたサンプル毎に、対応する第１の入力サンプルの位相をオフセットすることで、処理されたサンプルの位相を判定し、対応する第１の入力サンプルの大きさ及び対応する第２の入力サンプルの大きさに基づいて処理されたサンプルの大きさを判定することにより実行されてもよい。次に、合成サブバンド信号は、処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより判定されてもよい。最後に、タイムストレッチ及び／又は周波数移調された信号は、合成サブバンド信号から生成されてもよい。

他の態様によれば、ソフトウェアプログラムが記載される。ソフトウェアプログラムは、プロセッサで実行され、方法のステップを実行するように、及び／又はコンピュータデバイスで実行された場合にこの文献に記載された態様及び特徴を実施するように適合されてもよい。

更なる態様によれば、記憶媒体が記載される。記憶媒体は、プロセッサで実行され、方法のステップを実行するように、及び／又はコンピュータデバイスで実行された場合にこの文献に記載された態様及び特徴を実施するように適合されたソフトウェアプログラムを有してもよい。

他の態様によれば、コンピュータプログラムプロダクトが記載される。コンピュータプログラムプロダクトは、方法のステップを実行する実行可能命令、及び／又はコンピュータデバイスで実行された場合にこの文献に記載された態様及び特徴を実施する実行可能命令を有してもよい。

この特許出願に記載された好ましい実施例を含む方法及びシステムは、単独で使用されてもよく、この文献に開示された他の方法及びシステムと組み合わせて使用されてもよい点に留意すべきである。更に、この特許出願に記載された方法及びシステムの全ての態様は、任意に組み合わされてもよい。特に、請求項の特徴は、任意の方法で相互に組み合わされてもよい。

例示的なサブバンドブロックに基づく高調波移調の原理を示す図 １つのサブバンド入力を備えた例示的な非線形サブバンドブロック処理の動作を示す図 ２つのサブバンド入力を備えた例示的な非線形サブバンドブロック処理の動作を示す図 HFR拡張オーディオ符号化器での複数のオーダの移調を使用したサブバンドブロックに基づく移調の適用の例示的なシナリオを示す図 移調オーダ毎に別の分析フィルタバンクを適用する複数オーダのサブバンドブロックに基づく移調の動作の例示的なシナリオを示す図 単一の64帯域QMF分析フィルタバンクを適用した複数オーダのサブバンドブロックに基づく移調の効率的な動作の例示的なシナリオを示す図 例示的なオーディオ信号の係数2のサブバンドブロックに基づくタイムストレッチの過渡応答を示す図

本発明について、添付図面を参照して本発明の範囲又は要旨を限定しない例示的な例を用いて説明する。

以下に説明する実施例は、改善したサブバンドブロックに基づく高調波移調（subband block based harmonic transposition）についての本発明の原理の単なる例である。ここに記載の構成及び詳細の変更及び変形は、当業者にとって明らかになることが分かる。従って、特許請求の範囲のみにより限定され、ここでの実施例の記載及び説明を用いて提示された特定の詳細により限定されないことを意図する。

図１は、例示的なサブバンドブロックに基づく移調、タイムストレッチ（time stretch）又は移調とタイムストレッチとの組み合わせの原理を示している。入力された時間領域信号は、多数又は複数の複素数値のサブバンド信号を提供する分析フィルタバンク101に供給される。この複数のサブバンド信号は、サブバンド処理ユニット102に供給される。サブバンド処理ユニット102の動作は、制御データ104により影響されてもよい。サブバンド処理ユニット102の各出力サブバンドは、１つの入力サブバンドの処理から得られてもよく、２つの入力サブバンドから得られてもよく、複数のこのような処理されたサブバンドの結果の重ね合わせから得られてもよい。多数又は複数の複素数値の出力サブバンドは、合成フィルタバンク103に供給される。次に、合成フィルタバンク103は、変更された時間領域信号を出力する。制御データ104は、特定の信号種別について変更された時間領域信号の品質を改善するための手段である。制御データ104は、時間領域信号に関連してもよい。特に、制御データ104は、分析フィルタバンク101に供給される時間領域信号の種別に関連してもよく、これに依存してもよい。一例として、制御データ104は、時間領域信号又は時間領域信号の瞬間の部分が定常信号（stationary signal）であるか、時間領域信号が過渡信号（transient signal）であるかを示してもよい。

図２は、１つのサブバンド入力を備えた例示的な非線形サブバンドブロック処理102の動作を示している。物理的なタイムストレッチ及び／又は移調の目標値と、分析及び合成フィルタバンク101及び103の物理パラメータとを前提として、サブバンドタイムストレッチ及び移調パラメータと、ソースサブバンドインデックス（source subband index）とを推論する。ソースサブバンドインデックスは、合成サブバンドのインデックスと呼ばれてもよい目標サブバンドインデックス（target subband index）毎に、分析サブバンドのインデックスと呼ばれてもよい。サブバンドブロック処理の目的は、目標サブバンド信号を生成するために、複素数値のソースサブバンド信号の対応する移調、タイムストレッチ、又は移調とタイムストレッチとの組み合わせを実施することである。

非線形サブバンドブロック処理102では、ブロック抽出器201は、複素数値の入力信号からサンプルの有限のフレームをサンプリングする。フレームは、入力ポインタ位置とサブバンド移調係数とにより規定されてもよい。このフレームは、非線形処理ユニット202で非線形処理を受け、次に、203で有限長の窓により窓処理される。窓203は、例えば、ガウス窓（Gaussian window）、コサイン窓、ハミング窓（Hamming window）、ハン窓（Hann window）、矩形窓、バートレット窓（Bartlett window）、ブラックマン窓（Blackman window）等でもよい。結果のサンプルは、重複及び加算ユニットで前の出力サンプルに加算され、そこで、出力フレーム位置が出力ポインタ位置により規定されてもよい。入力ポインタは、ブロックホップサイズとも呼ばれる固定量だけインクリメントされ、出力ポインタは、サブバンドストレッチ係数×同じ量（すなわち、サブバンドストレッチ係数により乗算されたブロックホップサイズ）だけインクリメントされる。この動作チェーンの繰り返しは、サブバンド移調係数により移調された複素周波数で、サブバンドストレッチ係数×入力サブバンド信号の持続時間（合成窓の長さまで）である持続時間を備えた出力信号を生成する。

制御データ104は、ブロックに基づく非線形処理102の処理ブロック201、202、203、204のいずれかに影響を与えてもよい。特に、制御データ104は、ブロック抽出器201で抽出されたブロックの長さを制御してもよい。実施例では、時間領域信号が過渡信号であることを制御データ104が示す場合、ブロック長は低減されるが、時間領域信号が定常信号であることを制御データ104が示す場合、ブロック長は増加する或いはより長い長さで維持される。或いは又は更に、制御データ104は、非線形処理ユニット202（例えば、非線形処理ユニット202内で使用されるパラメータ）及び／又は窓処理ユニット203（例えば、窓処理ユニット203で使用される窓）に影響を与えてもよい。

図３は、２つのサブバンド入力を備えた例示的な非線形サブバンドブロック処理102の動作を示している。物理的なタイムストレッチ及び／又は移調の目標値と、分析及び合成フィルタバンク101及び103の物理パラメータとを前提として、サブバンドタイムストレッチ及び移調パラメータと、目標サブバンドインデックス毎の２つのソースサブバンドインデックスとを推論する。サブバンドブロック処理の目的は、目標サブバンド信号を生成するために、２つの複素数値のソースサブバンド信号のそれに従った移調、タイムストレッチ、又は移調とタイムストレッチとの組み合わせを実施することである。ブロック抽出器301-1は、第１の複素数値のソースサブバンドからサンプルの有限のフレームをサンプリングし、ブロック抽出器301-2は、第２の複素数値のソースサブバンドからサンプルの有限のフレームをサンプリングする。実施例では、ブロック抽出器301-1及び301-2の１つは、単一のサブバンドサンプルを生成してもよい。すなわち、ブロック抽出器301-1、301-2の１つは、１つのサンプルのブロック長を適用してもよい。フレームは、共通の入力ポインタ位置とサブバンド移調係数とにより規定されてもよい。それぞれブロック抽出器301-1、301-2で抽出された２つのフレームは、ユニット302で非線形処理を受ける。典型的には、非線形処理302は、２つの入力サンプルから単一の出力フレームを生成する。次に、出力フレームは、ユニット203で有限長の窓により窓処理される。前述の処理は、ブロックホップサイズを使用して２つのサブバンド信号から抽出された一式のフレームから生成された一式のフレームについて繰り返される。一式の出力フレームは、重複及び加算ユニットで重複及び加算される。この動作チェーンの繰り返しは、サブバンドストレッチ係数×２つの入力サブバンド信号の長い方（合成窓の長さまで）である持続時間を備えた出力信号を生成する。２つの入力サブバンド信号が同じ周波数を伝達する場合、出力信号は、サブバンド移調係数により移調された複素周波数を有する。

図２に関して記載したように、制御データ104は、非線形処理102の異なるブロックの動作（例えば、ブロック抽出器301-1、301-2の動作）を変更するために使用されてもよい。更に、典型的には、前述の動作は、分析フィルタバンク101により提供された全ての分析サブバンド信号及び合成フィルタバンク103に入力される全ての合成サブバンド信号について実行される点に留意すべきである。

以下では、サブバンドブロックに基づくタイムストレッチ及び移調の原理の説明について、図１〜３を参照して適切な数学用語を追加することにより記載する。

全体の高調波移調及び／又はタイムストレッチの２つの主な構成パラメータは、以下の通りである。
・S_φ：所望の物理タイムストレッチ係数、及び
・Q_φ：所望の物理移調係数
フィルタバンク101及び103は、QMF又は窓処理DFT（windowed DFT）又はウェーブレット変換のような如何なる複素指数（complex exponential）変調の種別でもよい。分析フィルタバンク101及び合成フィルタバンク103は、変調において偶数又は奇数にスタック（stack）されてもよく、広範囲のプロトタイプフィルタ及び／又は窓から規定されてもよい。全てのこれらの２次の選択肢が位相訂正及びサブバンドマッピング管理のような次の設計の詳細に影響を及ぼすが、典型的には、サブバンド処理の主なシステム設計パラメータは、全てが物理単位で測定される以下の４つのフィルタバンクパラメータの２つの比率Δt_S/Δt_A及びΔf_S/Δf_Aの認識から導かれ得る。前述の比率において、
・Δt_Aは、分析フィルタバンク101のサブバンドサンプル時間ステップ又は時間ストライド（time stride）である（例えば、秒[s]で測定される）。
・Δf_Aは、分析フィルタバンク101のサブバンド周波数間隔である（例えば、ヘルツ[1/s]で測定される）。
・Δt_Sは、合成フィルタバンク103のサブバンドサンプル時間ステップ又は時間ストライド（time stride）である（例えば、秒[s]で測定される）。
・Δf_Sは、合成フィルタバンク103のサブバンド周波数間隔である（例えば、ヘルツ[1/s]で測定される）。

サブバンド処理ユニット102の構成について、以下のパラメータが計算されるべきである。
・S：サブバンドストレッチ係数（すなわち、S_φにより時間領域信号の全体的な物理タイムストレッチを実現するために、サブバンド処理ユニット102内に適用されるストレッチ係数）
・Q：サブバンド移調係数（すなわち、係数Q_φにより時間領域信号の全体的な物理周波数移調を実現するために、サブバンド処理ユニット102内に適用される移調係数）
・ソースサブバンドインデックスと目標サブバンドインデックスとの間の対応、ただし、nはサブバンド処理ユニット102に入る分析サブバンドのインデックスを示し、mはサブバンド処理ユニット102の出力での対応する合成サブバンドのインデックスを示す。

サブバンドストレッチ係数Sを判定するために、物理持続時間Dの分析フィルタバンク101への入力信号は、サブバンド処理ユニット102への入力において分析サブバンドサンプルの数D/Δt_Aに対応することが観測された。これらのD/Δt_A個のサンプルは、サブバンドストレッチ係数Sを適用するサブバンド処理ユニット102により、S・D/Δt_A個のサンプルにストレッチ（伸張）される。合成フィルタバンク103の出力において、これらのS・D/Δt_A個のサンプルは、Δt_S・S・D/Δt_Aの物理持続時間を有する出力信号を生じる。この後者の持続時間は指定の値S_φ・Dを満たすため（すなわち、時間領域の出力信号の持続時間は、物理タイムストレッチ係数S_φにより時間領域の入力信号に比べてタイムストレッチされるべきであるため）、以下の設計規則が得られる。

物理移調Q_φを実現するためにサブバンド処理ユニット102内で適用されるサブバンド移調係数Qを判定するために、物理周波数Ωの分析フィルタバンク101への入力正弦波は、離散時間周波数ω=Ω・Δt_Aを有する複素分析サブバンド信号（complex analysis subband signal）を生じ、主な寄与は、分析サブバンド内でインデックス

で生じることが観測された。所望の移調物理周波数Q_φ・Ωの合成フィルタバンク103の出力における出力正弦波は、離散周波数Q_φ・Ω・Δt_Sの複素サブバンド信号を用いて合成サブバンドにインデックス

を与えることから生じる。これに関して、Q_φ・Ωと異なる別の出力周波数の合成を回避するために、注意が払われなければならない。典型的には、これは、前述のように適切な２次の選択を行うことにより（例えば、適切な分析／合成フィルタバンクを選択することにより）回避され得る。サブバンド処理ユニット102の出力における離散周波数Q_φ・Ω・Δt_Sは、サブバンド移調係数Qにより乗算された、サブバンド処理ユニット102の入力における離散時間周波数ω=Ω・Δt_Aに対応するべきである。すなわち、等しいQΩΔt_A及びQ_φ・Ω・Δt_Sを設定することにより、物理移調係数Q_φとサブバンド移調係数Qとの間の以下の関係が判定されてもよい。

同様に、所与の目標又は合成サブバンドインデックスmについてサブバンド処理ユニット102の適切なソース又は分析サブバンドインデックスnは、以下の式に従うべきである。

実施例では、Δf_S/Δf_A=Q_φが当てはまる。すなわち、合成フィルタバンク103の周波数間隔は、物理移調係数により乗算された分析フィルタバンク101の周波数間隔に対応し、分析−合成サブバンドインデックスの１対１のマッピングn=mが適用され得る。他の実施例では、サブバンドインデックスのマッピングは、フィルタバンクパラメータの詳細に依存してもよい。特に、合成フィルタバンク103及び分析フィルタバンク101の周波数間隔の小数部が物理移調係数Q_φとは異なる場合、１つ又は２つのソースサブバンドは、所与の目標サブバンドに適用されてもよい。２つのソースサブバンドの場合、それぞれインデックスn、n+1の２つの隣接するソースサブバンドを使用することが好ましいことがある。すなわち、第１及び第２のソースサブバンドは、(n(m),n(m)+1)又は(n(m)+1,n(m))により与えられる。

単一のソースサブバンドを有する図２のサブバンド処理について、サブバンド処理パラメータS及びQの関数として説明する。x(k)をブロック抽出器201への入力信号とし、pを入力ブロックストライドとする。すなわち、x(k)はインデックスnの分析サブバンドの複素数値の分析サブバンド信号である。ブロック抽出器201により抽出されたブロックは、一般性を失わずに、L=2R+1個のサンプルにより規定されると考えられ得る。

ただし、整数lはブロックカウントインデックスであり、Lはブロック長であり、RはR≧0の整数である。Q=1の場合、ブロックは、連続するサンプルから抽出されるが、Q>1の場合、入力アドレスが係数Qにより伸ばされるように、ダウンサンプリングが実行される。Qが整数である場合、典型的には、この動作は実行するのが簡単であるが、非整数値のQについては補間方法が必要になり得る。この説明は、非整数値のインクリメントp（すなわち、入力ブロックストライド）にも関係する。実施例では、短い補間フィルタ（例えば、２のフィルタタップを有するフィルタ）が複素数値のサブバンド信号に適用されてもよい。例えば、分数の時間インデックスk+0.5でのサンプルが必要になる場合、式

の２タップの補間は、十分な品質をもたらし得る。

式(4)の関心のある特別な場合は、R=0であり、抽出されたブロックは、単一のサンプルで構成される。すなわち、ブロック長はL=1である。

複素数zの対極表現（polar representation）は、

であり、ただし、|z|は複素数の大きさ（magnitude）であり、

は、複素数の位相である。有利には、入力フレームx_iから出力フレームy_iを生成する非線形処理ユニット202は、位相変更係数T=SQにより、

を通じて規定される。ただし、ρ∈[0,1]は幾何大きさ重み付けパラメータ（geometrical magnitude weighting parameter）である。ρ=0の場合は、抽出されたブロックの純粋な位相変更に対応する。位相訂正パラメータθは、フィルタバンクの詳細と、ソース及び目標サブバンドインデックスとに依存する。実施例では、位相訂正パラメータθは、一式の入力正弦波をスイープ（sweep）することにより実験的に判定されてもよい。更に、位相訂正パラメータθは、隣接する目標サブバンド複素正弦波（complex sinusoid）の位相差を研究することにより、又は入力信号のディラックパルス種別（Dirac pulse type）の性能を最適化することにより、導出されてもよい。位相変更係数Tは、式(5)の第１行の位相の線形結合において係数T-1及び1が整数になるような整数であるべきである。この仮定で（すなわち、位相変更係数Tが整数であるという仮定で）、非線形変更の結果は、2πの任意の整数倍の加算により位相があいまいであったとしても、うまく規定される。

換言すると、式(5)は、出力フレームサンプルの位相が、定数のオフセット値だけ対応する入力フレームサンプルの位相をオフセットすることにより判定されることを示す。この定数のオフセット値は、変更係数Tに依存してもよい。変更係数T自体は、サブバンドストレッチ係数及び／又はサブバンド移調係数に依存する。更に、定数のオフセット値は、入力フレームからの特定の入力フレームサンプルの位相に依存してもよい。この特定の入力フレームサンプルは、所与のブロックの全ての出力フレームサンプルの位相の判定について一定に保持される。式(5)の場合、入力フレームの中央のサンプルの位相が、特定の入力フレームサンプルの位相として使用される。更に、定数のオフセット値は、例えば実験的に判定されてもよい位相訂正パラメータθに依存してもよい。

式(5)の第２行は、出力フレームのサンプルの大きさが入力フレームの対応するサンプルの大きさに依存してもよいことを示す。更に、出力フレームのサンプルの大きさは、特定の入力フレームサンプルの大きさに依存してもよい。この特定の入力フレームサンプルは、全ての出力フレームサンプルの大きさの判定のために使用されてもよい。式(5)の場合、入力フレームの中央のサンプルは、特定の入力フレームサンプルとして使用される。実施例では、出力フレームのサンプルの大きさは、入力フレームの対応するサンプル及び特定の入力フレームサンプルの大きさの幾何平均に対応してもよい。

窓処理ユニット203において、長さLの窓wが出力フレームに適用され、窓処理された出力フレームを生じる。

最後に、全てのフレームがゼロにより拡張され、重複及び加算演算204が

により規定されることを仮定する。ただし、重複及び加算ユニット204は、Spのブロックストライド（すなわち、入力ブロックストライドpよりS倍高い時間ストライド）を適用する点に留意すべきである。式(4)及び(7)の時間ストライドのこの差のため、出力信号z(k)の持続時間は、入力信号x(k)の持続時間のS倍になる。すなわち、合成サブバンド信号は、分析サブバンド信号に比べてサブバンドストレッチ係数Sだけストレッチ（伸張）されている。典型的には、窓の長さLが信号持続時間に対して無視できる場合に、この所見が当てはまる点に留意すべきである。

複素正弦波がサブバンド処理102への入力として使用される場合（すなわち、分析サブバンド信号が複素正弦波

に対応する場合）、式(4)〜(7)を適用することにより、サブバンド処理102の出力（すなわち、対応する合成サブバンド信号）は、

により与えられることが判定されてもよい。

ここで、離散時間周波数ωの複素正弦波は、全てのkについて同じ定数値KまでになるSpのストライドでの窓シフトを前提として、離散時間周波数Qωの複素正弦波に変換される。

S=1且つT=Qの純粋な移調の特別な場合を考えることが例示となる。入力ブロックストライドがp=1且つR=0である場合、全ての前述のもの（特に式(5)）は、ポイントに関する（point-wise）又はサンプルに基づく位相変調規則になる。

ブロックサイズR>0を使用する利点は、正弦波の合計が分析サブバンド信号x(k)内で検討される場合に明らかになる。周波数ω₁,ω₂,...,ω_Nの正弦波の合計のためのポイントに関する規則(11)の問題は、所望の周波数Qω₁,Qω₂,...,Qω_Nがサブバンド処理102の出力（すなわち、合成サブバンド信号z(k)内）に存在するだけでなく、式

の相互変調積周波数（intermodulation product frequency）も存在することにある。典型的には、ブロックR>0及び式(10)を満たす窓を使用することは、これらの相互変調積の抑制をもたらす。他方、長いブロックは、過渡信号の大きい程度の不要な時間不鮮明（time smearing）をもたらす。更に、パルス列のような信号（例えば、母音の場合の人間の音声又は単一ピッチの楽器）について、十分に低いピッチでは、相互変調積は、WO2002/052545に記載のように望ましいことがある。この文献を援用する。

過渡信号についてブロックに基づくサブバンド処理102の比較的悪い性能の問題に対処するため、式(5)で幾何大きさ重み付けパラメータρ>0のゼロでない値を使用することが示唆される。幾何大きさ重み付けパラメータρ>0の選択は、ρ=0の純粋な位相変調の使用に比べて、ブロックに基づくサブバンド処理102の過渡応答を改善し、同時に定常信号の相互変調歪みの抑制の十分な能力を維持することが観測された（例えば、図７参照）。大きさ重み付けの特に魅力的な値はρ=1-1/Tであり、この場合、非線形処理の式(5)は、以下の計算ステップになる。

これらの計算ステップは、式(5)においてρ=0の場合から生じる純粋な位相変調の動作に比べて、等価な量の計算上の複雑性を表す。換言すると、大きさ重み付けρ=1-1/Tを使用した幾何平均式(5)に基づく出力フレームサンプルの大きさの判定は、計算上の複雑性に更なるコストを追加せずに実施され得る。同時に、定常信号の性能を維持しつつ、過渡信号についての高調波移調器の性能が改善する。

図１、２及び３について記載したように、サブバンド処理102は、制御データ104を適用することにより更に拡張されてもよい。実施例では、式(11)で同じ値のKを共有し、異なるブロック長を使用するサブバンド処理102の２つの構成が、信号適応サブバンド処理を実施するために使用されてもよい。信号適応構成切り替えサブバンド処理ユニットを設計する際の概念上の開始点は、出力でセレクタスイッチと平行して動作する２つの構成を想定することである。セレクタスイッチの位置は、制御データ104に依存する。Kの値の共有は、単一の複素正弦波の入力の場合にスイッチがシームレスになることを確保する。一般的な信号では、サブバンド信号レベルのハードスイッチは、最終的な出力信号に切り替えのアーティファクト（artifact）を導入しないように、周囲のフィルタバンクの枠組み101、103により自動的に窓処理される。式(7)の重複及び加算処理の結果として、ブロックサイズが十分に異なる場合、前述の概念上の切り替えシステムの出力と同じ出力が、最も長いブロックを備えた構成のシステムの計算上のコストで再現可能になり、制御データの更新率は早くなりすぎないことが示され得る。従って、信号適応処理に関連する計算上の複雑性に不利な点は存在しない。前述の説明によれば、短いブロック長を備えた構成は、過渡的な低ピッチの周期信号に適しているが、長いブロック長を備えた構成は、定常信号に適している。従って、オーディオ信号の部分を過渡クラス及び非過渡クラスに分類し、この分類情報を制御データ104として信号適応構成切り替えサブバンド処理ユニット102に渡すために、信号分類器が使用されてもよい。サブバンド処理ユニット102は、特定の処理パラメータ（例えば、ブロック抽出器のブロック長）を設定するために、制御データ104を使用してもよい。

以下では、サブバンド処理の説明が、２つのサブバンド入力を有する図３の場合をカバーするように拡張される。単一の入力の場合に対して行われる変更のみが説明される。他の点では、前述の情報に参照が行われる。x(k)を第１のブロック抽出器301-1への入力サブバンド信号とし、

を第２のブロック抽出器301-2への入力サブバンド信号とする。ブロック抽出器301-1により抽出されたブロックは式(4)により規定され、ブロック抽出器301-2により抽出されたブロックは単一のサブバンドサンプルで構成される。

すなわち、前述の実施例では、第１のブロック抽出器301-1は、Lのブロック長を使用するが、第２のブロック抽出器301-2は１のブロック長を使用する。このような場合、非線形処理302は、出力フレームy_lを生成し、y_lは以下により規定されてもよい。

203及び204における残りの処理は、単一の入力の場合について記載した処理と同じである。換言すると、式(5)の特定のフレームサンプルを、それぞれ他の分析サブバンド信号から抽出された単一のサブバンドサンプルにより置換することが示唆される。

実施例では、合成フィルタバンク103の周波数間隔Δf_Sと分析フィルタバンク101の周波数間隔Δf_Aとの比が所望の物理移調係数Qとは異なる場合、それぞれインデックスn、n+1の２つの分析サブバンドからインデックスmの合成サブバンドのサンプルを判定することが有利になり得る。所与のインデックスmでは、対応するインデックスnは、式(3)により与えられた分析インデックス値nを切り捨てることにより得られた整数値により与えられてもよい。分析サブバンド信号の１つ（例えば、インデックスnに対応する分析サブバンド信号）は第１のブロック抽出器301-1に供給され、他の分析サブバンド信号（例えば、インデックスn+1に対応するもの）は、第２のブロック抽出器301-2に供給される。これらの２つの分析サブバンド信号に基づいて、インデックスmに対応する合成サブバンド信号は、前述の処理に従って判定される。隣接する分析サブバンド信号の２つのブロック抽出器301-1及び302-1への割り当ては、式(3)のインデックス値を切り捨てるときに得られた剰余（すなわち、式(3)により与えられた正確なインデックス値と式(3)から得られた切り捨て後の整数値nとの差）に基づいてもよい。剰余が0.5より大きい場合、インデックスnに対応する分析サブバンド信号が第２のブロック抽出器301-2に割り当てられもよく、そうでない場合、この分析サブバンド信号は、第１のブロック抽出器301-1に割り当てられてもよい。

図４は、HFR拡張オーディオ符号化器（HFR enhanced audio codec）において複数のオーダの移調を使用したサブバンドブロックに基づく移調の適用の例示的なシナリオを示している。送信されたビットストリームは、コア復号化器（core decoder）401において受信される。コア復号化器401は、サンプリング周波数fsで低帯域幅の復号化されたコア信号を提供する。この低帯域幅の復号化されたコア信号はまた、オーディオ信号の低周波数成分と呼ばれてもよい。低サンプリング周波数fsの信号は、複素変調32帯域QMF分析バンク（complex modulated 32 band QMF analysis bank）402に続いて64帯域QMF合成バンク（64 band QMF synthesis bank）（逆QMF）405を用いて出力サンプリング周波数2fsに再サンプリングされてもよい。２つのフィルタバンク402及び405は、同じ物理パラメータΔt_S=Δt_A及びΔf_S=Δf_Aを有しており、典型的には、HFR処理ユニット404は、低帯域幅のコア信号に対応する変更されていない低いサブバンドを通過させる。出力信号の高周波数の内容は、HFR処理ユニット404により実行されたスペクトル成形及び変更を受けた複数移調ユニット403からの出力サブバンドを、64帯域のQMF合成バンク405の高いサブバンドに与えることにより得られる。複数移調器403は、入力として復号化されたコア信号を受け取り、複数の移調された信号成分の重ね合わせ又は組み合わせの64QMF帯域分析を表す多数のサブバンド信号を出力する。換言すると、複数移調器403の出力の信号は、合成フィルタバンク103に供給され得る移調された合成サブバンド信号に対応すべきである。図４の場合、合成フィルタバンク103は、逆QMFフィルタバンク405により表される。

複数移調器403の可能な実装について、図５及び６に関して記載する。複数移調器403の目的は、HFR処理404が迂回された場合、各成分がコア信号のタイムストレッチのない整数物理移調に対応する（Q_φ=2,3,...,且つSφ=1）ことである。コア信号の過渡成分について、HFR処理は、複数移調器403の悪い過渡応答を場合によっては補うことができるが、典型的には、複数移調器自体の過渡応答が十分である場合にのみ常に高い品質が達成され得る。この文献に記載するように、移調器制御信号104は、複数移調器403の動作に影響を与え、これにより、複数移調器403の十分な過渡応答を確保してもよい。或いは又は更に、前述の幾何重み付け方式（例えば、式(5)及び／又は式(14)を参照）は、高調波移調器403の過渡応答を改善するのに寄与してもよい。

図５は、移調オーダ毎に別々の分析フィルタバンク502-2、502-3、502-4を適用した複数オーダのサブバンドブロックに基づく移調ユニット403の動作の例示的なシナリオを示している。図示の例では、３つの移調オーダQ_φ=2,3,4が生成され、出力サンプリングレート2fsで動作する64帯域QMFバンクの領域に送出される。併合ユニット504は、各移調係数分岐からの関連サブバンドを選択し、HFR処理ユニットに供給される単一の複数のQMFサブバンドに結合する。

まず、Q_φ=2の場合を検討する。特に、目的は、64帯域QMF分析502-2、サブバンド処理ユニット503-2及び64帯域QMF合成405の処理チェーンがS_φ=1（すなわち、ストレッチなし）でQ_φ=2の物理移調を生じることである。それぞれ図１のユニット101、102及び103を備えたこれらの３つのブロックを特定することで、式(1)〜(3)がサブバンド処理ユニット503-2の以下の仕様を生じるように、Δt_S/Δt_A=1/2且つΔf_S/Δf_A=2であることを見つける。サブバンド処理ユニット503-2は、S=2のサブバンドストレッチと、Q=1のサブバンド移調（すなわち、なし）と、n=mにより与えられるインデックスnのソースサブバンドとインデックスmの目標サブバンドとの間の対応付け（式(3)を参照）とを実行しなければならない。

Q_φ=3の場合、例示的なシステムは、係数3/2により入力サンプリングレートをfsから2fs/3に下げるように変換するサンプリングレート変換器501-3を含む。特に、目的は、64帯域QMF分析502-3、サブバンド処理ユニット503-3及び64帯域QMF合成405の処理チェーンがS_φ=1（すなわち、ストレッチなし）でQ_φ=3の物理移調を生じることである。それぞれ図１のユニット101、102及び103を備えた前述の３つのブロックの処理チェーンを特定することで、式(1)〜(3)がサブバンド処理ユニット503-3の以下の仕様を提供するように、再サンプリングのためΔt_S/Δt_A=1/3且つΔf_S/Δf_A=3であることを見つける。サブバンド処理ユニット503-3は、S=3のサブバンドストレッチと、Q=1のサブバンド移調（すなわち、なし）と、n=mにより与えられるインデックスnのソースサブバンドとインデックスmの目標サブバンドとの間の対応付け（式(3)を参照）とを実行しなければならない。

Q_φ=4の場合、例示的なシステムは、係数2により入力サンプリングレートをfsからfs/2に下げるように変換するサンプリングレート変換器501-4を含む。特に、目的は、64帯域QMF分析502-4、サブバンド処理ユニット503-4及び64帯域QMF合成405の処理チェーンがS_φ=1（すなわち、ストレッチなし）でQ_φ=4の物理移調を生じることである。それぞれ図１のユニット101、102及び103を備えたこれらの３つのブロックの処理チェーンを特定することで、式(1)〜(3)がサブバンド処理ユニット503-4の以下の仕様を提供するように、再サンプリングのためΔt_S/Δt_A=1/4且つΔf_S/Δf_A=4であることを見つける。サブバンド処理ユニット503-4は、S=4のサブバンドストレッチと、Q=1のサブバンド移調（すなわち、なし）と、n=mにより与えられるインデックスnのソースサブバンドとインデックスmの目標サブバンドとの間の対応付けとを実行しなければならない。

図５の例示的なシナリオの結論として、サブバンド処理ユニット504-2〜503-4の全ては、純粋なサブバンド信号のストレッチを実行し、図２に関して記載した単一入力の非線形サブバンドブロック処理を使用する。存在する場合には、制御信号104は、全ての３つのサブバンド処理ユニットの動作に同時に影響を与える。特に、制御信号104は、入力信号の部分の種別（過渡又は非過渡）に応じて、長いブロック長の処理と短いブロック長の処理との間を同時に切り替えるために使用されてもよい。或いは又は更に、３つのサブバンド処理ユニット504-2〜504-4がゼロでない幾何大きさ重み付けパラメータρ>0を利用する場合、複数移調器の過渡応答は、ρ=0の場合に比べて改善する。

図６は、単一の64帯域QMF分析フィルタバンクを適用した複数オーダのサブバンドブロックに基づく移調の効率的な動作の例示的なシナリオを示している。実際に、図５における３つの別々のQMF分析バンク及び２つのサンプリングレート変換器の使用は、サンプリングレート変換（すなわち、分数サンプリングレート変換）501-3のため、むしろ高い計算上の複雑性と、フレームに基づく処理の幾つかの実装上の欠点を生じる。従って、ユニット501-3→502-3→503-3及び501-4→502-4→503-4を有する２つの移調の分岐を、それぞれサブバンド処理ユニット603-3及び603-4により置換し、分岐502-2→503-2を図５に比べて変更しないままにすることが示唆される。全ての３つのオーダの移調は、Δt_S/Δt_A=1/2且つΔf_S/Δf_A=2の場合に、図１を参照したフィルタバンク領域で実行される。換言すると、単一の分析フィルタバンク502-2及び単一の合成フィルタバンク405のみが使用され、これにより、複数移調器の全体の計算上の複雑性を低減する。

Q_φ=3、S_φ=1の場合、式(1)〜(3)により与えられるサブバンド処理ユニット603-3の仕様は、サブバンド処理ユニット603-3がS=2のサブバンドストレッチと、Q=3/2のサブバンド移調と、

により与えられるインデックスnのソースサブバンドとインデックスmの目標サブバンドとの間の対応付けを実行しなければならないことである。Q_φ=4、S_φ=1の場合、式(1)〜(3)により与えられるサブバンド処理ユニット603-4の仕様は、サブバンド処理ユニット603-4がS=2のサブバンドストレッチと、Q=2のサブバンド移調と、

により与えられるインデックスnのソースサブバンドとインデックスmの目標サブバンドとの間の対応付けを実行しなければならないことである。

式(3)は、インデックスmの目標サブバンドについて整数値のインデックスnを必ずしも提供するとは限らないことが分かる。従って、前述のように（式(14)を使用して）目標サブバンドの持続時間について２つの隣接するソースサブバンドを考慮することが有利になり得る。特に、これは、式(3)がインデックスnについて非整数値を提供するインデックスmの目標サブバンドにとって有利になり得る。他方、式(3)がインデックスnについて整数値を提供するインデックスmの目標サブバンドは、（式(5)を使用して）インデックスnの単一のソースサブバンドから判定されてもよい。換言すると、十分に高品質の高調波移調は、図３に関して記載した２つのサブバンド入力を有する非線形サブバンドブロック処理を双方とも利用するサブバンド処理ユニット603-3及び603-4を使用することにより、実現され得ることが示唆される。更に、存在する場合には、制御信号104は、全ての３つのサブバンド処理ユニットの動作に同時に影響を与える。或いは又は更に、３つのサブバンド処理ユニット503-2、603-3、603-4がゼロでない幾何大きさ重み付けパラメータρ>0を利用する場合、複数移調器の過渡応答は、ρ=0の場合に比べて改善する。

図７は、係数2のサブバンドブロックに基づくタイムストレッチの例示的な過渡応答を示している。上部のパネルは、入力信号を示しており、入力信号は、16kHzでサンプリングされたカスタネットの音である。図１の構成に基づくシステムは、64帯域QMF分析フィルタバンク101と、64帯域QMF合成フィルタバンク103とで設計されている。サブバンド処理ユニット102は、係数S=2のサブバンドストレッチと、サブバンド移調なし（Q=1）と、ソースから目標サブバンドへの直接の１対１のマッピングとを実施するように構成される。分析ブロックストライドはp=1であり、ブロックサイズ半径はR=1であり、これにより、ブロック長は、15・64=960の信号領域（時間領域）サンプルに対応するL=15のサブバンドサンプルになる。窓wは二乗余弦（例えば、コサインの２乗）である。図７の中央のパネルは、純粋な位相変更がサブバンド処理ユニット102により適用された場合（すなわち、重み付けパラメータρ=0が式(5)に従って非線形ブロック処理に使用された場合）のタイムストレッチの出力信号を示している。下部のパネルは、幾何大きさ重み付けパラメータρ=1/2が式(5)に従って非線形ブロック処理に使用された場合のタイムストレッチの出力信号を示している。認識できるように、後者の場合には、過渡応答がかなり良くなっている。特に、重み付けパラメータρ=0を使用したサブバンド処理は、重み付けパラメータρ=1/2を使用したサブバンド処理でかなり低減される（参照符号702参照）アーティファクト701を生じることが分かる。

この文献では、高調波移調に基づくHFR及び／又はタイムストレッチのための方法及びシステムが記載されている。この方法及びシステムは、定常及び過渡信号について高品質の高調波移調を提供しつつ、通常の高調波に基づくHFRに比べてかなり低減した計算上の複雑性で実装され得る。記載した高調波移調に基づくHFRは、ブロックに基づく非線形サブバンド処理を利用する。非線形サブバンド処理を信号の種別（例えば、過渡又は非過渡）に適合させるために、信号依存の制御データの使用が提案される。更に、ブロックに基づく非線形サブバンド処理を使用して高調波移調の過渡応答を改善するために、幾何重み付けパラメータの使用が示唆される。最後に、高調波移調及びHFR処理について単一の分析／合成フィルタバンクの対を利用する、高調波移調に基づくHFRのための低い複雑性の方法及びシステムが記載される。記載した方法及びシステムは、様々な復号化デバイス（例えば、マルチメディア受信機、ビデオ／オーディオセットトップボックス、移動デバイス、オーディオプレイヤ、ビデオプレイヤ等）で使用されてもよい。

この文献に記載した移調及び／又は高周波数再構成及び／又はタイムストレッチのための方法及びシステムは、ソフトウェア、ファームウェア及び／又はハードウェアとして実装されてもよい。例えば、特定の構成要素は、デジタルシグナルプロセッサ又はマイクロプロセッサで実行するソフトウェアとして実装されてもよい。例えば、他の構成要素は、ハードウェア又は特定用途向け集積回路として実装されてもよい。記載した方法及びシステムで生じた信号は、ランダムアクセスメモリ又は光記憶媒体のような媒体に格納されてもよい。これらはラジオネットワーク、衛星ネットワーク、無線ネットワーク又は有線ネットワーク（例えば、インターネット）のようなネットワークを介して伝達されてもよい。この文献に記載した方法及びシステムを利用する典型的なデバイスは、オーディオ信号を格納及び／又は処理するために使用されるポータブル電子デバイス又は他の消費者装置である。この方法及びシステムは、ダウンロード用のオーディオ信号（例えば、音楽信号）を格納して提供するコンピュータシステム（例えば、インターネットウェブサーバ）で使用されてもよい。

Claims (41)

1. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムであって、
   前記入力信号から分析サブバンド信号を提供するように構成された分析フィルタバンクであり、前記分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する分析フィルタバンクと、
   サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して前記分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットであり、Q又はSのうち少なくとも１つは１より大きいサブバンド処理ユニットと
   を有し、
   前記サブバンド処理ユニットは、
   前記複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出し、ただし、フレーム長Lは、１より大きく、
   L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するように構成されたブロック抽出器と、
   フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、対応する入力サンプルの大きさ及び所定の入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、入力サンプルのフレームから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットと、
   処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を判定するように構成された重複及び加算ユニットと
   を有し、
   前記システムは、
   前記合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクを有するシステム。
2. 前記分析フィルタバンクは、直交ミラーフィルタバンク、窓処理離散フーリエ変換又はウェーブレット変換のうち１つであり、
   前記合成フィルタバンクは、対応する逆のフィルタバンク又は変換である、請求項１に記載のシステム。
3. 前記分析フィルタバンクは、64ポイントの直交ミラーフィルタバンクであり、
   前記合成フィルタバンクは、逆の64ポイントの直交ミラーフィルタバンクである、請求項２に記載のシステム。
4. 前記分析フィルタバンクは、分析時間ストライドΔt_Aを前記入力信号に適用し、
   前記分析フィルタバンクは、分析周波数間隔Δf_Aを有し、
   前記分析フィルタバンクは、N（N>1）個の分析サブバンドを有し、ただし、nはn=0,...,N-1の分析サブバンドインデックスであり、
   前記N個の分析サブバンドの分析サブバンドは、前記入力信号の周波数帯域に関連し、
   前記合成フィルタバンクは、合成時間ストライドΔt_Sを合成サブバンド信号に適用し、
   前記合成フィルタバンクは、合成周波数間隔Δf_Sを有し、
   前記合成フィルタバンクは、M（M>1）個の合成サブバンドを有し、ただし、mは、m=0,...,M-1の合成サブバンドインデックスであり、
   前記M個の合成サブバンドの合成サブバンドは、前記タイムストレッチ及び／又は周波数移調された信号の周波数帯域に関連する、請求項１ないし３のうちいずれか１項に記載のシステム。
5. 前記システムは、物理タイムストレッチ係数S_φによりタイムストレッチされた信号及び／又は物理周波数移調係数Q_φにより周波数移調された信号を生成するように構成され、
   前記サブバンドストレッチ係数は、
   

   

   により与えられ、
   前記サブバンド移調係数は、
   

   

   により与えられ、
   前記分析サブバンド信号に関連する前記分析サブバンドインデックスn及び前記合成サブバンド信号に関連する前記合成サブバンドインデックスmは、
   

   

   により関係する、請求項４に記載のシステム。
6. 前記ブロック抽出器は、サブバンド移調係数Qにより、前記複数の分析サンプルをダウンサンプリングするように構成される、請求項１ないし５のうちいずれか１項に記載のシステム。
7. 前記ブロック抽出器は、入力サンプルを導出するために、２つ以上の分析サンプルを補間するように構成される、請求項１ないし６のうちいずれか１項に記載のシステム。
8. 前記非線形フレーム処理ユニットは、前記対応する入力サンプルの大きさ及び前記所定の入力サンプルの大きさの平均値として前記処理されたサンプルの大きさを判定するように構成される、請求項１ないし７のうちいずれか１項に記載のシステム。
9. 前記非線形フレーム処理ユニットは、前記対応する入力サンプルの大きさ及び前記所定の入力サンプルの大きさの幾何平均値として前記処理されたサンプルの大きさを判定するように構成される、請求項８に記載のシステム。
10. 前記幾何平均値は、前記所定の入力サンプルの大きさのρ乗により乗算された、前記対応する入力サンプルの大きさの(1-ρ)乗として判定され、幾何大きさ重み付けパラメータは、ρ∈(0,1]である、請求項９に記載のシステム。
11. 前記幾何大きさ重み付けパラメータρは、前記サブバンド移調係数Qと前記サブバンドストレッチ係数Sとの関数ある、請求項１０に記載のシステム。
12. 前記幾何大きさ重み付けパラメータは、
    

    

    である、請求項１１に記載のシステム。
13. 前記非線形フレーム処理ユニットは、前記入力サンプルのフレームからの前記所定の入力サンプルと、前記移調係数Qと、前記サブバンドストレッチ係数Sとに基づく位相オフセット値により、前記対応する入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定するように構成される、請求項１ないし１２のうちいずれか１項に記載のシステム。
14. 前記位相オフセット値は、(QS-1)により乗算された前記所定の入力サンプルに基づく、請求項１３に記載のシステム。
15. 前記位相オフセット値は、位相訂正パラメータθが加えられた(QS-1)により乗算された前記所定の入力サンプルにより与えられる、請求項１４に記載のシステム。
16. 前記位相訂正パラメータθは、特定の音響特性を有する複数の入力信号について実験的に判定される、請求項１５に記載のシステム。
17. 前記所定の入力サンプルは、前記フレームの処理されたサンプル毎に同じである、請求項１ないし１６のうちいずれか１項に記載のシステム。
18. 前記所定の入力サンプルは、前記入力サンプルのフレームの中央のサンプルである、請求項１ないし１７のうちいずれか１項に記載のシステム。
19. 前記重複及び加算ユニットは、ホップサイズを処理されたサンプルの次のフレームに適用し、前記ホップサイズは、前記サブバンドストレッチ係数Sにより乗算された前記ブロックホップサイズpに等しい、請求項１ないし１８のうちいずれか１項に記載のシステム。
20. 前記サブバンド処理ユニットは、前記重複及び加算ユニットの上流に、窓関数を前記処理されたサンプルのフレームに適用するように構成された窓処理ユニットを有する、請求項１ないし１９のうちいずれか１項に記載のシステム。
21. 前記窓関数は、フレーム長Lに対応する長さを有し、
    前記窓関数は、ガウス窓、コサイン窓、二乗余弦窓、ハミング窓、ハン窓、矩形窓、バートレット窓、ブラックマン窓のうち１つである、請求項２０に記載のシステム。
22. 前記窓関数は、複数の窓サンプルを有し、Spのホップサイズでシフトした複数の窓関数の重複及び加算した窓サンプルは、相当の定数値Kでの一式のサンプルを提供する、請求項２０又は２１に記載のシステム。
23. 前記分析フィルタバンクは、複数の分析サブバンド信号を生成するように構成され、
    前記サブバンド処理ユニットは、前記複数の分析サブバンド信号から複数の合成サブバンド信号を判定するように構成され、
    前記合成フィルタバンクは、前記複数の合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するように構成される、請求項１ないし２２のうちいずれか１項に記載のシステム。
24. 前記入力信号の瞬間音響特性を反映する制御データを受信するように構成された制御データ受信ユニットを更に有し、
    前記サブバンド処理ユニットは、前記制御データを考慮することにより、前記合成サブバンド信号を判定するように構成される、請求項１ないし２３のうちいずれか１項に記載のシステム。
25. 前記ブロック抽出器は、前記制御データに従ってフレーム長Lを設定するように構成される、請求項２４に記載のシステム。
26. 前記制御データが過渡信号を反映する場合、短いフレーム長Lが設定され、
    前記制御データが定常信号を反映する場合、長いフレーム長Lが設定される、請求項２５に記載のシステム。
27. 前記入力信号の前記瞬間音響特性を分析し、前記瞬間音響特性を反映した前記制御データを設定するように構成された信号分類器を更に有する、請求項２４ないし２６のうちいずれか１項に記載のシステム。
28. 前記分析フィルタバンクは、前記入力信号から第２の分析サブバンド信号を提供するように構成され、前記第２の分析サブバンド信号は、前記分析サブバンド信号とは前記入力信号の異なる周波数帯域に関連し、複数の複素数値の第２の分析サンプルを有し、
    前記サブバンド処理ユニットは、
    前記ブロックホップサイズpを前記複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するように構成された第２のブロック抽出器と、
    フレームの第２の処理されたサンプル毎に、対応する第２の入力サンプルと前記移調係数Qと前記サブバンドストレッチ係数Sとに基づく位相オフセット値により前記対応する入力サンプルの位相をオフセットすることで、前記第２の処理されたサンプルの位相を判定し、前記対応する入力サンプルの大きさ及び前記対応する第２の入力サンプルの大きさに基づいて前記第２の処理されたサンプルの大きさを判定することで、入力サンプルのフレーム及び対応する第２の入力サンプルから第２の処理されたサンプルのフレームを判定するように構成された第２の非線形フレーム処理ユニットと
    を更に有する、請求項１ないし２７のうちいずれか１項に記載のシステム。
29. 

    が整数値nである場合、前記合成サブバンド信号は、前記処理されたサンプルのフレームに基づいて判定され、
    

    

    が非整数値であり、nが最も近い整数値である場合、前記合成サブバンド信号は、前記第２の処理されたサンプルのフレームに基づいて判定され、
    前記第２の分析サブバンド信号は、分析サブバンドインデックスn+1又はn-1に関連する、請求項２８に記載のシステム。
30. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムであって、
    前記入力信号の瞬間音響特性を反映する制御データを受信するように構成された制御データ受信ユニットと、
    前記入力信号から分析サブバンド信号を提供するように構成された分析フィルタバンクであり、前記分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する分析フィルタバンクと、
    サブバンド移調係数Q、サブバンドストレッチ係数S及び前記制御データを使用して前記分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットであり、Q又はSのうち少なくとも１つは１より大きいサブバンド処理ユニットと
    を有し、
    前記サブバンド処理ユニットは、
    前記複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出し、ただし、フレーム長Lは、１より大きく、前記制御データに従って前記フレーム長Lを設定し、
    L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するように構成されたブロック抽出器と、
    フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、前記対応する入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、入力サンプルのフレームから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットと、
    処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を判定するように構成された重複及び加算ユニットと
    を有し、
    前記システムは、
    前記合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクを有するシステム。
31. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成するように構成されたシステムであって、
    前記入力信号から第１及び第２の分析サブバンド信号を提供するように構成された分析フィルタバンクであり、前記第１及び第２の分析サブバンド信号は、それぞれ第１及び第２の分析サンプルと呼ばれる複数の複素数値の分析サンプルを有し、各分析サンプルは、位相及び大きさを有する分析フィルタバンクと、
    サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して前記第１及び第２の分析サブバンド信号から合成サブバンド信号を判定するように構成されたサブバンド処理ユニットであり、Q又はSのうち少なくとも１つは１より大きいサブバンド処理ユニットと
    を有し、
    前記サブバンド処理ユニットは、
    前記複数の第１の分析サンプルからL個の第１の入力サンプルのフレームを導出し、ただし、フレーム長Lは１より大きく、
    L個の第１の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の第１の分析サンプルに適用し、これにより、第１の入力サンプルの一式のフレームを生成する第１のブロック抽出器と、
    前記ブロックホップサイズpを前記複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するように構成された第２のブロック抽出器であり、それぞれの第２の入力サンプルは、第１の入力サンプルのフレームに対応する第２のブロック抽出器と、
    フレームの処理されたサンプル毎に、対応する第１の入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、前記対応する第１の入力サンプルの大きさ及び対応する第２の入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、第１の入力サンプルのフレーム及び対応する第２の入力サンプルから処理されたサンプルのフレームを判定するように構成された非線形フレーム処理ユニットと、
    処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を判定するように構成された重複及び加算ユニットであり、ホップサイズを処理されたサンプルの次のフレームに適用し、前記ホップサイズは、前記サブバンドストレッチ係数Sにより乗算された前記ブロックホップサイズpに等しい重複及び加算ユニットと
    を有し、
    前記システムは、
    前記合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するように構成された合成フィルタバンクを有するシステム。
32. 前記非線形フレーム処理ユニットは、前記対応する第２の入力サンプルと、前記移調係数Qと、前記サブバンドストレッチ係数Sとに基づく位相オフセット値により、前記対応する第１の入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定するように構成される、請求項３１に記載のシステム。
33. 異なるサブバンド移調係数Q及び／又は異なるサブバンドストレッチ係数Sを使用して中間合成サブバンド信号を判定するようにそれぞれ構成された複数のサブバンド処理ユニットと、
    前記複数のサブバンド処理ユニットの下流且つ前記合成フィルタバンクの上流に、対応する中間合成サブバンド信号を前記合成サブバンド信号に併合するように構成された併合ユニットと
    を更に有する、請求項１ないし３２のうちいずれか１項に記載のシステム。
34. 前記分析フィルタバンクの上流に、ビットストリームを前記入力信号に復号化するように構成されたコア復号化器と、
    前記併合ユニットの下流且つ前記合成フィルタバンクの上流に、前記ビットストリームから導出されたスペクトル帯域情報を前記合成サブバンド信号に適用するように構成されたHFR処理ユニットと
    を更に有する、請求項３３に記載のシステム。
35. オーディオ信号の少なくとも低周波数成分を有する受信信号を復号化するセットトップボックスであって、
    前記オーディオ信号の前記低周波数成分から前記オーディオ信号の高周波数成分を生成するための、請求項１ないし３４のうちいずれか１項に記載のシステムを有するセットトップボックス。
36. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法であって、
    前記入力信号から分析サブバンド信号を提供するステップであり、前記分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有するステップと、
    前記複数の複素数値の分析サンプルからL個の第１の入力サンプルのフレームを導出するステップであり、フレーム長Lは１より大きいステップと、
    L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するステップと、
    フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、前記対応する入力サンプルの大きさ及び所定の入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、入力サンプルのフレームから処理されたサンプルのフレームを判定するステップと、
    処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を判定するステップと、
    前記合成サブバンド信号からタイムストレッチ及び／又は周波数移調された信号を生成するステップと
    を有する方法。
37. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法であって、
    前記入力信号の瞬間音響特性を反映する制御データを受信するステップと、
    前記入力信号から分析サブバンド信号を提供するステップであり、前記分析サブバンド信号は、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有するステップと、
    前記複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出するステップであり、フレーム長Lは１より大きく、フレーム長Lは前記制御データに従って設定されるステップと、
    L個の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するステップと、
    フレームの処理されたサンプル毎に、対応する入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、前記対応する入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、入力サンプルのフレームから処理されたサンプルのフレームを判定するステップと、
    処理されたサンプルの一式のフレームを重複及び加算することにより、前記合成サブバンド信号を判定するステップと、
    前記合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するステップと
    を有する方法。
38. 入力信号からタイムストレッチ及び／又は周波数移調された信号を生成する方法であって、
    前記入力信号から第１及び第２の分析サブバンド信号を提供するステップであり、前記第１及び第２の分析サブバンド信号は、それぞれ第１及び第２の分析サンプルと呼ばれる複数の複素数値の分析サンプルをそれぞれ有し、各分析サンプルは、位相及び大きさを有するステップと、
    前記複数の第１の分析サンプルからL個の第１の入力サンプルのフレームを導出するステップであり、フレーム長Lは１より大きいステップと、
    L個の第１の入力サンプルの次のフレームを導出する前に、p個のサンプルのブロックホップサイズを前記複数の第１の分析サンプルに適用し、これにより、第１の入力サンプルの一式のフレームを生成するステップと、
    前記ブロックホップサイズpを前記複数の第２の分析サンプルに適用することにより、一式の第２の入力サンプルを導出するステップであり、それぞれの第２の入力サンプルは、第１の入力サンプルのフレームに対応するステップと、
    フレームの処理されたサンプル毎に、対応する第１の入力サンプルの位相をオフセットすることで、前記処理されたサンプルの位相を判定し、前記対応する第１の入力サンプルの大きさ及び対応する第２の入力サンプルの大きさに基づいて前記処理されたサンプルの大きさを判定することにより、第１の入力サンプルのフレーム及び対応する第２の入力サンプルから処理されたサンプルのフレームを判定するステップと、
    処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を判定するステップと、
    前記合成サブバンド信号から前記タイムストレッチ及び／又は周波数移調された信号を生成するステップと
    を有する方法。
39. プロセッサで実行され、コンピュータデバイスで実行された場合に、請求項３６ないし３８のうちいずれか１項の記載の方法のステップを実行するように適合されたソフトウェアプログラム。
40. プロセッサで実行され、コンピュータデバイスで実行された場合に、請求項３６ないし３８のうちいずれか１項の記載の方法のステップを実行するように適合されたソフトウェアプログラムを有する記憶媒体。
41. コンピュータで実行された場合に、請求項３６ないし３８のうちいずれか１項の記載の方法のステップを実行するための実行可能命令を有するコンピュータプログラムプロダクト。

Images