JP4939933B2 - オーディオ信号符号化装置及びオーディオ信号復号化装置 - Google Patents

Description

本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディオ信号を復号化する復号化装置に関するものである。

従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとしてＩＳＯ／ＩＥＣの国際標準方式、通称ＭＰＥＧ方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ＩＳＯ／ＩＥＣ １３８１８−７、通称ＭＰＥＧ２ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などがあげられる。本方式の拡張規格も複数規格化が現在なされている（非特許文献１参照。）。
ＩＳＯ／ＩＥＣ １３８１８−７（ＭＰＥＧ２ ＡＡＣ）

しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載のＡＡＣなどでは、マルチチャネルの信号を符号化する際に、チャネル間の相関を十分に生かしきれていないため、低ビットレート化することが困難であった。図１は、マルチチャネルの信号を符号化したものを復号化する際の従来の方法を示す図である。図１に示すように、例えば、従来のマルチチャネルＡＡＣ符号化装置６００では、５．１チャネルのオーディオ信号を符号化し、多重化して、放送などにより従来のプレーヤ６１０に送信している。このような符号化データを受信する従来のプレーヤ６１０では、出力が２チャネルのスピーカやヘッドホンの場合、マルチチャネルＡＡＣ復号化部６１１及びダウンミックス部６１２を備え、受信した符号化信号から生成したダウンミクス信号を２チャネルのスピーカ又はヘッドホン６１３に出力している。

しかしながら、従来のプレーヤ６１０では、原音のマルチチャネル信号を符号化したものを復号化する際に、２つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号化する。その後、ダウンミクス部６１２が、復号化されたすべてのチャネルから前記２つのスピーカやヘッドホンで再生すべきダウンミクス信号（右）ＤＲ、（左）ＤＬを、ダウンミクスなどの方法を用いて生成する。例えば、５．１チャネルのマルチチャネル信号は、聴視者の前方正面Center、前方右FR、前方左FL、後方右BR、及び後方左BLに配置される音源からの５チャネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャネルの信号LFEとから構成される。ダウンミクス部６１２は、復号化されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号ＤＲ、ＤＬを生成している。このことは２つのスピーカやヘッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの計算手段の消費電力やコストを高める原因となっている。

上記課題を解決するため、本発明の一形態であるオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚上、類似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備え、前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、前記信号分離手段は、前記混入信号を入力として、前記補助情報内の前記線形予測係数を係数として有する関数を用いて、少なくとも１つの混入前の前記オーディオ信号と聴覚上、類似するオーディオ信号を生成する。
上記課題を解決するため、本発明の一形態であるオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚上、類似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備え、前記補助情報は、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、前記信号分離手段は、前記混入信号を入力として、前記補助情報内の前記線形予測係数を係数として有する関数を用いて、少なくとも１つの混入前の前記オーディオ信号列と聴覚上、類似するオーディオ信号を生成する。

なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなく、オーディオ信号符号化方法及びオーディオ信号復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列から符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらかじめ混入された信号が、マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなく、ダウンミクス信号部だけを復号すれば、２チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図２は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディオ信号符号化装置２００の構成を示すブロック図である。このオーディオ信号符号化装置２００は、少なくとも２つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す１つの符号化データとその符号化データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号化部２０３および補助情報生成部２０４を備える。補助情報生成部２０４は、内部に、ゲイン算出部２１１、位相算出部２１２及び係数算出部２１３を備える。以下では、説明を簡単にするために入力信号が２つの場合について説明する。混入信号符号化部２０３及び補助情報生成部２０４は、いずれも入力信号（１）２０１と、入力信号（２）２０２とを入力とし、混入信号符号化部２０３は混入信号及び混入信号情報２０６を生成する。ここで、混入信号は、入力信号（１）２０１及び入力信号（２）２０２を、所定の方法で重畳して得られる信号である。補助情報生成部２０４は、入力された入力信号（１）２０１、入力信号（２）２０２および混入信号符号化部２０３の出力である混入信号から、補助情報２０５を生成する。

より具体的には、混入信号符号化部２０３では、入力信号（１）２０１及び入力信号（２）２０２を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報２０６を出力する。ここで、混入信号符号化部２０３の符号化方法としては、ＡＡＣなどの方法を用いてもよいが、特に問わない。

補助情報生成部２０４では、入力信号（１）２０１、入力信号（２）２０２及び混入信号符号化部２０３で作られた混入信号と混入信号情報２０６を用いて補助情報２０５を生成する。ここで補助情報２０５は、混入信号から、混入前の信号である入力信号（１）２０１と、入力信号（２）２０２とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（１）２０１と、入力信号（２）２０２とが完全に同じように分離できてもいいし、聞いたところ差がないような程度に分離できるのでもよい。聞いて差があったとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）フィルタバンクを用いる符号化方法で符号化してもよいし、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを用いる符号化方法で符号化してもよい。

ゲイン算出部２１１は、入力信号（１）２０１及び入力信号（２）２０２と混入信号とを比較して、混入信号から入力信号（１）２０１及び入力信号（２）２０２とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部２１１は、まず、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施すことによって、入力信号（１）２０１、入力信号（２）２０２及び混入信号を時間周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号と、混入信号から変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号から変換されたサブバンド信号を用いて、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報２０５として出力する。なお、ここで求めるゲインの分布は、入力信号（１）２０１及び入力信号（２）２０２から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号から入力信号（１）２０１及び入力信号（２）２０２の一方が生成されると、生成された入力信号（１）２０１又は入力信号（２）２０２を混入信号から減算することによって他方の入力信号（１）２０１又は入力信号（２）２０２が得られるからである。

また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部２１２は、ゲイン算出部２１１と同様、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施す。さらに位相算出部２１２は、サブバンドごとに、入力信号（１）２０１から得られたサブバンド信号と、入力信号（２）２０２から得られたサブバンド信号との位相差（遅延量）を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号（１）２０１と入力信号（２）２０２との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部２１２は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。

さらに、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、入力信号（１）２０１と入力信号（２）２０２との一方の信号は、他方の信号に無相関な信号（ノイズ信号）とみなすことができる。従って、係数算出部２１３は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、まず、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数）を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が２つの信号からなるのであれば、２組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部２１３は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（１）２０１と入力信号（２）２０２との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、ＱＭＦフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。

次に図３を用いて復号化方法を説明する。図３は、本発明のオーディオ信号復号化装置１００の主要部の構成を模式的に示した図である。オーディオ信号復号化装置１００は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報から出力信号（１）１０５と、出力信号（２）１０６とを分離する復号化装置であって、混入信号復号化部１０２及び信号分離処理部１０３を備える。

オーディオ信号復号化装置１００の前段で、符号列から抽出された混入信号情報１０１は、混入信号復号化部１０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号化部１０２からの出力信号、および、補助情報１０４は、信号分離処理部１０３へと入力され、信号の分離合成がなされ、出力信号（１）１０５と、出力信号（２）１０６とが出力される。図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する２つの信号X1と信号X2とが分離される様子を示す図である。本発明のオーディオ信号復号化装置１００では、符号列から抽出された補助情報に基づいて、混入信号mXから、原信号である信号x1と信号x2とに聴覚上近似する信号X1と信号X2とが分離される。

以下、本発明の具体的な復号化方法について図５を用いて説明する。図５は、本実施の形態のオーディオ信号復号化装置１００においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置１００は、混入信号復号化部３０２、信号分離部３０３、ゲイン制御部３０４及び時間周波数マトリクス生成部３０８を備える。

図５に示すオーディオ信号復号化装置１００の前段で、あらかじめ符号列から抽出された混入信号情報３０１は、混入信号復号化部３０２へと入力される。混入信号情報３０１は、混入信号復号化部３０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部３０２の出力信号、および、補助情報３０７は、信号分離部３０３へと入力される。信号分離部３０３では、補助情報３０７をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報３０７に含まれている時間周波数空間（または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の属する空間を分割する。ここでは簡単のために２つに分離する場合について記載するが、必ずしも２つに限定しない。一方、補助情報３０７に基づいて、時間周波数マトリクス生成部３０８では、混入信号復号化部３０２からの出力、または、信号分離部３０３からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の１つ以上の時間に関するゲイン情報を時間周波数マトリクス生成部３０８の出力とするし、オーディオ形式がＱＭＦフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の２次元のゲイン情報を時間周波数マトリクス生成部３０８の出力とする。そのようなゲイン情報と、信号分離部３０３からの複数のオーディオ信号に対して、ゲイン制御部３０４では、データ形式にあわせたゲイン制御を適用し、出力信号（１）３０５、および、出力信号（２）３０６を出力する。

このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である。

このゲインコントロールについては、以下の図６および図７を用いて詳細に説明する。図６（ａ）及び（ｂ）は、図５に示した混入信号復号化部３０２からの出力がＱＭＦフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図７は、混入信号復号化部３０２からの出力信号が表される空間の分割方法の一例を示す図である。図６（ａ）は、図５に示した混入信号復号化部３０２からの出力であるサブバンド信号を示す図である。このように、ＱＭＦフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。

従って、オーディオ形式がＱＭＦフィルタで構成される場合は、フレーム単位でオーディオ信号を扱う場合において、時間周波数マトリクスを用いたゲイン制御が容易である。

例えば、３２サブバンドからなるＱＭＦフィルタで構成するとして、１フレーム１０２４サンプルのオーディオ信号を扱えば、結果的に時間方向に３２サンプル、周波数方向（サブバンド）に３２バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら１０２４サンプルの信号にゲイン制御をおこなう場合、図７のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数（Ｒ１１、Ｒ１２、Ｒ２１、Ｒ２２）を定義すれば、ゲイン制御が容易である。ここではＲ１１からＲ２２まで４つの要素からなるマトリクスを便宜上用いるが、時間方向、周波数方向の係数の個数はこれらに限定されない。図６にゲイン制御の適用例を示した。すなわち、図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。図６（ｂ）に示すように、ＱＭＦフィルタが６サブバンドである場合に、低域から４バンドと高域から２バンドの２つに分け、時間方向には均一に２つに分けた場合、それら４領域に存在するＱＭＦフィルタから得られる信号列に、ゲインＲ１１、Ｒ１２、Ｒ２１、Ｒ２２を乗じた信号を出力するなどである。

混入される信号列について特に制限はないが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、バックチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。

図８は、符号化装置７００からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、ポータブルプレーヤ７１０及びヘッドホン又はスピーカ７２０を備える。符号化装置７００は、例えば、５．１チャネルのマルチチャネルオーディオ信号列を入力とし、５．１チャネルからダウンミクスされた２チャネルのオーディオ符号列と補助信号とを出力する符号化装置であって、ダウンミックス部７０１、補助情報生成部７０２及び符号化部７０３を備える。ダウンミックス部７０１は、５．１チャネルのマルチチャネルオーディオ信号列から２チャネルのダウンミクス信号を生成し、生成したダウンミクス信号DL及びDRを符号化部７０３に出力する。補助情報生成部７０２は、生成されたダウンミクス信号DL及びDRから５．１チャネルのマルチチャネル信号を復元するための情報を生成し、補助情報として符号化部７０３に出力する。符号化部７０３は、生成されたダウンミクス信号DL及びDRと、補助情報とを符号化及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーヤ７１０は、２チャネルのヘッドホン又はスピーカ７２０に接続されており、２チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ７１０は混入信号復号化部７１１を備え、符号化装置７００から取得した符号列を混入信号復号化部７１１で復号化するだけで、２チャネルのヘッドホン又はスピーカ７２０で再生することができる。

図９は、符号化装置７００からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、マルチチャネルホームプレーヤ７３０及びスピーカ７４０を備える。符号化装置７００の内部構成は、図８に示した符号化装置７００と同じであるので、説明を省略する。マルチチャネルホームプレーヤ７３０は、混入信号復号化部７１１及び信号分離処理部７３１を備え、５．１チャネルのマルチチャネル信号を再生可能なスピーカ７４０に接続されている。このマルチチャネルホームプレーヤ７３０において、混入信号復号化部７１１は、符号化装置７００から取得した符号列を復号化し、補助情報とダウンミクス信号DL及びDRとを抽出する。信号分離処理部７３１では、抽出されたダウンミクス信号DLとDRとから、抽出された補助情報に基づいて、５．１チャネルのマルチチャネル信号を生成する。

図８及び図９に示した例のように、同じ符号列を入力しても、２チャネルの信号しか再生しないポータブルプレーヤなどでは、単に符号列中の混入信号を復号化するだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてバッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができるという効果がある。

（実施の形態２）
以下では、本実施の形態の具体的な復号化装置について図１０を用いて説明する。

図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態２のオーディオ信号復号化装置は、符号列である混入信号情報４０１及び補助情報４０７を入力し、入力された混入信号情報４０１及び補助情報４０７に基づいて、出力信号（１）４０５及び出力信号（２）４０６を出力するオーディオ信号復号化装置であって、混入信号復号化部４０２、信号分離部４０３、ゲイン制御部４０４、時間周波数マトリクス生成部４０８及び位相制御部４０９を備える。

実施の形態２の構成と前述の実施の形態１との構成上の違いは、位相制御部４０９が加わった点のみで、その他の構成は実施の形態１と同様である。よって本実施の形態２では、位相制御部４０９の構成のみ詳細に説明する。

符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数１）のように表記される。

ここでは、ｍｘは混入された後の信号、ｘ１、ｘ２が入力信号（混入前の信号）、Ａはゲイン補正、ｐｈａｓｅＦａｃｔｏｒは位相差に応じて乗じる係数とする。従って、混入信号ｍｘは信号ｘ１の関数として表されるため、位相制御部４０９では、混入信号ｍｘから信号ｘ１を容易に算出して分離することができる。信号ｘ２は、混入信号ｍxから信号ｘ１を分離することによって得られる。さらに、このように分離された信号ｘ１及びｘ２に対して、ゲイン制御部４０４が補助情報４０７から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（１）４０５及び出力信号（２）４０６を出力することができる。

ＡおよびｐｈａｓｅＦａｃｔｏｒは、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）から導出できるので、これらを予め符号化装置で補助情報４０７に符号化しておけば、位相制御部４０９では、分離した各々の信号の位相を制御可能である。

位相差は、整数に限定されないサンプル数として符号化されてもよいし、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。

位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。

（実施の形態３）
本発明の具体的な復号化装置について図１１を用いて説明する。図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。

実施の形態３のオーディオ信号復号化装置は、混入信号情報５０１と、補助情報５０７とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号（ノイズ信号）とみなして生成し出力信号（１）５０５と出力信号（２）５０６とを出力するオーディオ信号復号化装置であって、混入信号復号化部５０２、信号分離部５０３、ゲイン制御部５０４、時間周波数マトリクス生成部５０８、位相制御部５０９及び線形予測フィルタ適応部５１０を備える。

まず、この実施の形態３の復号化装置は、実施の形態１における復号化装置を詳細に説明するものである。

実施の形態３の構成と前述の実施の形態２との構成上の違いは、線形予測フィルタ適応部５１０が加わった点のみで、その他の構成は実施の形態２と同様である。よって本実施の形態３では、線形予測フィルタ適応部５１０の構成のみ詳細に説明する。

符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部５１０は、この場合は、一方の信号に対して、もう一方の信号を無相関信号（ノイズ信号）と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号化列中に符号化しておけば、復号化時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号化してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。

ここでは、ｍｘは混入された後の信号、ｘ１ｍ、ｘ２が入力信号（混入前の信号）、Ｆｕｎｃ（）は線形予測係数などからなる多項式である。

信号ｍｘ、ｘ１、ｘ２は、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）に利用できるので、信号ｍｘ、ｘ１、ｘ２からＦｕｎｃ（）なる多項式の係数を導出し、これら係数を予め補助情報５０７に符号化しておけば、線形予測フィルタ適応部５１０では、ｘ１、ｘ２を導出可能である。

よって、（数３）とするようなＦｕｎｃ（）の係数を導出して符号化すればよい。

以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が２以上ある場合でそのうちのいずれか１つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号（ノイズ信号）として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号から分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。

本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディオ符号化および復号化方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。

オーディオ符号化されたビットストリームなる符号化列は、現在、放送コンテンツの伝送、ＤＶＤやＳＤカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器にＡＶコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。

本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と２チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディオ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局やコンテンツ配信サーバに備えられるオーディオ信号符号化装置として有用である。

図１は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。 図２は、本発明のオーディオ信号符号化装置の主要部を概略的に示す図である。 図３は、本発明のオーディオ信号復号化装置の主要部を概略的に示す図である。 図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する信号X1と信号X2とが分離される様子を示す図である。 図５は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。 図６（ａ）は、図５に示した混入信号復号化部からの出力であるサブバンド信号を示す図である。図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。 図７は、混入信号復号化部からの出力信号が表される空間の分割方法の一例を示す図である。 図８は、符号化装置からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図９は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。 図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。

符号の説明

１０１ 混入信号情報
１０２ 混入信号復号化部
１０３ 信号分離処理部
１０４ 補助情報
１０５ 出力信号（１）
１０６ 出力信号（２）
２０１ 入力信号（１）
２０２ 入力信号（２）
２０３ 混入信号符号化部
２０４ 補助情報生成部
２０５ 補助情報
２０６ 混入信号情報
２１１ ゲイン算出部
２１２ 位相算出部
２１３ 係数算出部
３０１ 混入信号情報
３０２ 混入信号復号化部
３０３ 信号分離部
３０４ ゲイン制御部
３０５ 出力信号（１）
３０６ 出力信号（２）
３０７ 補助情報
３０８ 時間周波数マトリクス生成部
４０１ 混入信号情報
４０２ 混入信号復号化部
４０３ 信号分離部
４０４ ゲイン制御部
４０５ 出力信号（１）
４０６ 出力信号（２）
４０７ 補助情報
４０８ 時間周波数マトリクス生成部
４０９ 位相制御部
５０１ 混入信号情報
５０２ 混入信号復号化部
５０３ 信号分離部
５０４ ゲイン制御部
５０５ 出力信号（１）
５０６ 出力信号（２）
５０７ 補助情報
５０８ 時間周波数マトリクス生成部
５０９ 位相制御部
５１０ 線形予測フィルタ適応部
６００ 従来のマルチチャネルＡＡＣ符号化装置
６１０ 従来のプレーヤ
６１１ マルチチャネルＡＡＣ復号化部
６１２ ダウンミクス部
６１３ スピーカ又はヘッドホン
７００ 符号化装置
７０１ ダウンミックス部
７０２ 補助情報生成部
７０３ 符号化部
７１０ ポータブルプレーヤ
７１１ 混入信号復号化部
７２０ ヘッドホンまたはスピーカ
７３０ マルチチャネルホームプレーヤ
７４０ スピーカ

Claims (9)

1. 複数のオーディオ信号を符号化する符号化装置であって、
   入力される複数のオーディオ信号を混入して、混入される前のオーディオ信号よりも少数のオーディオ信号を表す混入信号を生成する混入信号生成手段と、
   混入される前の前記オーディオ信号間の相関の度合を示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、前記混入信号から、混入される前の少なくとも１つの前記オーディオ信号と聴覚上、類似するオーディオ信号を線形予測関数によって生成するための前記線形予測関数の係数列を含む補助情報を生成する補助情報生成手段と、
   前記混入信号を符号化する符号化手段と、
   符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成手段とを備える
   オーディオ信号符号化装置。
2. 前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である
   請求項１記載のオーディオ信号符号化装置。
3. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、
   複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、
   前記混入信号を表す前記符号列を復号化する復号化手段と、
   抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚上、類似する複数のオーディオ信号を生成する信号分離手段と、
   復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備え、
   前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
   前記信号分離手段は、前記混入信号を入力として、前記補助情報内の前記線形予測係数を係数として有する関数を用いて、少なくとも１つの混入前の前記オーディオ信号と聴覚上、類似するオーディオ信号を生成する
   オーディオ信号復号化装置。
4. 前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が低いことを示している場合、前記混入信号の前記関数で表される信号を、前記混入信号から除去することによって、混入される前の他のオーディオ信号を生成する
   請求項３記載のオーディオ信号復号化装置。
5. 前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である
   請求項４記載のオーディオ信号復号化装置。
6. 複数のオーディオ信号を符号化する符号化方法であって、
   入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成する混入信号生成ステップと、
   混入される前の前記オーディオ信号間の相関の度合を示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、前記混入信号から、混入される前の少なくとも１つの前記オーディオ信号と聴覚上、類似するオーディオ信号を線形予測関数によって生成するための前記線形予測関数の係数列を含む補助情報を生成する補助情報生成ステップと、
   前記混入信号を符号化する符号化ステップと、
   符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成ステップとを含む
   オーディオ信号符号化方法。
7. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化方法であって、
   複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出ステップと、
   前記混入信号を表す前記符号列を復号化する復号化ステップと、
   抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚上、類似する複数のオーディオ信号を生成する信号分離ステップと、
   復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生ステップとを含み、
   前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
   前記信号分離ステップでは、前記混入信号を入力として、前記補助情報内の前記線形予測係数を係数として有する関数を用いて、少なくとも１つの混入前の前記オーディオ信号列と聴覚上、類似するオーディオ信号を生成する
   オーディオ信号復号化方法。
8. 複数のオーディオ信号を符号化する符号化装置のためのプログラムであって、コンピュータに
   入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成させる混入信号生成ステップと、
   混入される前の前記オーディオ信号間の相関の度合を示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、前記混入信号から、混入される前の少なくとも１つの前記オーディオ信号と聴覚上、類似するオーディオ信号を線形予測関数によって生成するための前記線形予測関数の係数列を含む補助情報を生成させる補助情報生成ステップと、
   前記混入信号を符号化させる符号化ステップと、
   符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成させる符号列生成ステップとを含む
   プログラム。
9. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置のためのプログラムであって、コンピュータに
   複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出させる抽出ステップと、
   前記混入信号を表す前記符号列を復号化させる復号化ステップと、
   抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚上、類似する複数のオーディオ信号を生成させる信号分離ステップと、
   復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生させる再生ステップとを含み、
   前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、前記フラグが前記オーディオ信号同士の相関の度合が低いことを示している場合にはさらに、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
   前記信号分離ステップでは、前記混入信号を入力として、前記補助情報内の前記線形予測係数を係数として有する関数を用いて、少なくとも１つの混入前の前記オーディオ信号列と聴覚上、類似するオーディオ信号を生成させる
   プログラム。

Images