JP3590342B2 - 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 - Google Patents
信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3590342B2 JP3590342B2 JP2000318017A JP2000318017A JP3590342B2 JP 3590342 B2 JP3590342 B2 JP 3590342B2 JP 2000318017 A JP2000318017 A JP 2000318017A JP 2000318017 A JP2000318017 A JP 2000318017A JP 3590342 B2 JP3590342 B2 JP 3590342B2
- Authority
- JP
- Japan
- Prior art keywords
- vicinity
- valley
- derivative
- weighting
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力信号を時間軸／周波数軸変換して量子化を行う信号符号化方法及び装置に関し、特に、符号化に際して発生する量子化誤差を、人間の耳が知覚しづらいように変形するための聴覚マスキング方法と、この聴覚マスキング方法による信号符号化装置に関する。
【０００２】
【従来の技術】
音声・楽音を符号化する従来の信号符号化方法における聴覚マスキング方法としては、入力信号を時間軸上または時間軸／周波数軸変換した上で、線形予測分析方法等によりその入力信号のスペクトル包絡曲線を推定し、その推定された曲線に妥当な変形操作を加えることによってマスキング曲線を求めて聴覚マスキングを行なうという方法があった。あるいは、入力信号を時間軸／周波数軸変換した信号から直接、スペクトル包絡曲線を求め、この曲線に妥当な変形操作を加えることによってマスキング曲線を求めて、聴覚マスキングによる量子化を行なう方法もあった。
【０００３】
【発明が解決しようとする課題】
聴覚マスキング方法では、周波数軸上でのマスキングとして、スペクトル包絡曲線の谷付近の量子化雑音を減らし、その代りにスペクトル包絡曲線の山付近の量子化雑音を増加させるようなノイズシェイピングを行うことによって、人間の耳には量子化雑音が聞こえにくいようにすることができる。ここで、上述したような従来法では、スペクトル包絡における山と谷の推定位置が不正確となる場合があったため、ノイズシェイピングが適切に行われずに、結果として符号化再生音の音質が悪い場合があった。
【０００４】
そこで本発明の目的は、スペクトル包絡曲線における山と谷の位置を正確に推定することができ、これによって精度の高い聴覚マスキング方法を実行できる信号符号化方法及び装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、聴感ベースでの歪みが最小となるように量子化できる信号符号化を実現するためのものであって、上述した課題を解決するために、スペクトル包絡曲線の山と谷の位置を正確に推定し、正確に推定した山と谷の位置から適切なノイズシェイピングを行う手法を取る。スペクトル包絡曲線の山と谷の位置推定は、時間軸／周波数軸変換した信号の正確なスペクトル包絡曲線から必要に応じて、微細な凹凸を取り除き、さらに必要に応じて１階微分、２階微分を求めて、これらの微分値または、微分値の相加平均値から、山と谷の正確な位置を決定する。こうして得られた山と谷の位置において適切な重みづけを行ない、効果的なノイズシェイピングを実現する。
【０００６】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は本発明の実施の一形態の信号符号化装置の構成を示すブロック図である。
【０００７】
この信号符号化装置は、典型的には音声信号あるいは楽音信号である時系列の入力信号ｘ（ｔ）に対して時間軸／周波数軸変換（Ｔ／Ｆ変換）を施して周波数軸上の信号列Ｘ（ｎ）を得るＴ／Ｆ変換部１１と、この信号列Ｘ（ｎ）に対してベクトル量子化（ＶＱ）及びスカラー量子化（ＳＱ）を施して量子化インデックスを得る量子化部１２を備えている。ここでＴ／Ｆ変換部１１は、例えば、ＭＤＣＴ（ｍｏｄｉｆｉｅｄ ｄｅｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；変形離散コサイン変換）などの変換を実行し、Ｘ（ｎ）はこの変換によって得られた変換係数列などを指す。さらにこの信号符号化装置では、どの周波数帯域にどれだけの情報量を配分するのかを決定するための“聴覚重み”を算出し、量子化部１１での量子化に際し、人間の耳に量子化雑音が聞こえ難いようにこの聴覚重みに基づく聴覚重み付け量子化が行われるようになっている。聴覚重みの算出のために、この信号符号化装置は、信号列Ｘ（ｎ）に基づいてスペクトル包絡を算出する包絡算出部１３と、算出されたスペクトル包絡に基づいてスペクトルの山と谷の位置を推定する山・谷推定部１４と、推定されたスペクトルの山と谷の位置に基づき、情報量の配分が「山の位置で特に小さく」かつ「谷の位置で特に大きく」なるように、山の付近と谷の付近において適切な重み付けを行う重み付け部１５と、“聴覚重み”として量子化部１２に出力する聴覚重み算出部１６と、を備えている。ここで“聴覚重み”の原形としては、スペクトル包絡の逆数を用いている。
【０００８】
なお、山、谷については、横軸を周波数軸として信号列Ｘ（ｎ）をプロットし、ならした（平滑化した）ときに、周囲に比べて信号列の値が大きいところを山と称し、周囲に比べて値が小さいところを谷と称している。後述するように、平滑化は、例えばある区間長（平均区間長ともいう）での相加平均を算出する（その区間長による移動平均を算出する）ことによって行われているが、このとき、その区間長を変化させることにより、微細な山・谷、やや微細な山・谷、大まかな山・谷の位置などが推定されることになる。ここで相加平均とは、１フレーム内のスペクトルを周波数区間内で平滑化するためのものである。本発明では、平滑化の度合いが異なる山・谷の位置の推定を組み合わせることにより、より精度の高い聴覚マスキングを可能にしている。
【０００９】
次に、この信号符号化装置の動作を説明する。
【００１０】
時系列の信号として入力する時系列の入力信号ｘ（ｔ）は、Ｔ／Ｆ変換部１１によって周波数軸上の信号列Ｘ（ｎ）に変換される。この信号列Ｘ（ｎ）は、ベクトル量子化及びスカラー量子化のために量子化部１２に供給されるとともに、そのスペクトル包絡を算出するために、包絡算出部１３にも送られる。包絡算出部１３は、信号列Ｘ（ｎ）のスペクトル包絡を算出し、山・谷推定部１４は、算出されたスペクトル包絡に基づいて、スペクトルにおける山と谷の位置を推定し、推定した位置を重み付け部１５に出力する。重み付け部１５は、包絡算出部１３において得られたスペクトル包絡の逆数に基づいて、スペクトルの山と谷の位置においてそれぞれ、情報量の配分が「山の位置で特に小さく」、「谷の位置で特に大きく」なるように、山の付近と谷の付近において、適切な情報量重み付けを行う。具体的には、山の付近を高く持ち上げかつ谷の付近を深く下げるか、あるいは、山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて、山・谷の位置へ重み付け操作を行う。重み付け部１５には、包絡算出部１３からスペクトル包絡曲線が供給されており、重み付け操作が施されたスペクトル包絡曲線が重み付け部１５から聴覚重み算出部１６に供給される。
【００１１】
聴覚重み算出部１６は、重み付けされたスペクトル包絡曲線に基づいて量子化用聴覚重みを算出してそれを量子化部１２に向けて出力する。その結果、量子化部１３は、供給された量子化用聴覚重みを使用して、Ｔ／Ｆ変換部１１からの信号列Ｘ（ｎ）に対するベクトル量子化及びスカラー量子化を実行する。これにより、量子化部１３から、精度の高い聴覚マスキングがなされた量子化インデックス（出力インデックス）が出力される。
【００１２】
以上、この実施の形態の信号符号化装置の基本的動作を説明したが、本発明では、聴覚重み付けの方法として、上述した重み付けの方法と、従来から一般的に用いられている線形予測分析法等によりスペクトル包絡を予測し包絡曲線の山と谷をべき乗演算によりなまらせ重みとする方法とを併用してもよい。
【００１３】
次に、この実施の形態における重み付けの過程を詳細を説明する。
【００１４】
図２は、スペクトルの山・谷へ重み付けを行う過程を示すブロック図である。ここでは、スペクトル包絡算出部１３において得られたスペクトル包絡曲線から、山・谷推定部１４において、スペクトルの微細な山・谷の周波数位置を推定し、次にやや微細な山・谷の周波数位置を推定し、というように、この手順を必要な回数だけ繰り返し、最後に、スペクトルの大まかな山・谷の周波数位置を推定する。重み付け部１５は、これらの推定された山と谷の付近に対して、各々、妥当な重み関数によって重み付け操作を行う。
【００１５】
図３は、包絡算出部１３における処理の詳細を示すブロック図である。包絡算出部１３は、周波数領域の信号列Ｘ（ｎ）に対して相加平均処理を施すことにより、スペクトル包絡曲線を得るものである。図において、相加平均（１）から相加平均（ｋ）までは、それぞれ、区間長が異なる移動平均区間における相加平均である。ここでは、信号列Ｘ（ｎ）に対し、まず、第１の相加平均（１）が適用され、その結果Ｙ１（ｎ）に対して第２の相加平均（２）が適用され、さらにその結果Ｙ２（ｎ）に対して第３の相加平均（３）が適用されるというようにして、ｋ回の相加平均を順次行うようにしている。ここでｋは１以上の整数の定数である。このようにして得られた各相加平均の結果Ｙ１（ｎ），Ｙ２（ｎ），．．．，Ｙｋ（ｎ）は、それぞれ山・谷推定部１４に送られる。各回の相加平均での区間長は、各々の用途に応じて決定されるものであるが、主として、相加平均（１）では平均区間長を短くして微細な山と谷の位置を検出し、相加平均（２）では相加平均（１）よりも平均区間長を長くして大まかな山と谷の位置を検出する。以下、相加平均（ｋ）まで同様の操作とし、各回の相加平均での平均区間長を徐々に長くして行くとよい。
また、前述した“相加平均（ｋ）”の演算は、必要に応じて、平均区間長を変えて複数回実施してもよい。
【００１７】
次に、山・谷推定部１４での処理を説明する。図４は、山・谷推定部１４での処理を説明するブロック図である。
【００１８】
山・谷推定部１４は、包絡算出部１３からの各回の相加平均によるスペクトル包絡を表す係数列Ｙ１（ｎ），Ｙ２（ｎ），．．．，Ｙｋ（ｎ）を入力として、係数列ごとに、以下のようにして山と谷の位置を推定する。すなわち、入力した係数列Ｙｊ（ｎ）（１≦ｊ≦ｋ）をまずｎで微分して系列Ｙ′ｊ（ｎ）を求め、この系列Ｙ′ｊ（ｎ）に対して適切な区間で相加平均をとり、微細な変動成分を取り除いた系列
【００１９】
【外１】
【００２０】
を求める。さらにこれをｎで再び微分して系列Ｙ″ｊ（ｎ）を求め、この系列Ｙ″ｊ（ｎ）の微細な変動成分を取り除いた系列
【００２１】
【外２】
【００２２】
を求める。そして、図４中に式で示したように、これらの値の正負からスペクトル包絡曲線の山と谷の位置を推定する。また、前述した、微細な変動成分を取り除くための“相加平均”の演算は、必要に応じて、平均区間長を変えて複数回実施してもよいし、これを実施しなくてもよい。
【００２３】
図５は、以上のようにして係数列Ｘ（ｎ）からスペクトル包絡の山と谷が検出された様子を例示する図である。ここでは、ｋ＝２、すなわち包絡算出部１３において２段階に相加平均を求める場合を示している。この図において、平均を取る前の係数列Ｘ（ｎ）の絶対値｜Ｘ（ｎ）｜を▲１▼、相加平均（１）による系数列Ｙ１（ｎ）における絶対値｜Ｙ１（ｎ）｜を▲２▼、相加平均（２）による係数列Ｙ２（ｎ）における絶対値｜Ｙ２（ｎ）｜を▲３▼とする。相加平均（１）から推定した山の位置をｍ１，ｍ２，．．．，ｍ１２、谷の位置をＶ１，Ｖ２，．．．，Ｖ１１で表し、相加平均（２）から推定した山の位置をＭ１，Ｍ２，Ｍ３、谷の位置をＶ１，Ｖ２で表している。ここでは、相加平均（１）での区間長よりも相加平均（２）での区間長を長くしており、▲２▼が微細な山・谷の周波数位置に相当し、▲３▼が大まかな山・谷の周波数位置に相当する。
【００２４】
次に、このようにして、複数種類の山・谷の周波数位置が求められたとして、どのように情報量の重み付けを行うかを説明する。図６は、スペクトル包絡曲線の山・谷付近に情報量の重み付けを行った例を示す図である。ここでは、説明を分かりやすくするために、おおまかな波形を使って説明を行う。
【００２５】
図６において、あらかじめ推定されたスペクトル包絡曲線▲１▼（｜Ｙ２（ｎ）｜）の逆数▲２▼（１／｜Ｙ２（ｎ）｜）を聴覚重みの原形とし、これの山と谷の推定位置付近において、重み関数を使って重み付けを行う。この図の例では、重み付け関数▲４▼を▲２▼に乗算することによって、山と谷の位置で情報量を補正した聴覚重み▲３▼（ＷＬ）を作成している。重み付け関数▲４▼及び▲５▼としては、種々の形のものが可能であるが、ここでは、一例として、重み付けを行う区間長が２ｔ、山の中心で０．５倍、山の端で１．０倍、谷の中心で２．０倍、谷の端で１．０倍となるような直線関数による重み付けを行った結果を▲３▼として示している。図６から分かるように、山と谷の正確な位置を推定し、谷の付近に情報量を多くし、山の付近に情報量を少なく割り当る重みを作成することができる。
【００２６】
ここでｔの値は、例えば、ピッチ周波数を表す山・谷の構造に重み付けしたい場合には１００〜２００Ｈｚ、ホルマント周波数を表す山・谷の構造に重み付けしたい場合には３００〜６００Ｈｚ程度とすることが好ましい。
【００２７】
実際には、スペクトル包絡の“微細な曲線”と“おおまかな曲線”の各々の山・谷の付近において、前述した方法により重み付けを行う。例えば、図５に示すようにスペクトル包絡の“微細な曲線”と“おおまかな曲線”の各々について山と谷の位置が推定されている場合には、微細構造を表すスペクトル包絡▲２▼の逆数１／｜Ｙ１（ｎ）｜を聴覚重みの原形とし、この包絡曲線の山と谷の位置ｍ１，ｖ１，ｍ２，ｖ２，．．．の付近において、図６と同様にして聴覚重みの原形である１／｜Ｙ１（ｎ）｜に対して適切な重み付けを行い、さらに、おおまかなスペクトル構造を表す曲線▲３▼の山と谷の位置Ｍ１，Ｖ１，Ｍ２，Ｖ２，．．．の付近において、同様に聴覚重みの原形である１／｜Ｙ１（ｎ）｜に対して適切な重み付けを行う。
【００２８】
山に対する重み付け関数及び谷に対する重み付け関数としては、各種のものが考えられる。図７は、そうした重み付け関数を例示するものである。
【００２９】
図７中、（ａ），（ｂ）はいずれも山に対する重み付け関数の例を示しており、（ａ）は直線により構成されたもの、（ｂ）は放物線により構成されたものである。いずれも山の中心ｎ＝Ｍの両側にｔずつ、合計２ｔの区間を重み付け区間としている。重み付け関数の値は、重み付け区間の両端（Ｍ±ｔ）においては１．０であるものとする。また、山の中心ｎ＝Ｍにおける重みの値αは、通常、０＜α＜１．０における妥当な定数とすればよい。同様に図７中、（ｃ），（ｄ）は、谷に対する重み付け関数の例を示しており、（ｃ）は直線により構成されたもの、（ｄ）は放物線により構成されたものである。山の場合と同様に、谷に対する重み付け関数も、その値は、重み付け区間の両端（Ｖ±ｔ）においては１．０である。また、谷の中心ｎ＝Ｖにおける重みの値βは、通常、β＞１．０における妥当な定数を使用する。しかしながら、場合によっては、α＞１．０，０＜β＜１．０とすると効果的なこともある。
【００３０】
このようにして聴覚重み付けを行った場合に、量子化雑音は図８に示すように変形される。すなわち、聴覚重み付けを行わない場合には、量子化ノイズは周波数によらずに一定であると考えられるが（図中▲２▼）、入力信号のスペクトル包絡が図中▲１▼に示すようなものであるとすると、上述した聴覚重み付けを行うことにより、ノイズは、図中▲３▼に示すようにその周波数特性が変形され、入力信号のスペクトル特性である▲１▼に隠されて、聴感的に聞こえ難くなる。
【００３１】
したがって、従来法よりも精度の高い聴覚マスキングが行なえ、高品質な符号化を行なうことが可能となる。
【００３２】
次に、上述した本発明の信号符号化方法を一般的な変換符号化方式の聴覚重み付けに適用した例を説明する。図９はそのような聴覚重み付けを行う信号符号化装置の構成を示している。
【００３３】
図９に示す信号符号化装置は、入力信号に対してＭＤＣＴを施すＭＤＣＴ変換部３１と、ＭＤＣＴ後の信号のスペクトルを平坦化するスペクトル平坦化部３２と、平坦化後のスペクトルに基づいてフレームゲインを正規化し量子化した後、ゲインインデックスを出力するフレームゲイン正規化部３３と、正規化されたフレームゲインに基づいて残差成分を量子化（ベクトル量子化あるいはスカラー量子化）し、量子化インデックスを出力する残差成分量子化部３４と、ＭＤＣＴ後の信号のスペクトルからスペクトル包絡を推定するスペクトル包絡推定部３５と、残差成分量子化部３４での量子化に際して情報量重み付けを行うために、推定されたスペクトル包絡から聴覚重みを計算する聴覚重み計算部３６と、推定されたスペクトル包絡に基づいてスペクトル情報を量子化しスペクトルインデックスを出力するスペクトル情報量子化部３７とを備えている。この信号符号化装置では、ＭＤＣＴ変換部３１が図１に示した信号符号化装置のＴ／Ｆ変換部１１に相当し、また、スペクトル包絡推定部３５は、図１に示す装置の包絡算出部１３及び山・谷推定部１４で構成され、聴覚重み計算部３６は、図１に示す装置の重み付け部１５及び聴覚重み算出部１６で構成される。
【００３４】
本発明の信号符号化方法により、分析フレーム内におけるスペクトルの山と谷を正確かつ細かに分析し、その形に合わせて量子化の際に精度の高い聴覚マスキングを行うことができる。この聴覚マスキングは、ベクトル量子化や、サブバンドスカラー量子化に対して適用できる。
【００３５】
さらに図１０は、特開平８−４４３９９号公報に開示される符号器及び復号器に本発明の聴覚重み付けを適用した例を示している。図１０に示されるものにおいて、符号器１１０は、入力端子１１１に与えられた入力信号をフレームに分割するフレーム分割部１１４と、フレームに時間窓を描ける時間窓掛部１１５と、時間窓が掛けられたフレームにＮ次のＭＤＣＴを施すＭＤＣＴ部１１６と、時間窓が掛けられたフレームに対して線形予測分析を行い予測係数を出力する線形予測分析部１１７と、予測係数を量子化してインデックスＩｐを得る量子化部１１８と、予測係数のスペクトラム概形を求めるスペクトラム概形計算部１２１と、ＭＤＣＴ部１１６からのスペクトラム振幅をスペクトラム概形により正規化し残差係数Ｒ（Ｆ）を得る正規化部１２２と、残差係数概形ＥＲ（Ｆ）を計算する残差概形計算部１２３と、残差係数概形及びスペクトラム概形に基づいて重み付け係数（ベクトルＷ）を計算する重み計算部１２４と、重み付け係数に基づいて量子化しインデックスＩｍと量子化小系列ベクトルＣ（ｍ）を出力する量子化部１２５と、残差係数Ｒ（Ｆ）を残差係数概形ＥＲ（Ｆ）で正規化して微細構造係数を得る残差係数正規化部１２６と、現フレームの微細構造係数を正規化し正規化微細構造係数Ｘ（Ｆ）として量子化部１２５に与えるとともにインデックスＩＧを出力するパワー正規化部１２７と、量子化小系列ベクトルＣ（ｍ）を逆正規化し量子化残差係数Ｒｑ（Ｆ）を残差概形計算部１２３に出力する逆正規化部１３１とを備えている。
【００３６】
符号器１１０において本発明に基づく聴覚重み付けを行うためには、スペクトラム概形計算部１２１において、従来法に加えてさらに図１に示した信号符号化装置の包絡算出部１３及び山・谷推定部１４での処理と同様の処理を行わせ、その結果に基づいて、重み計算部１２４においては、従来法に加えてさらに図１に示した装置の重み付け部１５及び聴覚重み算出部１６での処理と同様の処理を行い、得られた量子化用聴覚重みを量子化部１２５に供給するようにすればよい。
【００３７】
これに対して復号器１５０は、インデックスＩｍから正規化微細構造係数を再生する再生部１５１と、インデックスＩＧから正規化ゲインを再生する正規化ゲイン再生部１５２と、正規化微細構造係数を正規化ゲインにより逆正規化して微細構造係数を得るパワー逆正規化部１５３と、微細構造係数を残差概形ＥＲで逆正規化して残差係数Ｒ（Ｆ）を再生する残差逆正規化部１５４と、残差概形ＥＲを計算する残差概形計算部１５５と、インデックスＩｐから線形予測係数を再生しスペクトラム概形を計算する再生・スペクトラム概形計算部１５６と、スペクトラム概形を残差係数Ｒ（Ｆ）で逆正規化し周波数領域係数を再生する逆正規化部１５７と、周波数領域係数にフレームごとに逆ＭＤＣＴを施し時間領域信号を得る逆ＭＤＣＴ部１５８と、時間領域信号にフレームごとに時間窓を掛ける窓掛部１５９と、窓掛け出力に対してフレーム重ね合わせを行い再生音響信号を得てこれを出力端子１９１に出力するフレーム重ね合わせ部１６１と、を備えている。
【００３８】
なお、図１０に示す符号器１１０においては、逆正規化部１３１を設けることなく、正規化部１２２の出力のみに基づいて残差概形計算部１２３が残差係数概形ＥＲ（Ｆ）とインデックスＩＱを算出するようにすることが可能であり、この場合、復号器１５０において残差概形計算部１５５はインデックスＩＱに基づいて残差概形ＥＲを計算する。
【００３９】
次に、時間領域の符号化方式であるＣＥＬＰ（Ｃｏｄｅ−Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）符号化の聴覚マスキングに本発明を適用した例を説明する。ＣＥＬＰ符号化では、時間領域で聴覚マスキングが行われるため、本発明に基づく聴覚重み付けを周波数領域で適用し、得られた聴覚重みを時間領域に戻してから量子化に適用する。図１１はそのような符号化を行う信号符号化装置の構成を示すブロック図である。
【００４０】
図１１に示す装置は、入力信号に対してＦＦＴ（高速フーリエ変換）を施すＦＦＴ部３８と、ＦＦＴ部の出力（周波数領域の信号列）に基づき、スペクトル包絡を推定するスペクトル包絡推定部３５と、推定されたスペクトル包絡から聴覚重みを計算する聴覚重み計算部３６と、聴覚重みを時間領域に戻すための逆ＦＦＴ部３９と、時間領域の聴覚重みに基づいて入力信号のＣＥＬＰ符号化を行い、インデックスを出力するＣＥＬＰ符号化部４０とを備えている。この信号符号化装置においては、ＦＦＴ部３８が図１に示した信号符号化装置のＴ／Ｆ変換部１１に相当し、また、スペクトル包絡推定部３５は、図１に示す装置の包絡算出部１３及び山・谷推定部１４で構成され、聴覚重み計算部３６は、図１に示す装置の重み付け部１５及び聴覚重み算出部１６で構成される。
【００４１】
さらに図１２は、特開平６−２８２２９８号公報の図１に開示される音声符号化装置に本発明の聴覚重み付けを適用した例を示している。図１２に示される音声符号化装置は、入力端子２０１を介して入力した音声信号をフレームに分割して線形予測分析を行い、予測係数を決定する予測係数決定部２０２と、合成フィルタ２０３と、予測係数を量子化して合成フィルタ２０３に予測係数を設定する予測係数量子化部２０４と、複数のピッチ周期ベクトルを記憶する適応符号帳２１７と、複数の雑音波形ベクトルを記憶する雑音符号帳２１８と、適応符号帳２１７から選択されたピッチ周期ベクトルに利得を加える利得部２１９ａ及び雑音符号帳２１８から選択された雑音波形ベクトルに利得を加える利得部２１９ｂとを有する利得符号帳２１９と、利得部２１９ｂの過去の出力パワーに基づいて次の雑音波形ベクトルの予測利得を得る予測利得決定部２１５と、利得部２１９ｂの入力側に設けられ選択された雑音波形ベクトルにこの予測利得を加える予測利得部２１６と、利得部２１９ａ、２１９ｂからの出力ベクトルを加算して駆動ベクトルとして合成フィルタ２０３に供給する加算器２０９と、入力音声ベクトル（入力信号）から合成フィルタ２０３の出力（合成音声ベクトル）を減算して歪データとして出力する減算器２１１と、歪データに対して聴覚重み付けを行う聴覚重み付けフィルタ２２０と、聴覚重み付け後の歪データに基づいて歪パワーを計算し、歪パワーが最小になるように各符号帳２１７〜２１９での選択を行う歪パワー計算部２１２と、符号を出力する符号出力部２１３と、を備えている。
【００４２】
この音声符号化装置において本発明に基づく聴覚重み付けを行う場合には、上述の図１１に示した信号符号化装置をここでの聴覚重み付けフィルタ２２０として、または聴覚重み付けフィルタ２２０と併用して用いればよい。これにより、歪データに対して、本発明に基づく聴覚重み付けがなされることになる。さらに、ここでは図面を用いては説明しないが、特開平６−２８２２９８号公報の図２に開示される音声符号化装置においても、その聴覚重み付けフィルタとして、図１１に示した信号符号化装置を上述のように変形したものを使用することができる。
【００４３】
以上説明した本発明に基づく信号符号化方法及び装置は、それを実現するための計算機プログラムを、計算機（コンピュータ）に読み込ませ、そのプログラムを実行させることによっても実現できる。信号符号化を行うためのプログラムは、磁気テープやＣＤ−ＲＯＭなどの記録媒体によって、あるいは、ネットワークを介して、計算機に読み込まれる。図１３は、上述の信号符号化方法を実行する計算機の構成を示すブロック図である。
【００４４】
この計算機は、中央処理装置（ＣＰＵ）２１と、プログラムやデータを格納するためのハードディスク装置２２と、主メモリ２３と、キーボードやマウス、マイクロホンなどの入力装置２４と、ＣＲＴやスピーカなどの表示装置２５と、磁気テープやＣＤ−ＲＯＭ等の記録媒体２７を読み取る読み取り装置２６と、ネットワークに接続した通信インタフェース２８とから構成されている。ハードディスク装置２２、主メモリ２３、入力装置２４、表示装置２５、読み取り装置２６及び通信インタフェース２８は、いずれも中央処理装置２１に接続している。ハードディスク装置２２の代わりに、フラッシュＲＯＭなどの不揮発性半導体記憶装置を用いてもよい。この計算機は、信号符号化を行うためのプログラムを格納した記録媒体２７を読み取り装置２６に装着し、記録媒体２７からプログラムを読み出してハードディスク装置２２に格納し、ハードディスク装置２２に格納されたプログラムを中央処理装置２１が実行することにより、信号符号化装置として機能するようになる。もちろん、ネットワークを介して、信号符号化を行うためのプログラムをこの計算機にダウンロードするようにしてもよい。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、音声・楽音信号を符号化する際に、従来法よりも精度の高い聴覚マスキングが行なえ、高品質な符号化を行なうことが可能となる。具体的には、例えばＭＤＣＴ変換等によって時系列信号を周波数領域の係数列に変換して量子化する際に、本発明を用いれば、人間の聴覚マスキング特性を利用して、量子化誤差を知覚し難いように、周波数軸上で従来法よりも高精度で配分することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の信号符号化装置の構成を示すブロック図である。
【図２】スペクトルの山・谷へ重み付けを行う過程を示すブロック図である。
【図３】包絡算出部における処理の詳細を示すブロック図である。
【図４】山・谷推定部における処理の詳細を示すブロック図である。
【図５】山・谷推定部により検出された、スペクトラム包絡における山及び谷の様子の一例を示す図である。
【図６】スペクトル包絡の山・谷付近に重み付けを行った例を示す図である。
【図７】（ａ）〜（ｄ）は、山・谷付近への重み付け関数の例を示す図である。
【図８】聴覚重み付け処理によって量子化雑音がスペクトル包絡にマスキングされる様子を示した図である。
【図９】本発明に基づく信号符号化装置の構成の一例を示すブロック図である。
【図１０】本発明に基づく聴覚重み付けが適用される符号器及び復号器の構成の一例を示すブロック図である。
【図１１】信号符号化装置の構成の一例を示すブロック図である。
【図１２】信号符号化装置の構成の一例を示すブロック図である。
【図１３】信号符号化装置を構成するために使用される計算機システムの一例を示すブロック図である。
【符号の説明】
１１ Ｔ／Ｆ変換部
１２ 量子化部
１３ 包絡算出部
１４ 山・谷推定部
１５ 重み付け部
１６ 聴覚重み算出部
【発明の属する技術分野】
本発明は、入力信号を時間軸／周波数軸変換して量子化を行う信号符号化方法及び装置に関し、特に、符号化に際して発生する量子化誤差を、人間の耳が知覚しづらいように変形するための聴覚マスキング方法と、この聴覚マスキング方法による信号符号化装置に関する。
【０００２】
【従来の技術】
音声・楽音を符号化する従来の信号符号化方法における聴覚マスキング方法としては、入力信号を時間軸上または時間軸／周波数軸変換した上で、線形予測分析方法等によりその入力信号のスペクトル包絡曲線を推定し、その推定された曲線に妥当な変形操作を加えることによってマスキング曲線を求めて聴覚マスキングを行なうという方法があった。あるいは、入力信号を時間軸／周波数軸変換した信号から直接、スペクトル包絡曲線を求め、この曲線に妥当な変形操作を加えることによってマスキング曲線を求めて、聴覚マスキングによる量子化を行なう方法もあった。
【０００３】
【発明が解決しようとする課題】
聴覚マスキング方法では、周波数軸上でのマスキングとして、スペクトル包絡曲線の谷付近の量子化雑音を減らし、その代りにスペクトル包絡曲線の山付近の量子化雑音を増加させるようなノイズシェイピングを行うことによって、人間の耳には量子化雑音が聞こえにくいようにすることができる。ここで、上述したような従来法では、スペクトル包絡における山と谷の推定位置が不正確となる場合があったため、ノイズシェイピングが適切に行われずに、結果として符号化再生音の音質が悪い場合があった。
【０００４】
そこで本発明の目的は、スペクトル包絡曲線における山と谷の位置を正確に推定することができ、これによって精度の高い聴覚マスキング方法を実行できる信号符号化方法及び装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、聴感ベースでの歪みが最小となるように量子化できる信号符号化を実現するためのものであって、上述した課題を解決するために、スペクトル包絡曲線の山と谷の位置を正確に推定し、正確に推定した山と谷の位置から適切なノイズシェイピングを行う手法を取る。スペクトル包絡曲線の山と谷の位置推定は、時間軸／周波数軸変換した信号の正確なスペクトル包絡曲線から必要に応じて、微細な凹凸を取り除き、さらに必要に応じて１階微分、２階微分を求めて、これらの微分値または、微分値の相加平均値から、山と谷の正確な位置を決定する。こうして得られた山と谷の位置において適切な重みづけを行ない、効果的なノイズシェイピングを実現する。
【０００６】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は本発明の実施の一形態の信号符号化装置の構成を示すブロック図である。
【０００７】
この信号符号化装置は、典型的には音声信号あるいは楽音信号である時系列の入力信号ｘ（ｔ）に対して時間軸／周波数軸変換（Ｔ／Ｆ変換）を施して周波数軸上の信号列Ｘ（ｎ）を得るＴ／Ｆ変換部１１と、この信号列Ｘ（ｎ）に対してベクトル量子化（ＶＱ）及びスカラー量子化（ＳＱ）を施して量子化インデックスを得る量子化部１２を備えている。ここでＴ／Ｆ変換部１１は、例えば、ＭＤＣＴ（ｍｏｄｉｆｉｅｄ ｄｅｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；変形離散コサイン変換）などの変換を実行し、Ｘ（ｎ）はこの変換によって得られた変換係数列などを指す。さらにこの信号符号化装置では、どの周波数帯域にどれだけの情報量を配分するのかを決定するための“聴覚重み”を算出し、量子化部１１での量子化に際し、人間の耳に量子化雑音が聞こえ難いようにこの聴覚重みに基づく聴覚重み付け量子化が行われるようになっている。聴覚重みの算出のために、この信号符号化装置は、信号列Ｘ（ｎ）に基づいてスペクトル包絡を算出する包絡算出部１３と、算出されたスペクトル包絡に基づいてスペクトルの山と谷の位置を推定する山・谷推定部１４と、推定されたスペクトルの山と谷の位置に基づき、情報量の配分が「山の位置で特に小さく」かつ「谷の位置で特に大きく」なるように、山の付近と谷の付近において適切な重み付けを行う重み付け部１５と、“聴覚重み”として量子化部１２に出力する聴覚重み算出部１６と、を備えている。ここで“聴覚重み”の原形としては、スペクトル包絡の逆数を用いている。
【０００８】
なお、山、谷については、横軸を周波数軸として信号列Ｘ（ｎ）をプロットし、ならした（平滑化した）ときに、周囲に比べて信号列の値が大きいところを山と称し、周囲に比べて値が小さいところを谷と称している。後述するように、平滑化は、例えばある区間長（平均区間長ともいう）での相加平均を算出する（その区間長による移動平均を算出する）ことによって行われているが、このとき、その区間長を変化させることにより、微細な山・谷、やや微細な山・谷、大まかな山・谷の位置などが推定されることになる。ここで相加平均とは、１フレーム内のスペクトルを周波数区間内で平滑化するためのものである。本発明では、平滑化の度合いが異なる山・谷の位置の推定を組み合わせることにより、より精度の高い聴覚マスキングを可能にしている。
【０００９】
次に、この信号符号化装置の動作を説明する。
【００１０】
時系列の信号として入力する時系列の入力信号ｘ（ｔ）は、Ｔ／Ｆ変換部１１によって周波数軸上の信号列Ｘ（ｎ）に変換される。この信号列Ｘ（ｎ）は、ベクトル量子化及びスカラー量子化のために量子化部１２に供給されるとともに、そのスペクトル包絡を算出するために、包絡算出部１３にも送られる。包絡算出部１３は、信号列Ｘ（ｎ）のスペクトル包絡を算出し、山・谷推定部１４は、算出されたスペクトル包絡に基づいて、スペクトルにおける山と谷の位置を推定し、推定した位置を重み付け部１５に出力する。重み付け部１５は、包絡算出部１３において得られたスペクトル包絡の逆数に基づいて、スペクトルの山と谷の位置においてそれぞれ、情報量の配分が「山の位置で特に小さく」、「谷の位置で特に大きく」なるように、山の付近と谷の付近において、適切な情報量重み付けを行う。具体的には、山の付近を高く持ち上げかつ谷の付近を深く下げるか、あるいは、山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて、山・谷の位置へ重み付け操作を行う。重み付け部１５には、包絡算出部１３からスペクトル包絡曲線が供給されており、重み付け操作が施されたスペクトル包絡曲線が重み付け部１５から聴覚重み算出部１６に供給される。
【００１１】
聴覚重み算出部１６は、重み付けされたスペクトル包絡曲線に基づいて量子化用聴覚重みを算出してそれを量子化部１２に向けて出力する。その結果、量子化部１３は、供給された量子化用聴覚重みを使用して、Ｔ／Ｆ変換部１１からの信号列Ｘ（ｎ）に対するベクトル量子化及びスカラー量子化を実行する。これにより、量子化部１３から、精度の高い聴覚マスキングがなされた量子化インデックス（出力インデックス）が出力される。
【００１２】
以上、この実施の形態の信号符号化装置の基本的動作を説明したが、本発明では、聴覚重み付けの方法として、上述した重み付けの方法と、従来から一般的に用いられている線形予測分析法等によりスペクトル包絡を予測し包絡曲線の山と谷をべき乗演算によりなまらせ重みとする方法とを併用してもよい。
【００１３】
次に、この実施の形態における重み付けの過程を詳細を説明する。
【００１４】
図２は、スペクトルの山・谷へ重み付けを行う過程を示すブロック図である。ここでは、スペクトル包絡算出部１３において得られたスペクトル包絡曲線から、山・谷推定部１４において、スペクトルの微細な山・谷の周波数位置を推定し、次にやや微細な山・谷の周波数位置を推定し、というように、この手順を必要な回数だけ繰り返し、最後に、スペクトルの大まかな山・谷の周波数位置を推定する。重み付け部１５は、これらの推定された山と谷の付近に対して、各々、妥当な重み関数によって重み付け操作を行う。
【００１５】
図３は、包絡算出部１３における処理の詳細を示すブロック図である。包絡算出部１３は、周波数領域の信号列Ｘ（ｎ）に対して相加平均処理を施すことにより、スペクトル包絡曲線を得るものである。図において、相加平均（１）から相加平均（ｋ）までは、それぞれ、区間長が異なる移動平均区間における相加平均である。ここでは、信号列Ｘ（ｎ）に対し、まず、第１の相加平均（１）が適用され、その結果Ｙ１（ｎ）に対して第２の相加平均（２）が適用され、さらにその結果Ｙ２（ｎ）に対して第３の相加平均（３）が適用されるというようにして、ｋ回の相加平均を順次行うようにしている。ここでｋは１以上の整数の定数である。このようにして得られた各相加平均の結果Ｙ１（ｎ），Ｙ２（ｎ），．．．，Ｙｋ（ｎ）は、それぞれ山・谷推定部１４に送られる。各回の相加平均での区間長は、各々の用途に応じて決定されるものであるが、主として、相加平均（１）では平均区間長を短くして微細な山と谷の位置を検出し、相加平均（２）では相加平均（１）よりも平均区間長を長くして大まかな山と谷の位置を検出する。以下、相加平均（ｋ）まで同様の操作とし、各回の相加平均での平均区間長を徐々に長くして行くとよい。
また、前述した“相加平均（ｋ）”の演算は、必要に応じて、平均区間長を変えて複数回実施してもよい。
【００１７】
次に、山・谷推定部１４での処理を説明する。図４は、山・谷推定部１４での処理を説明するブロック図である。
【００１８】
山・谷推定部１４は、包絡算出部１３からの各回の相加平均によるスペクトル包絡を表す係数列Ｙ１（ｎ），Ｙ２（ｎ），．．．，Ｙｋ（ｎ）を入力として、係数列ごとに、以下のようにして山と谷の位置を推定する。すなわち、入力した係数列Ｙｊ（ｎ）（１≦ｊ≦ｋ）をまずｎで微分して系列Ｙ′ｊ（ｎ）を求め、この系列Ｙ′ｊ（ｎ）に対して適切な区間で相加平均をとり、微細な変動成分を取り除いた系列
【００１９】
【外１】
を求める。さらにこれをｎで再び微分して系列Ｙ″ｊ（ｎ）を求め、この系列Ｙ″ｊ（ｎ）の微細な変動成分を取り除いた系列
【００２１】
【外２】
を求める。そして、図４中に式で示したように、これらの値の正負からスペクトル包絡曲線の山と谷の位置を推定する。また、前述した、微細な変動成分を取り除くための“相加平均”の演算は、必要に応じて、平均区間長を変えて複数回実施してもよいし、これを実施しなくてもよい。
【００２３】
図５は、以上のようにして係数列Ｘ（ｎ）からスペクトル包絡の山と谷が検出された様子を例示する図である。ここでは、ｋ＝２、すなわち包絡算出部１３において２段階に相加平均を求める場合を示している。この図において、平均を取る前の係数列Ｘ（ｎ）の絶対値｜Ｘ（ｎ）｜を▲１▼、相加平均（１）による系数列Ｙ１（ｎ）における絶対値｜Ｙ１（ｎ）｜を▲２▼、相加平均（２）による係数列Ｙ２（ｎ）における絶対値｜Ｙ２（ｎ）｜を▲３▼とする。相加平均（１）から推定した山の位置をｍ１，ｍ２，．．．，ｍ１２、谷の位置をＶ１，Ｖ２，．．．，Ｖ１１で表し、相加平均（２）から推定した山の位置をＭ１，Ｍ２，Ｍ３、谷の位置をＶ１，Ｖ２で表している。ここでは、相加平均（１）での区間長よりも相加平均（２）での区間長を長くしており、▲２▼が微細な山・谷の周波数位置に相当し、▲３▼が大まかな山・谷の周波数位置に相当する。
【００２４】
次に、このようにして、複数種類の山・谷の周波数位置が求められたとして、どのように情報量の重み付けを行うかを説明する。図６は、スペクトル包絡曲線の山・谷付近に情報量の重み付けを行った例を示す図である。ここでは、説明を分かりやすくするために、おおまかな波形を使って説明を行う。
【００２５】
図６において、あらかじめ推定されたスペクトル包絡曲線▲１▼（｜Ｙ２（ｎ）｜）の逆数▲２▼（１／｜Ｙ２（ｎ）｜）を聴覚重みの原形とし、これの山と谷の推定位置付近において、重み関数を使って重み付けを行う。この図の例では、重み付け関数▲４▼を▲２▼に乗算することによって、山と谷の位置で情報量を補正した聴覚重み▲３▼（ＷＬ）を作成している。重み付け関数▲４▼及び▲５▼としては、種々の形のものが可能であるが、ここでは、一例として、重み付けを行う区間長が２ｔ、山の中心で０．５倍、山の端で１．０倍、谷の中心で２．０倍、谷の端で１．０倍となるような直線関数による重み付けを行った結果を▲３▼として示している。図６から分かるように、山と谷の正確な位置を推定し、谷の付近に情報量を多くし、山の付近に情報量を少なく割り当る重みを作成することができる。
【００２６】
ここでｔの値は、例えば、ピッチ周波数を表す山・谷の構造に重み付けしたい場合には１００〜２００Ｈｚ、ホルマント周波数を表す山・谷の構造に重み付けしたい場合には３００〜６００Ｈｚ程度とすることが好ましい。
【００２７】
実際には、スペクトル包絡の“微細な曲線”と“おおまかな曲線”の各々の山・谷の付近において、前述した方法により重み付けを行う。例えば、図５に示すようにスペクトル包絡の“微細な曲線”と“おおまかな曲線”の各々について山と谷の位置が推定されている場合には、微細構造を表すスペクトル包絡▲２▼の逆数１／｜Ｙ１（ｎ）｜を聴覚重みの原形とし、この包絡曲線の山と谷の位置ｍ１，ｖ１，ｍ２，ｖ２，．．．の付近において、図６と同様にして聴覚重みの原形である１／｜Ｙ１（ｎ）｜に対して適切な重み付けを行い、さらに、おおまかなスペクトル構造を表す曲線▲３▼の山と谷の位置Ｍ１，Ｖ１，Ｍ２，Ｖ２，．．．の付近において、同様に聴覚重みの原形である１／｜Ｙ１（ｎ）｜に対して適切な重み付けを行う。
【００２８】
山に対する重み付け関数及び谷に対する重み付け関数としては、各種のものが考えられる。図７は、そうした重み付け関数を例示するものである。
【００２９】
図７中、（ａ），（ｂ）はいずれも山に対する重み付け関数の例を示しており、（ａ）は直線により構成されたもの、（ｂ）は放物線により構成されたものである。いずれも山の中心ｎ＝Ｍの両側にｔずつ、合計２ｔの区間を重み付け区間としている。重み付け関数の値は、重み付け区間の両端（Ｍ±ｔ）においては１．０であるものとする。また、山の中心ｎ＝Ｍにおける重みの値αは、通常、０＜α＜１．０における妥当な定数とすればよい。同様に図７中、（ｃ），（ｄ）は、谷に対する重み付け関数の例を示しており、（ｃ）は直線により構成されたもの、（ｄ）は放物線により構成されたものである。山の場合と同様に、谷に対する重み付け関数も、その値は、重み付け区間の両端（Ｖ±ｔ）においては１．０である。また、谷の中心ｎ＝Ｖにおける重みの値βは、通常、β＞１．０における妥当な定数を使用する。しかしながら、場合によっては、α＞１．０，０＜β＜１．０とすると効果的なこともある。
【００３０】
このようにして聴覚重み付けを行った場合に、量子化雑音は図８に示すように変形される。すなわち、聴覚重み付けを行わない場合には、量子化ノイズは周波数によらずに一定であると考えられるが（図中▲２▼）、入力信号のスペクトル包絡が図中▲１▼に示すようなものであるとすると、上述した聴覚重み付けを行うことにより、ノイズは、図中▲３▼に示すようにその周波数特性が変形され、入力信号のスペクトル特性である▲１▼に隠されて、聴感的に聞こえ難くなる。
【００３１】
したがって、従来法よりも精度の高い聴覚マスキングが行なえ、高品質な符号化を行なうことが可能となる。
【００３２】
次に、上述した本発明の信号符号化方法を一般的な変換符号化方式の聴覚重み付けに適用した例を説明する。図９はそのような聴覚重み付けを行う信号符号化装置の構成を示している。
【００３３】
図９に示す信号符号化装置は、入力信号に対してＭＤＣＴを施すＭＤＣＴ変換部３１と、ＭＤＣＴ後の信号のスペクトルを平坦化するスペクトル平坦化部３２と、平坦化後のスペクトルに基づいてフレームゲインを正規化し量子化した後、ゲインインデックスを出力するフレームゲイン正規化部３３と、正規化されたフレームゲインに基づいて残差成分を量子化（ベクトル量子化あるいはスカラー量子化）し、量子化インデックスを出力する残差成分量子化部３４と、ＭＤＣＴ後の信号のスペクトルからスペクトル包絡を推定するスペクトル包絡推定部３５と、残差成分量子化部３４での量子化に際して情報量重み付けを行うために、推定されたスペクトル包絡から聴覚重みを計算する聴覚重み計算部３６と、推定されたスペクトル包絡に基づいてスペクトル情報を量子化しスペクトルインデックスを出力するスペクトル情報量子化部３７とを備えている。この信号符号化装置では、ＭＤＣＴ変換部３１が図１に示した信号符号化装置のＴ／Ｆ変換部１１に相当し、また、スペクトル包絡推定部３５は、図１に示す装置の包絡算出部１３及び山・谷推定部１４で構成され、聴覚重み計算部３６は、図１に示す装置の重み付け部１５及び聴覚重み算出部１６で構成される。
【００３４】
本発明の信号符号化方法により、分析フレーム内におけるスペクトルの山と谷を正確かつ細かに分析し、その形に合わせて量子化の際に精度の高い聴覚マスキングを行うことができる。この聴覚マスキングは、ベクトル量子化や、サブバンドスカラー量子化に対して適用できる。
【００３５】
さらに図１０は、特開平８−４４３９９号公報に開示される符号器及び復号器に本発明の聴覚重み付けを適用した例を示している。図１０に示されるものにおいて、符号器１１０は、入力端子１１１に与えられた入力信号をフレームに分割するフレーム分割部１１４と、フレームに時間窓を描ける時間窓掛部１１５と、時間窓が掛けられたフレームにＮ次のＭＤＣＴを施すＭＤＣＴ部１１６と、時間窓が掛けられたフレームに対して線形予測分析を行い予測係数を出力する線形予測分析部１１７と、予測係数を量子化してインデックスＩｐを得る量子化部１１８と、予測係数のスペクトラム概形を求めるスペクトラム概形計算部１２１と、ＭＤＣＴ部１１６からのスペクトラム振幅をスペクトラム概形により正規化し残差係数Ｒ（Ｆ）を得る正規化部１２２と、残差係数概形ＥＲ（Ｆ）を計算する残差概形計算部１２３と、残差係数概形及びスペクトラム概形に基づいて重み付け係数（ベクトルＷ）を計算する重み計算部１２４と、重み付け係数に基づいて量子化しインデックスＩｍと量子化小系列ベクトルＣ（ｍ）を出力する量子化部１２５と、残差係数Ｒ（Ｆ）を残差係数概形ＥＲ（Ｆ）で正規化して微細構造係数を得る残差係数正規化部１２６と、現フレームの微細構造係数を正規化し正規化微細構造係数Ｘ（Ｆ）として量子化部１２５に与えるとともにインデックスＩＧを出力するパワー正規化部１２７と、量子化小系列ベクトルＣ（ｍ）を逆正規化し量子化残差係数Ｒｑ（Ｆ）を残差概形計算部１２３に出力する逆正規化部１３１とを備えている。
【００３６】
符号器１１０において本発明に基づく聴覚重み付けを行うためには、スペクトラム概形計算部１２１において、従来法に加えてさらに図１に示した信号符号化装置の包絡算出部１３及び山・谷推定部１４での処理と同様の処理を行わせ、その結果に基づいて、重み計算部１２４においては、従来法に加えてさらに図１に示した装置の重み付け部１５及び聴覚重み算出部１６での処理と同様の処理を行い、得られた量子化用聴覚重みを量子化部１２５に供給するようにすればよい。
【００３７】
これに対して復号器１５０は、インデックスＩｍから正規化微細構造係数を再生する再生部１５１と、インデックスＩＧから正規化ゲインを再生する正規化ゲイン再生部１５２と、正規化微細構造係数を正規化ゲインにより逆正規化して微細構造係数を得るパワー逆正規化部１５３と、微細構造係数を残差概形ＥＲで逆正規化して残差係数Ｒ（Ｆ）を再生する残差逆正規化部１５４と、残差概形ＥＲを計算する残差概形計算部１５５と、インデックスＩｐから線形予測係数を再生しスペクトラム概形を計算する再生・スペクトラム概形計算部１５６と、スペクトラム概形を残差係数Ｒ（Ｆ）で逆正規化し周波数領域係数を再生する逆正規化部１５７と、周波数領域係数にフレームごとに逆ＭＤＣＴを施し時間領域信号を得る逆ＭＤＣＴ部１５８と、時間領域信号にフレームごとに時間窓を掛ける窓掛部１５９と、窓掛け出力に対してフレーム重ね合わせを行い再生音響信号を得てこれを出力端子１９１に出力するフレーム重ね合わせ部１６１と、を備えている。
【００３８】
なお、図１０に示す符号器１１０においては、逆正規化部１３１を設けることなく、正規化部１２２の出力のみに基づいて残差概形計算部１２３が残差係数概形ＥＲ（Ｆ）とインデックスＩＱを算出するようにすることが可能であり、この場合、復号器１５０において残差概形計算部１５５はインデックスＩＱに基づいて残差概形ＥＲを計算する。
【００３９】
次に、時間領域の符号化方式であるＣＥＬＰ（Ｃｏｄｅ−Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）符号化の聴覚マスキングに本発明を適用した例を説明する。ＣＥＬＰ符号化では、時間領域で聴覚マスキングが行われるため、本発明に基づく聴覚重み付けを周波数領域で適用し、得られた聴覚重みを時間領域に戻してから量子化に適用する。図１１はそのような符号化を行う信号符号化装置の構成を示すブロック図である。
【００４０】
図１１に示す装置は、入力信号に対してＦＦＴ（高速フーリエ変換）を施すＦＦＴ部３８と、ＦＦＴ部の出力（周波数領域の信号列）に基づき、スペクトル包絡を推定するスペクトル包絡推定部３５と、推定されたスペクトル包絡から聴覚重みを計算する聴覚重み計算部３６と、聴覚重みを時間領域に戻すための逆ＦＦＴ部３９と、時間領域の聴覚重みに基づいて入力信号のＣＥＬＰ符号化を行い、インデックスを出力するＣＥＬＰ符号化部４０とを備えている。この信号符号化装置においては、ＦＦＴ部３８が図１に示した信号符号化装置のＴ／Ｆ変換部１１に相当し、また、スペクトル包絡推定部３５は、図１に示す装置の包絡算出部１３及び山・谷推定部１４で構成され、聴覚重み計算部３６は、図１に示す装置の重み付け部１５及び聴覚重み算出部１６で構成される。
【００４１】
さらに図１２は、特開平６−２８２２９８号公報の図１に開示される音声符号化装置に本発明の聴覚重み付けを適用した例を示している。図１２に示される音声符号化装置は、入力端子２０１を介して入力した音声信号をフレームに分割して線形予測分析を行い、予測係数を決定する予測係数決定部２０２と、合成フィルタ２０３と、予測係数を量子化して合成フィルタ２０３に予測係数を設定する予測係数量子化部２０４と、複数のピッチ周期ベクトルを記憶する適応符号帳２１７と、複数の雑音波形ベクトルを記憶する雑音符号帳２１８と、適応符号帳２１７から選択されたピッチ周期ベクトルに利得を加える利得部２１９ａ及び雑音符号帳２１８から選択された雑音波形ベクトルに利得を加える利得部２１９ｂとを有する利得符号帳２１９と、利得部２１９ｂの過去の出力パワーに基づいて次の雑音波形ベクトルの予測利得を得る予測利得決定部２１５と、利得部２１９ｂの入力側に設けられ選択された雑音波形ベクトルにこの予測利得を加える予測利得部２１６と、利得部２１９ａ、２１９ｂからの出力ベクトルを加算して駆動ベクトルとして合成フィルタ２０３に供給する加算器２０９と、入力音声ベクトル（入力信号）から合成フィルタ２０３の出力（合成音声ベクトル）を減算して歪データとして出力する減算器２１１と、歪データに対して聴覚重み付けを行う聴覚重み付けフィルタ２２０と、聴覚重み付け後の歪データに基づいて歪パワーを計算し、歪パワーが最小になるように各符号帳２１７〜２１９での選択を行う歪パワー計算部２１２と、符号を出力する符号出力部２１３と、を備えている。
【００４２】
この音声符号化装置において本発明に基づく聴覚重み付けを行う場合には、上述の図１１に示した信号符号化装置をここでの聴覚重み付けフィルタ２２０として、または聴覚重み付けフィルタ２２０と併用して用いればよい。これにより、歪データに対して、本発明に基づく聴覚重み付けがなされることになる。さらに、ここでは図面を用いては説明しないが、特開平６−２８２２９８号公報の図２に開示される音声符号化装置においても、その聴覚重み付けフィルタとして、図１１に示した信号符号化装置を上述のように変形したものを使用することができる。
【００４３】
以上説明した本発明に基づく信号符号化方法及び装置は、それを実現するための計算機プログラムを、計算機（コンピュータ）に読み込ませ、そのプログラムを実行させることによっても実現できる。信号符号化を行うためのプログラムは、磁気テープやＣＤ−ＲＯＭなどの記録媒体によって、あるいは、ネットワークを介して、計算機に読み込まれる。図１３は、上述の信号符号化方法を実行する計算機の構成を示すブロック図である。
【００４４】
この計算機は、中央処理装置（ＣＰＵ）２１と、プログラムやデータを格納するためのハードディスク装置２２と、主メモリ２３と、キーボードやマウス、マイクロホンなどの入力装置２４と、ＣＲＴやスピーカなどの表示装置２５と、磁気テープやＣＤ−ＲＯＭ等の記録媒体２７を読み取る読み取り装置２６と、ネットワークに接続した通信インタフェース２８とから構成されている。ハードディスク装置２２、主メモリ２３、入力装置２４、表示装置２５、読み取り装置２６及び通信インタフェース２８は、いずれも中央処理装置２１に接続している。ハードディスク装置２２の代わりに、フラッシュＲＯＭなどの不揮発性半導体記憶装置を用いてもよい。この計算機は、信号符号化を行うためのプログラムを格納した記録媒体２７を読み取り装置２６に装着し、記録媒体２７からプログラムを読み出してハードディスク装置２２に格納し、ハードディスク装置２２に格納されたプログラムを中央処理装置２１が実行することにより、信号符号化装置として機能するようになる。もちろん、ネットワークを介して、信号符号化を行うためのプログラムをこの計算機にダウンロードするようにしてもよい。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、音声・楽音信号を符号化する際に、従来法よりも精度の高い聴覚マスキングが行なえ、高品質な符号化を行なうことが可能となる。具体的には、例えばＭＤＣＴ変換等によって時系列信号を周波数領域の係数列に変換して量子化する際に、本発明を用いれば、人間の聴覚マスキング特性を利用して、量子化誤差を知覚し難いように、周波数軸上で従来法よりも高精度で配分することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の信号符号化装置の構成を示すブロック図である。
【図２】スペクトルの山・谷へ重み付けを行う過程を示すブロック図である。
【図３】包絡算出部における処理の詳細を示すブロック図である。
【図４】山・谷推定部における処理の詳細を示すブロック図である。
【図５】山・谷推定部により検出された、スペクトラム包絡における山及び谷の様子の一例を示す図である。
【図６】スペクトル包絡の山・谷付近に重み付けを行った例を示す図である。
【図７】（ａ）〜（ｄ）は、山・谷付近への重み付け関数の例を示す図である。
【図８】聴覚重み付け処理によって量子化雑音がスペクトル包絡にマスキングされる様子を示した図である。
【図９】本発明に基づく信号符号化装置の構成の一例を示すブロック図である。
【図１０】本発明に基づく聴覚重み付けが適用される符号器及び復号器の構成の一例を示すブロック図である。
【図１１】信号符号化装置の構成の一例を示すブロック図である。
【図１２】信号符号化装置の構成の一例を示すブロック図である。
【図１３】信号符号化装置を構成するために使用される計算機システムの一例を示すブロック図である。
【符号の説明】
１１ Ｔ／Ｆ変換部
１２ 量子化部
１３ 包絡算出部
１４ 山・谷推定部
１５ 重み付け部
１６ 聴覚重み算出部
Claims (6)
- 入力信号に対して量子化を行う信号符号化方法であって、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る工程と、
前記係数列に基づいてスペクトル包絡を算出する工程と、
前記スペクトル包絡における山・谷の位置を推定する工程と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う工程と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する工程と、
前記量子化用聴覚重みに基づいて量子化を行う工程と、
を有し、
前記推定する工程は、前記スペクトル包絡の１階微分値を求める工程と、前記１階微分値の１階微分値を求めて２階微分値とする工程と、を有し、
前記情報量重み付けを行う工程は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行う工程を有し、
前記１階微分値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値が常に正の値ならば、その周波数を谷の位置とする、信号符号化方法。 - 入力信号に対して量子化を行う信号符号化方法であって、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る工程と、
前記係数列に基づいてスペクトル包絡を算出する工程と、
前記スペクトル包絡における山・谷の位置を推定する工程と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う工程と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する工程と、
前記量子化用聴覚重みに基づいて量子化を行う工程と、
を有し、
前記推定する工程は、前記スペクトル包絡の１階微分値を求める工程と、前記１階微分値の相加平均値を求める工程と、前記１階微分値の相加平均値の１階微分値を求めて２階微分値とする工程と、前記２階微分値の相加平均値を求める工程と、を有し、
前記情報量重み付けを行う工程は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行う工程を有し、
前記１階微分値の相加平均値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値の相加平均値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に正の値ならば、その周波数を谷の位置とする、信号符号化方法。 - 入力信号に対して量子化を行う信号符号化装置であって、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る変換手段と、
前記係数列に基づいてスペクトル包絡を算出する包絡算出手段と、
前記スペクトル包絡における山・谷の位置を推定する山・谷推定手段と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う重み付け手段と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する聴覚重み算出手段と、
前記量子化用聴覚重みに基づいて量子化を行う量子化手段と、
を有し、
前記重み付け手段は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行い、
前記山・谷推定手段は、前記スペクトル包絡の１階微分値を求め、前記１階微分値の１階微分値を求めて２階微分値とし、前記１階微分値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値が常に正の値ならば、その周波数を谷の位置とする、信号符号化装置。 - 入力信号に対して量子化を行う信号符号化装置であって、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る変換手段と、
前記係数列に基づいてスペクトル包絡を算出する包絡算出手段と、
前記スペクトル包絡における山・谷の位置を推定する山・谷推定手段と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う重み付け手段と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する聴覚重み算出手段と、
前記量子化用聴覚重みに基づいて量子化を行う量子化手段と、
を有し、
前記重み付け手段は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行い、
前記山・谷推定手段は、前記スペクトル包絡の１階微分値を求め、前記１階微分値の相加平均値を求め、前記１階微分値の相加平均値の１階微分値を求めて２階微分値とし、前記２階微分値の相加平均値を求め、前記１階微分値の相加平均値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値の相加平均値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に正の値ならば、その周波数を谷の位置とする、信号符号化装置。 - 計算機が読取り可能な記録媒体であって、
前記計算機に、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る工程と、
前記係数列に基づいてスペクトル包絡を算出する工程と、
前記スペクトル包絡における山・谷の位置を推定する工程と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う工程と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する工程と、
前記量子化用聴覚重みに基づいて量子化を行う工程と、
を実行させ、
前記推定する工程は、前記スペクトル包絡の１階微分値を求める工程と、前記１階微分値の１階微分値を求めて２階微分値とする工程と、を有し、
前記情報量重み付けを行う工程は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行う工程を有し、
前記１階微分値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値が常に正の値ならば、その周波数を谷の位置とする、信号符号化プログラムを記録した記録媒体。 - 計算機が読取り可能な記録媒体であって、
前記計算機に、
前記入力信号に対して時間軸／周波数軸変換を行って周波数軸上の係数列を得る工程と、
前記係数列に基づいてスペクトル包絡を算出する工程と、
前記スペクトル包絡における山・谷の位置を推定する工程と、
前記スペクトル包絡において、推定された山・谷の位置へ情報量重み付けを行う工程と、
情報量重み付けされたスペクトル包絡に基づいて、量子化用聴覚重みを算出する工程と、
前記量子化用聴覚重みに基づいて量子化を行う工程と、
を実行させ、
前記推定する工程は、前記スペクトル包絡の１階微分値を求める工程と、前記１階微分値の相加平均値を求める工程と、前記１階微分値の相加平均値の１階微分値を求めて２階微分値とする工程と、前記２階微分値の相加平均値を求める工程と、を有し、
前記情報量重み付けを行う工程は、山の付近を高く持ち上げ谷の付近を深く下げるか、または山の付近を低く下げ谷の付近を浅くなるように持ち上げるような重み関数を用いて山・谷の位置へ重み付け操作を行う工程を有し、
前記１階微分値の相加平均値が正の値から負の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に負の値ならば、その周波数を山の位置とし、前記１階微分値の相加平均値が負の値から正の値に変化し、かつ、該変化の近傍で前記２階微分値の相加平均値が常に正の値ならば、その周波数を谷の位置とする、信号符号化プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318017A JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318017A JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002123298A JP2002123298A (ja) | 2002-04-26 |
| JP3590342B2 true JP3590342B2 (ja) | 2004-11-17 |
Family
ID=18796710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000318017A Expired - Fee Related JP3590342B2 (ja) | 2000-10-18 | 2000-10-18 | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3590342B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107210042A (zh) * | 2015-01-30 | 2017-09-26 | 日本电信电话株式会社 | 编码装置、解码装置、它们的方法、程序以及记录介质 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0510400A (pt) * | 2004-05-19 | 2007-10-23 | Matsushita Electric Ind Co Ltd | dispositivo de codificação, dispositivo de decodificação e método dos mesmos |
| JP4761506B2 (ja) * | 2005-03-01 | 2011-08-31 | 国立大学法人北陸先端科学技術大学院大学 | 音声処理方法と装置及びプログラム並びに音声システム |
| JP4556866B2 (ja) * | 2005-12-27 | 2010-10-06 | 日本ビクター株式会社 | 高能率符号化プログラム及び高能率符号化装置 |
| KR101411900B1 (ko) * | 2007-05-08 | 2014-06-26 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 장치 |
| JP5047900B2 (ja) * | 2008-08-01 | 2012-10-10 | ヤマハ発動機株式会社 | 発話区間検出装置 |
| JP5602769B2 (ja) * | 2010-01-14 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| JP6160072B2 (ja) | 2012-12-06 | 2017-07-12 | 富士通株式会社 | オーディオ信号符号化装置および方法、オーディオ信号伝送システムおよび方法、オーディオ信号復号装置 |
| EP2981958B1 (en) | 2013-04-05 | 2018-03-07 | Dolby International AB | Audio encoder and decoder |
| EP3594946B1 (en) * | 2014-05-01 | 2020-10-28 | Nippon Telegraph And Telephone Corporation | Decoding of a sound signal |
| ES2876184T3 (es) * | 2014-05-01 | 2021-11-12 | Nippon Telegraph & Telephone | Dispositivo de codificación de señal de sonido, método de codificación de señal de sonido, programa y soporte de registro |
| CN109716431B (zh) * | 2016-09-15 | 2022-11-01 | 日本电信电话株式会社 | 样本串变形装置、样本串变形方法、记录介质 |
-
2000
- 2000-10-18 JP JP2000318017A patent/JP3590342B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107210042A (zh) * | 2015-01-30 | 2017-09-26 | 日本电信电话株式会社 | 编码装置、解码装置、它们的方法、程序以及记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002123298A (ja) | 2002-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10236015B2 (en) | Encoding device and method, decoding device and method, and program | |
| US9659573B2 (en) | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program | |
| USRE43191E1 (en) | Adaptive Weiner filtering using line spectral frequencies | |
| US9691410B2 (en) | Frequency band extending device and method, encoding device and method, decoding device and method, and program | |
| US5706395A (en) | Adaptive weiner filtering using a dynamic suppression factor | |
| JP5127754B2 (ja) | 信号処理装置 | |
| JP3590342B2 (ja) | 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体 | |
| US11335355B2 (en) | Estimating noise of an audio signal in the log2-domain | |
| TWI524332B (zh) | 用於使用次頻帶時間平滑技術產生頻率增強信號之裝置及方法 | |
| JP4382808B2 (ja) | 基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム | |
| JP5443547B2 (ja) | 信号処理装置 | |
| US10950251B2 (en) | Coding of harmonic signals in transform-based audio codecs | |
| JP3186013B2 (ja) | 音響信号変換符号化方法及びその復号化方法 | |
| JP3349858B2 (ja) | 音声符号化装置 | |
| JP3390923B2 (ja) | 音声処理方法 | |
| WO2001024164A1 (fr) | Codeur vocal, decodeur vocal et procede de codage et de decodage de la parole | |
| JPH0990998A (ja) | 音響信号変換復号化方法 | |
| TW201443888A (zh) | 用於使用能量限制操作產生頻率增強信號之裝置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040510 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040811 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3590342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |