JP2779325B2 - ボコーダーにおける前処理の相関関係式を用いたピッチ検索時間短縮方法 - Google Patents
ボコーダーにおける前処理の相関関係式を用いたピッチ検索時間短縮方法Info
- Publication number
- JP2779325B2 JP2779325B2 JP6305095A JP30509594A JP2779325B2 JP 2779325 B2 JP2779325 B2 JP 2779325B2 JP 6305095 A JP6305095 A JP 6305095A JP 30509594 A JP30509594 A JP 30509594A JP 2779325 B2 JP2779325 B2 JP 2779325B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- equation
- signal
- vocoder
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000007781 pre-processing Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 title description 46
- 239000011295 pitch Substances 0.000 claims description 95
- 238000001514 detection method Methods 0.000 claims 1
- 230000005236 sound signal Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 7
- 238000003672 processing method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 101100326509 Catharanthus roseus CYP76B6 gene Proteins 0.000 description 1
- USNBCAPIYYPNGO-UHFFFAOYSA-N Decodine Natural products C12=C(O)C(OC)=CC=C2C(N2CCCCC2C2)CC2OC(=O)CCC2=CC=C(O)C1=C2 USNBCAPIYYPNGO-UHFFFAOYSA-N 0.000 description 1
- 101001096074 Homo sapiens Regenerating islet-derived protein 4 Proteins 0.000 description 1
- 102100037889 Regenerating islet-derived protein 4 Human genes 0.000 description 1
- 101100326510 Swertia mussotii CYP76B10 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
- G10L19/125—Pitch excitation, e.g. pitch synchronous innovation CELP [PSI-CELP]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0011—Long term prediction filters, i.e. pitch estimation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
【０００１】
【産業上の利用分野】本発明はボコーダー（vocoder）
におけるピッチ検索の方法に関するもので、具体的には
音声信号のピッチ検索時に前処理用の自己相関関係法に
よって予備ピッチを求めてから、その求められた予備ピ
ッチに対してのみピッチフィルターの係数を求めて従来
のピッチ検索の時間を短縮させるCELP（Code excited l
inearprediction）のボコーダーからの前処理の自己相
関関係式による処理時間の短縮法に関するものである。
におけるピッチ検索の方法に関するもので、具体的には
音声信号のピッチ検索時に前処理用の自己相関関係法に
よって予備ピッチを求めてから、その求められた予備ピ
ッチに対してのみピッチフィルターの係数を求めて従来
のピッチ検索の時間を短縮させるCELP（Code excited l
inearprediction）のボコーダーからの前処理の自己相
関関係式による処理時間の短縮法に関するものである。
【０００２】
【従来の技術】ディジタル方式の携帯用の通信器機にお
いては伝送チャンネルの帯域幅を効率的に使用し、また
高い音質を得るために各種のボコーダー理論を利用して
音声符号化器（ボコーダー）を実現している。
いては伝送チャンネルの帯域幅を効率的に使用し、また
高い音質を得るために各種のボコーダー理論を利用して
音声符号化器（ボコーダー）を実現している。
【０００３】しかし、このようなボコーダー技法はたく
さんの計算量を必要とし、特にピッチ検索の部分はボコ
ーダー技法から必要とする全体の計算量の５０％以上を
占める。この音声信号を符号化するためのボコーダー技
法は大別すると波形符号化法，ソース符号化法，混成符
号化法によって区分される。
さんの計算量を必要とし、特にピッチ検索の部分はボコ
ーダー技法から必要とする全体の計算量の５０％以上を
占める。この音声信号を符号化するためのボコーダー技
法は大別すると波形符号化法，ソース符号化法，混成符
号化法によって区分される。
【０００４】最近の符号化の技術と合成された音質を考
慮するときボコーダー用として一番望ましい技法が混成
符号化法である。この混成符号化法は声道（vocal trac
k）フィルターを線形の予測分析法によってモデリング
し、残りの残留信号はそのままに伝送する符号化法であ
り、RELP法，VSELP法，CELP法等がある。
慮するときボコーダー用として一番望ましい技法が混成
符号化法である。この混成符号化法は声道（vocal trac
k）フィルターを線形の予測分析法によってモデリング
し、残りの残留信号はそのままに伝送する符号化法であ
り、RELP法，VSELP法，CELP法等がある。
【０００５】前記の符号化法の中で使用帯域幅に比べ一
番音質が優秀であると知られているものとしてはCELPボ
コーダーである。
番音質が優秀であると知られているものとしてはCELPボ
コーダーである。
【０００６】このCELPボコーダーは入力の音声信号を分
析して必要なパラメータを抽出し、このパラメータを利
用して音声信号を合成してからこの合成信号と入力の音
声信号を比較する方法を使用しているので低い伝送率に
おいても大変優秀な音質の音声信号を合成して比較しな
ければならないし、またそれによる尨大な計算を遂行し
なければならない。したがって、前記CELP方法を使用す
るボコーダーにおいては実時間の具現の難しさがある。
析して必要なパラメータを抽出し、このパラメータを利
用して音声信号を合成してからこの合成信号と入力の音
声信号を比較する方法を使用しているので低い伝送率に
おいても大変優秀な音質の音声信号を合成して比較しな
ければならないし、またそれによる尨大な計算を遂行し
なければならない。したがって、前記CELP方法を使用す
るボコーダーにおいては実時間の具現の難しさがある。
【０００７】CELP符号化器における一番大きな計算量を
必要とする部分はコードブックから入力の励起信号を探
す過程とピッチフィルターの係数を求める過程である。
必要とする部分はコードブックから入力の励起信号を探
す過程とピッチフィルターの係数を求める過程である。
【０００８】前記過程の中で本発明と関連になっている
部分であるピッチ分析は音声信号の自己相関関係に該当
するピッチ周期に関する情報を得る過程であるが、CELP
符号化器の全体の計算量の５０％以上を占める部分であ
るので、この部分の改善は全体の符号化器に多大な影響
を及ぼし、音声信号におけるピッチ分析の区間が一定の
大きさ以上に増される場合、音質が急速度に低下するの
で普通５ｍｓから１０ｍｓの間に決定して計算量を最小
化し音質を低下させないようにしなければならない。
部分であるピッチ分析は音声信号の自己相関関係に該当
するピッチ周期に関する情報を得る過程であるが、CELP
符号化器の全体の計算量の５０％以上を占める部分であ
るので、この部分の改善は全体の符号化器に多大な影響
を及ぼし、音声信号におけるピッチ分析の区間が一定の
大きさ以上に増される場合、音質が急速度に低下するの
で普通５ｍｓから１０ｍｓの間に決定して計算量を最小
化し音質を低下させないようにしなければならない。
【０００９】８ＫＨｚの標本化された音声信号の場合、
普通にピッチフィルターのパラメータであるピッチ遅延
値（Ｌ）とピッチ利得（ｂ）を求めることにおいて音質
が優秀な閉ループの構造を使用するが、閉回路の構造に
おいてはピッチ遅延を２０から１４７までの値に制限す
る。
普通にピッチフィルターのパラメータであるピッチ遅延
値（Ｌ）とピッチ利得（ｂ）を求めることにおいて音質
が優秀な閉ループの構造を使用するが、閉回路の構造に
おいてはピッチ遅延を２０から１４７までの値に制限す
る。
【００１０】この範囲内の制限された１２８個の遅延値
に対するそれぞれの合成音声を生成してから、合成音声
と入力音声の差に対する自乗の誤差を求める。
に対するそれぞれの合成音声を生成してから、合成音声
と入力音声の差に対する自乗の誤差を求める。
【００１１】このとき、誤差が一番小さい場合のピッチ
遅延値とピッチ利得値が決定される。CELPボコーダーは
大別すると符号化（Encoding）部分と復号化（Decodin
g）部分に大分されるが、添付した図１は符号化部分に
対するブロック図である。
遅延値とピッチ利得値が決定される。CELPボコーダーは
大別すると符号化（Encoding）部分と復号化（Decodin
g）部分に大分されるが、添付した図１は符号化部分に
対するブロック図である。
【００１２】この図からみると音声が８０００samples/
secにサンプリングされてボコーダーの入力として入力
されると２０ｍｓに該当するサンプル（１６０sample
s）を一つのフレーム（frame）として音声信号を処理す
る。即ち、CELPボコーダーからは一つのフレーム（１６
０samples）の音声信号を入力として受け入れて図１の
ように音声のホルマント（formant）の成分を示す１０
個のLPC係数を求めてから量子化の誤差に強いLSP周波数
に変換する。
secにサンプリングされてボコーダーの入力として入力
されると２０ｍｓに該当するサンプル（１６０sample
s）を一つのフレーム（frame）として音声信号を処理す
る。即ち、CELPボコーダーからは一つのフレーム（１６
０samples）の音声信号を入力として受け入れて図１の
ように音声のホルマント（formant）の成分を示す１０
個のLPC係数を求めてから量子化の誤差に強いLSP周波数
に変換する。
【００１３】次に最適のピッチパラメータとコードブッ
クパラメータを得るためにピッチ検索とコードブック検
索の過程を経るようになる。ピッチ検索は音質の低下を
防止するために５ｍｓの音声信号（４０sample）に対し
て一度ずつ遂行する。このため、一つのフレームに４回
のピッチ検索の過程を経るようになる。ピッチ検索の過
程においては合成音声を作って入力音声と比較して誤差
が最小になるピッチ遅延値とピッチ利得を探す。
クパラメータを得るためにピッチ検索とコードブック検
索の過程を経るようになる。ピッチ検索は音質の低下を
防止するために５ｍｓの音声信号（４０sample）に対し
て一度ずつ遂行する。このため、一つのフレームに４回
のピッチ検索の過程を経るようになる。ピッチ検索の過
程においては合成音声を作って入力音声と比較して誤差
が最小になるピッチ遅延値とピッチ利得を探す。
【００１４】図３は従来の信号処理方法のピッチ検索を
図示しているフローチャートである。CELPボコーダーに
おける一般的なピッチ検索の方法は入力音声と合成音声
を比較してその誤差が最小になるピッチ遅延値を探す方
法である。その過程を観察してみると、まず入力の音声
信号からホルマント合成フィルター（Ｉ／Ａ（ｚ））の
ZIR（Zero Input Response）を除算した信号をｅ（ｎ）
であるとし、ｅ（ｎ）が認識加重化フィルター（Ｗ
（ｚ））をへた信号をｘ（ｎ）とする。
図示しているフローチャートである。CELPボコーダーに
おける一般的なピッチ検索の方法は入力音声と合成音声
を比較してその誤差が最小になるピッチ遅延値を探す方
法である。その過程を観察してみると、まず入力の音声
信号からホルマント合成フィルター（Ｉ／Ａ（ｚ））の
ZIR（Zero Input Response）を除算した信号をｅ（ｎ）
であるとし、ｅ（ｎ）が認識加重化フィルター（Ｗ
（ｚ））をへた信号をｘ（ｎ）とする。
【００１５】ここでｅ（ｎ），（Ｗ（ｚ）），Ａ（ｚ）
は次のようである。
は次のようである。
【００１６】
【数３】
【００１７】一方、合成音声ｙL（ｎ）は現在フレーム
の入力音声のホルマントの残留成分および以前のフレー
ムのピッチフィルターの出力を加重フィルター（Ｈ
（ｚ））を通過させて得る。
の入力音声のホルマントの残留成分および以前のフレー
ムのピッチフィルターの出力を加重フィルター（Ｈ
（ｚ））を通過させて得る。
【００１８】ここで、Ｈ（ｚ）は次のように表現され
る。
る。
【００１９】
【数４】
【００２０】そして、ｙL（ｎ）は次のようにｈ（ｎ）
とｐL（ｎ）との畳み込み（Convolution）として得る。
ｐ L （ｎ）は、ピッチ遅延値（Ｌ）に対するピッチフィ
ルターの予測出力である。
とｐL（ｎ）との畳み込み（Convolution）として得る。
ｐ L （ｎ）は、ピッチ遅延値（Ｌ）に対するピッチフィ
ルターの予測出力である。
【００２１】
【数５】
【００２２】上記でｈ（ｎ）はＨ（ｚ）のインパルス対
応（impulse response）である。
応（impulse response）である。
【００２３】上記のように音声信号ｘ（ｎ）と合成音声
ｙL（ｎ）を求めてから二つの信号の差に対する自乗の
誤差を次のような式によって求める。
ｙL（ｎ）を求めてから二つの信号の差に対する自乗の
誤差を次のような式によって求める。
【００２４】
【数６】
【００２５】上記でｂはピッチ利得を示す。
【００２６】上記の式の最小値は次の式の最小値と同じ
である。
である。
【００２７】
【数７】
【００２８】図３に図示のようにＬ値を２０から１４７
まで１ずつ増加させながら１２８回の閉ループに対する
計算をして、その中の誤差が一番小さいときＬ値がピッ
チ遅延によって決定される。即ち、最適のピッチ遅延値
と利得を求めるためには１２８回の閉ループに対する計
算を恒常反復するので一つのピッチパラメータ値を求め
るための計算量が過度に多大になる問題点がある。
まで１ずつ増加させながら１２８回の閉ループに対する
計算をして、その中の誤差が一番小さいときＬ値がピッ
チ遅延によって決定される。即ち、最適のピッチ遅延値
と利得を求めるためには１２８回の閉ループに対する計
算を恒常反復するので一つのピッチパラメータ値を求め
るための計算量が過度に多大になる問題点がある。
【００２９】
【発明が解決しようとする課題】したがって本発明は前
記の問題点を解決するためにピッチ検索時に前処理用の
自己相関関係法によって予備ピッチを求めてから、その
求められた予備ピッチに対してのみピッチフィルターの
係数を求めてピッチ検索を減らすことにその目的があ
る。
記の問題点を解決するためにピッチ検索時に前処理用の
自己相関関係法によって予備ピッチを求めてから、その
求められた予備ピッチに対してのみピッチフィルターの
係数を求めてピッチ検索を減らすことにその目的があ
る。
【００３０】
【課題を解決するための手段】前記の目的を達成するた
めの本発明の音声信号の処理方法は、音声信号の残留信
号から合成された合成音声信号のピッチ遅延値から前処
理の自己相関関係式によって予備ピッチを求める段階
と、前記予備ピッチに対するピッチフィルターの係数を
計算する段階とを備え、前記前処理の相関関係式は次の
表現式によって定義される。
めの本発明の音声信号の処理方法は、音声信号の残留信
号から合成された合成音声信号のピッチ遅延値から前処
理の自己相関関係式によって予備ピッチを求める段階
と、前記予備ピッチに対するピッチフィルターの係数を
計算する段階とを備え、前記前処理の相関関係式は次の
表現式によって定義される。
【００３１】
【００３２】
【数８】
【００３３】ここでｓ（ｎ）は前記残留信号のピーク
を、ｓ（ｋ）は前記残留信号の谷を、ｎ＝０は前記ピー
クの頂点を、そしてｋ＝０は前記谷の頂点を示すことを
特徴とする。
を、ｓ（ｋ）は前記残留信号の谷を、ｎ＝０は前記ピー
クの頂点を、そしてｋ＝０は前記谷の頂点を示すことを
特徴とする。
【００３４】この方法において、前記前処理の相関関係
式は次の表現式によって定義され、前記ピッチフィルタ
ーの係数を計算する段階は、前記予備ピッチの組み合せ
に対し、数２の式（ａ）の相関関係に代入して最大のＥ
（Ｌｉ）を成すＬｉをピッチフィルターのピッチ遅延値
Ｌとして決定し、前記ピッチフィルターの係数を数２の
式（ｂ）によって決定する段階を含む。
式は次の表現式によって定義され、前記ピッチフィルタ
ーの係数を計算する段階は、前記予備ピッチの組み合せ
に対し、数２の式（ａ）の相関関係に代入して最大のＥ
（Ｌｉ）を成すＬｉをピッチフィルターのピッチ遅延値
Ｌとして決定し、前記ピッチフィルターの係数を数２の
式（ｂ）によって決定する段階を含む。
【００３５】
【数９】
【００３６】次は添附の図面を参照して本発明を詳細に
説明する。
説明する。
【００３７】図１は本発明を実現するための音声信号の
処理用システムの構成図である。マイクロホン（１０
０）を通じて音波が電気信号に変換されると電気信号は
増幅器（１０１）を通じて増幅されて一定なレベルに高
める。
処理用システムの構成図である。マイクロホン（１０
０）を通じて音波が電気信号に変換されると電気信号は
増幅器（１０１）を通じて増幅されて一定なレベルに高
める。
【００３８】マイクロホン（１００）を通じて入力され
た電気信号の成分は音声信号の場合に２０Ｈｚ〜２０Ｋ
Ｈｚ範囲の周波数を持つ成分で構成される。
た電気信号の成分は音声信号の場合に２０Ｈｚ〜２０Ｋ
Ｈｚ範囲の周波数を持つ成分で構成される。
【００３９】これらの成分の中で本発明を具現するため
には擬似伝達の情報成分のみ包含するとよいので低域通
過フィルター（LPF）（１０２）を通じて擬似伝達の情
報成分の周波数の範囲である４ＫＨｚ以上の周波数の成
分は除去される。
には擬似伝達の情報成分のみ包含するとよいので低域通
過フィルター（LPF）（１０２）を通じて擬似伝達の情
報成分の周波数の範囲である４ＫＨｚ以上の周波数の成
分は除去される。
【００４０】前記のように特定の周波数以上の成分を除
去する理由はこの音声信号をディジタルに変換したとき
１秒の当り処理するデータ数を減らすためである。４Ｋ
Ｈｚ以下の信号成分のみ残して低域フィルタリングした
信号に対してコンピューターによって前記信号を処理す
るためにはディジタル信号に変換しなければならない
が、これはアナログをディジタルに変換する変換器（１
０３）（Analog to Digital Converter）によって標本
化する。
去する理由はこの音声信号をディジタルに変換したとき
１秒の当り処理するデータ数を減らすためである。４Ｋ
Ｈｚ以下の信号成分のみ残して低域フィルタリングした
信号に対してコンピューターによって前記信号を処理す
るためにはディジタル信号に変換しなければならない
が、これはアナログをディジタルに変換する変換器（１
０３）（Analog to Digital Converter）によって標本
化する。
【００４１】ディジタル信号に標本化する率はナイキス
ト（Nyquist）の標本化の理論により信号の最大周波数
（ここでは４ＫＨｚ）の２倍である８ＫＨｚとする。ま
た、一つの標本の当りの電圧レベルを量子化しなければ
ならないが、電話の音質を基準とするため１２ビット
（２12＝４０９６）のレベルを使用した。
ト（Nyquist）の標本化の理論により信号の最大周波数
（ここでは４ＫＨｚ）の２倍である８ＫＨｚとする。ま
た、一つの標本の当りの電圧レベルを量子化しなければ
ならないが、電話の音質を基準とするため１２ビット
（２12＝４０９６）のレベルを使用した。
【００４２】前記したことによって処理されたディジタ
ル音声信号はマイクロプロセッサー（１０６）から計算
および処理するために入力ポート（１０４）を通じて入
力される。その入力された音声信号のデータはソフトウ
ェアの処理過程を通じて処理してから、必要によりメモ
リー（１０５）に貯蔵させるか、また伝送チャンネル
（１２１）に伝送するために入力／出力ポート（１２
０）に出力する。
ル音声信号はマイクロプロセッサー（１０６）から計算
および処理するために入力ポート（１０４）を通じて入
力される。その入力された音声信号のデータはソフトウ
ェアの処理過程を通じて処理してから、必要によりメモ
リー（１０５）に貯蔵させるか、また伝送チャンネル
（１２１）に伝送するために入力／出力ポート（１２
０）に出力する。
【００４３】そして必要時にはメモリー（１０５）から
読み出されたデータや、伝送チャンネル（１２１）を通
じて入力されたデータを使用して復号化の過程を通じて
音声信号を合成する。このようにマイクロプロセッサー
（１０６）によって復号化の処理が完了された合成の音
声信号はよく処理されたかをスピーカー（１１１）を通
じて聴取するために出力ポート（１０７）に伝達され
る。出力ポート（１０７）にデータが伝達されるとこれ
がディジタルをアナログに変換する変換器（１０８）
（Digital to Analog Converter）に伝達される。
読み出されたデータや、伝送チャンネル（１２１）を通
じて入力されたデータを使用して復号化の過程を通じて
音声信号を合成する。このようにマイクロプロセッサー
（１０６）によって復号化の処理が完了された合成の音
声信号はよく処理されたかをスピーカー（１１１）を通
じて聴取するために出力ポート（１０７）に伝達され
る。出力ポート（１０７）にデータが伝達されるとこれ
がディジタルをアナログに変換する変換器（１０８）
（Digital to Analog Converter）に伝達される。
【００４４】この場合においても標本化率の８ＫＨｚ単
位にディジタル値がアナログ値に変換される。
位にディジタル値がアナログ値に変換される。
【００４５】前記のように変換された信号は標本率の高
調波が包含された個別信号となっているので低域通過フ
ィルター（１０９）に通過させて基本帯域の信号のみ残
されるように処理する。
調波が包含された個別信号となっているので低域通過フ
ィルター（１０９）に通過させて基本帯域の信号のみ残
されるように処理する。
【００４６】前記のように処理された信号をスピーカー
（１１１）を駆動することができるように、増幅器（１
１０）から増幅してスピーカー（１１１）に供給する。
このようにして処理されて信号をスピーカー（１１１）
が音圧波に変換するので人間の耳を通じて聴取される。
（１１１）を駆動することができるように、増幅器（１
１０）から増幅してスピーカー（１１１）に供給する。
このようにして処理されて信号をスピーカー（１１１）
が音圧波に変換するので人間の耳を通じて聴取される。
【００４７】図２は本発明による信号の処理方法の処理
手順を図示しているフローチャートであって、具体的に
はピッチ検索の方法を図示しているフローチャートであ
る。
手順を図示しているフローチャートであって、具体的に
はピッチ検索の方法を図示しているフローチャートであ
る。
【００４８】図２における、点線によって表示の部分
（２３０）は従来の信号の処理方法に追加された本発明
の信号の処理方法の重要な部分を示す。
（２３０）は従来の信号の処理方法に追加された本発明
の信号の処理方法の重要な部分を示す。
【００４９】図３の従来の方法においては点線の部分
（２３０）を除外した残りのブロックとしてピッチ遅延
Ｌ値を２０から１４７まで１ずつ増加させながら１２８
回の閉ループに対する計算をして誤差が一番小さい値を
ピッチ遅延Ｌに定める。
（２３０）を除外した残りのブロックとしてピッチ遅延
Ｌ値を２０から１４７まで１ずつ増加させながら１２８
回の閉ループに対する計算をして誤差が一番小さい値を
ピッチ遅延Ｌに定める。
【００５０】しかし改善された本発明の方法においては
点線（２３０）の内部の機能を追加に挿入して自己相関
関係が大きな区間を検出し、その残りは“０”に代置す
ることによって閉ループの計算時に省略の区間はピッチ
遅延値（Ｌ）から除外した。
点線（２３０）の内部の機能を追加に挿入して自己相関
関係が大きな区間を検出し、その残りは“０”に代置す
ることによって閉ループの計算時に省略の区間はピッチ
遅延値（Ｌ）から除外した。
【００５１】図２から閉ループの中で“Ｌ＝Ｌ＋Ｋｓ”
部分は従来の方法においては“Ｌ＝Ｌ＋１”であったの
で総１２８回の閉ループを遂行した。ただし、Ｋｓは、
除外されないピッチ遅延値（Ｌ）の間隔（予備ピッチの
インターバル）である。
部分は従来の方法においては“Ｌ＝Ｌ＋１”であったの
で総１２８回の閉ループを遂行した。ただし、Ｋｓは、
除外されないピッチ遅延値（Ｌ）の間隔（予備ピッチの
インターバル）である。
【００５２】しかし改善された方法においては省略の区
間を除外し閉ループを遂行する。音声信号から波形のピ
ークの為主にピッチを検出する場合に顕著なピークが存
在する時間の遅延に対してのみ自己相関関係が高く存在
する。ピッチ検索時には残留信号ｓ（ｎ）に対して時間
の遅延による相関関係値Ｅ（Ｌ）を次の（１）式のよう
に計算される。
間を除外し閉ループを遂行する。音声信号から波形のピ
ークの為主にピッチを検出する場合に顕著なピークが存
在する時間の遅延に対してのみ自己相関関係が高く存在
する。ピッチ検索時には残留信号ｓ（ｎ）に対して時間
の遅延による相関関係値Ｅ（Ｌ）を次の（１）式のよう
に計算される。
【００５３】
【数１０】
【００５４】ここで、Ｍは副フレームの長さを示してお
り、Ｌは時間の遅延を示す。
り、Ｌは時間の遅延を示す。
【００５５】このようにして時間の遅延により計算され
た相関関係の値はピッチ周期の毎に１００％に近接した
値が得られ、類似な程度がどの程度であるかはピッチ検
索の区間内にいる波形の周期性と波形の振幅の変化によ
り異なる。
た相関関係の値はピッチ周期の毎に１００％に近接した
値が得られ、類似な程度がどの程度であるかはピッチ検
索の区間内にいる波形の周期性と波形の振幅の変化によ
り異なる。
【００５６】そして時間の遅延は音声波形の周期性の定
数倍に該当する毎に相関関係が最大値を成すことにな
る。CELPボコーダーからピッチ検索の過程は残留信号に
より合成された合成の音声信号が原来の音声信号と一番
類似に示すピッチ遅延値（Ｌ）とこのときのピッチ利得
（ｂ）を求めるが、このときは時間の遅延による相関関
係が最大の場合を探すとよい。相関関係が最大となる場
合の時間の遅延を探すためにはピッチが存在可能な領域
を順に調査してみなければならない。
数倍に該当する毎に相関関係が最大値を成すことにな
る。CELPボコーダーからピッチ検索の過程は残留信号に
より合成された合成の音声信号が原来の音声信号と一番
類似に示すピッチ遅延値（Ｌ）とこのときのピッチ利得
（ｂ）を求めるが、このときは時間の遅延による相関関
係が最大の場合を探すとよい。相関関係が最大となる場
合の時間の遅延を探すためにはピッチが存在可能な領域
を順に調査してみなければならない。
【００５７】このような順次のピッチ検索法は時間が長
時間の間所要されるので、本発明においては前処理の相
関関係式によって相関関係が高くなっている区間を予め
把握して、これらの区間に対してのみ本格的なピッチ検
索法を遂行してピッチ検索の時間を減らす方法を適用し
た。音声信号のピッチは音声波形の反復されるピークか
らピークまでまたは谷から谷までに定義される。
時間の間所要されるので、本発明においては前処理の相
関関係式によって相関関係が高くなっている区間を予め
把握して、これらの区間に対してのみ本格的なピッチ検
索法を遂行してピッチ検索の時間を減らす方法を適用し
た。音声信号のピッチは音声波形の反復されるピークか
らピークまでまたは谷から谷までに定義される。
【００５８】波形のピークを主にしてピッチを検出する
場合には顕著なピークが存在する時間の遅延に対しての
み自己相関関係が高く存在する。反面、波形の谷によっ
てピッチを検出する場合には顕著な谷が存在する時間の
遅延に対してのみ自己相関関係が高く存在する。
場合には顕著なピークが存在する時間の遅延に対しての
み自己相関関係が高く存在する。反面、波形の谷によっ
てピッチを検出する場合には顕著な谷が存在する時間の
遅延に対してのみ自己相関関係が高く存在する。
【００５９】波形のピークと谷を事前に検出することが
できるとしたら、このときの相関関係は次の（２）式の
ように計算される。
できるとしたら、このときの相関関係は次の（２）式の
ように計算される。
【００６０】
【数１１】
【００６１】ここでｓ（ｎ）は残留信号の波形のピーク
を示しており、ｓ（ｋ）は残留信号の波形の谷を示して
おり、ｎ＝０はピークの頂点を、そしてｋ＝０は谷の頂
点を示している。
を示しており、ｓ（ｋ）は残留信号の波形の谷を示して
おり、ｎ＝０はピークの頂点を、そしてｋ＝０は谷の頂
点を示している。
【００６２】そして、相関関係値をピーク（または谷）
の頂点ｎ＝０を基準としてｎ＋１からｎ−１まで考慮し
たことはインパルス性の雑音によって相関関係の値が大
きな影響を受けないようにするためである。顕著な波形
のピークを基準としてピッチ周期に該当するピークを探
す方法は、式（２）の相関関係の値がピークの頂点の毎
に最大の相関関係のピークを成す原理を適用するとよ
い。
の頂点ｎ＝０を基準としてｎ＋１からｎ−１まで考慮し
たことはインパルス性の雑音によって相関関係の値が大
きな影響を受けないようにするためである。顕著な波形
のピークを基準としてピッチ周期に該当するピークを探
す方法は、式（２）の相関関係の値がピークの頂点の毎
に最大の相関関係のピークを成す原理を適用するとよ
い。
【００６３】残留波形に対して式（２）の相関関係を計
算すると、波形のピークが存在するときごとに相関関係
の値が正のピークを成すことになる。
算すると、波形のピークが存在するときごとに相関関係
の値が正のピークを成すことになる。
【００６４】したがって、正の相関関係のピークが存在
する頂点の区間は予備ピッチと考慮してこれらの組合せ
｛Ｌ1，Ｌ2，…，ＬN-1｝を作るようになる。検出され
た予備ピッチの組合せに対して前記式（１）の相関関係
式に代入して最大のＥ（Ｌi）を成すＬiをピッチフィル
ターのピッチ遅延値Ｌとして決定し、ピッチフィルター
の係数は次の（３）式によって決定する。
する頂点の区間は予備ピッチと考慮してこれらの組合せ
｛Ｌ1，Ｌ2，…，ＬN-1｝を作るようになる。検出され
た予備ピッチの組合せに対して前記式（１）の相関関係
式に代入して最大のＥ（Ｌi）を成すＬiをピッチフィル
ターのピッチ遅延値Ｌとして決定し、ピッチフィルター
の係数は次の（３）式によって決定する。
【００６５】
【数１２】
【００６６】以上の過程によって予備ピッチを検出する
のには一つの標本のピッチ遅延の当りの６回の乗算、１
０回の加算、１回の比較が追加されるが、前記式（１）
を計算しなければならない予備ピッチの個数が減少する
ので全体のピッチ検索の時間がかなり減少される。検出
されることができる予備ピッチの個数はピッチ周期の間
に示す第１ホルマントの周波数に関係する。
のには一つの標本のピッチ遅延の当りの６回の乗算、１
０回の加算、１回の比較が追加されるが、前記式（１）
を計算しなければならない予備ピッチの個数が減少する
ので全体のピッチ検索の時間がかなり減少される。検出
されることができる予備ピッチの個数はピッチ周期の間
に示す第１ホルマントの周波数に関係する。
【００６７】第１ホルマントの周波数は２５０Ｈｚから
７５０Ｈｚの間に存在するので、ピッチ検索の区間に波
形のピークが一番多くある場合には７５０Ｈｚ／（８０
００／１４７）＝１３．７８個程度である。順次のピッ
チ検索法の場合には前記式（１）を１２８回遂行しなけ
ればならないが、本発明から提案した方法は簡単な前処
理の演算のみ追加することによって前記式（１）の演算
は１４回以下に減少される。
７５０Ｈｚの間に存在するので、ピッチ検索の区間に波
形のピークが一番多くある場合には７５０Ｈｚ／（８０
００／１４７）＝１３．７８個程度である。順次のピッ
チ検索法の場合には前記式（１）を１２８回遂行しなけ
ればならないが、本発明から提案した方法は簡単な前処
理の演算のみ追加することによって前記式（１）の演算
は１４回以下に減少される。
【００６８】また、１４個以上の予備ピッチを探すこと
ができる場合には現在のフレームが無声音，混合音，背
景雑音等であると考慮されることができるが、ピッチ検
索は有声音の場合に意味があるので予備ピッチの個数を
１４個までに制限することができる。
ができる場合には現在のフレームが無声音，混合音，背
景雑音等であると考慮されることができるが、ピッチ検
索は有声音の場合に意味があるので予備ピッチの個数を
１４個までに制限することができる。
【００６９】
【発明の効果】上述のように本発明は音声波形の自己相
関関係が高い区間のみをピッチ検索に適用してCELPボコ
ーダーの実現時に音質の低下のなしにボコーダー全体の
処理過程の３７．５％以上を減らすことができる。
関関係が高い区間のみをピッチ検索に適用してCELPボコ
ーダーの実現時に音質の低下のなしにボコーダー全体の
処理過程の３７．５％以上を減らすことができる。
【００７０】したがって処理速度が低い低価のDSP（Dig
ital Signal Processor）チップとしてもCELPボコーダ
ーを実時間に具現することができる。
ital Signal Processor）チップとしてもCELPボコーダ
ーを実時間に具現することができる。
【００７１】また、ピッチ検索時に減らした計算量程の
処理過程を他のサービス機能のため使用することができ
るので経済的なCELPボコーダーシステムを設計すること
ができる。
処理過程を他のサービス機能のため使用することができ
るので経済的なCELPボコーダーシステムを設計すること
ができる。
【００７２】そして、ボコーダーの処理時間は消費電力
に直接的な影響を及ぶので携帯用ボコーダーの使用時間
を延長させることができるので商品の対外的な競争力を
高める効果がある。
に直接的な影響を及ぶので携帯用ボコーダーの使用時間
を延長させることができるので商品の対外的な競争力を
高める効果がある。
【図１】本発明の音声信号の処理方法が適用された音声
信号の処理装置の回路構成図である。
信号の処理装置の回路構成図である。
【図２】本発明の音声信号の処理方法を図示しているフ
ローチャートである。
ローチャートである。
【図３】従来の音声信号の処理方法を図示しているフロ
ーチャートである。
ーチャートである。
１００ マイクロホン １０１，１１０ 増幅器 １０２，１０９ 低域通過フィルター １０３ アナログディジタル変換器 １０４ 入力ポート １０５ メモリー １０６ マイクロプロセッサー １０７ 出力ポート １０８ ディジタルアナログ変換器 １１１ スピーカ
フロントページの続き (72)発明者 金 ▲じょん▼宰 大韓民国大田直轄市西区屯山洞ラッキー アパート109−405 (72)発明者 ▲べい▼ 明振 大韓民国ソウル特別市銀雀区上道２洞ダ エリムアパート12−306 (56)参考文献 特開 平５−313696（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G10L 3/00 - 9/18 G10H 1/00
Claims (2)
- 【請求項１】 音声信号の残留信号から合成された合成
音声信号のピッチ遅延値から前処理の自己相関関係式に
よって予備ピッチを求める段階と、 前記予備ピッチに対するピッチフィルターの係数を計算
する段階とを備え、 前記前処理の相関関係式は次の表現式によって定義さ
れ、 【数１】 ここでｓ（ｎ）は前記残留信号のピークを、ｓ（ｋ）は
前記残留信号の谷を、ｎ＝０は前記ピークの頂点を、そ
してｋ＝０は前記谷の頂点を示すことを特徴とするボコ
ーダーにおける前処理の相関関係式を用いたピッチ検索
時間短縮方法。 - 【請求項２】 前記ピッチフィルターの係数を計算する
段階は、 前記予備ピッチの組み合せに対し、数２の式（ａ）の相
関関係に代入して最大のＥ（Ｌｉ）を成すＬｉをピッチ
フィルターのピッチ遅延値Ｌとして決定し、 前記ピッチフィルターの係数を数２の式（ｂ）によって
決定する段階を含むことを特徴とする請求項１記載のボ
コーダーにおける前処理の相関関係式を用いたピッチ検
索時間短縮方法。 【数２】
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR93028673A KR960009530B1 (en) | 1993-12-20 | 1993-12-20 | Method for shortening processing time in pitch checking method for vocoder |
| KR93-28673 | 1993-12-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07199997A JPH07199997A (ja) | 1995-08-04 |
| JP2779325B2 true JP2779325B2 (ja) | 1998-07-23 |
Family
ID=19371815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6305095A Expired - Lifetime JP2779325B2 (ja) | 1993-12-20 | 1994-12-08 | ボコーダーにおける前処理の相関関係式を用いたピッチ検索時間短縮方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5657419A (ja) |
| JP (1) | JP2779325B2 (ja) |
| KR (1) | KR960009530B1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5960386A (en) * | 1996-05-17 | 1999-09-28 | Janiszewski; Thomas John | Method for adaptively controlling the pitch gain of a vocoder's adaptive codebook |
| JP3878254B2 (ja) * | 1996-06-21 | 2007-02-07 | 株式会社リコー | 音声圧縮符号化方法および音声圧縮符号化装置 |
| US5799271A (en) * | 1996-06-24 | 1998-08-25 | Electronics And Telecommunications Research Institute | Method for reducing pitch search time for vocoder |
| KR100217372B1 (ko) * | 1996-06-24 | 1999-09-01 | 윤종용 | 음성처리장치의 피치 추출방법 |
| US6141638A (en) * | 1998-05-28 | 2000-10-31 | Motorola, Inc. | Method and apparatus for coding an information signal |
| US20040206771A1 (en) * | 2003-04-18 | 2004-10-21 | Eric Junkel | Water toy with two port elastic fluid bladder |
| TWI241557B (en) * | 2003-07-21 | 2005-10-11 | Ali Corp | Method for estimating a pitch estimation of the speech signals |
| JP6482540B2 (ja) * | 2013-06-21 | 2019-03-13 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 改善されたピッチラグ推定を採用するａｃｅｌｐ型封じ込めにおける適応型コードブックの改善された封じ込めのための装置および方法 |
| RU2666327C2 (ru) * | 2013-06-21 | 2018-09-06 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для улучшенного маскирования адаптивной таблицы кодирования при acelp-образном маскировании с использованием улучшенной повторной синхронизации импульсов |
| JP6477295B2 (ja) * | 2015-06-29 | 2019-03-06 | 株式会社Ｊｖｃケンウッド | 雑音検出装置、雑音検出方法及び雑音検出プログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4731846A (en) * | 1983-04-13 | 1988-03-15 | Texas Instruments Incorporated | Voice messaging system with pitch tracking based on adaptively filtered LPC residual signal |
| NL8500843A (nl) * | 1985-03-22 | 1986-10-16 | Koninkl Philips Electronics Nv | Multipuls-excitatie lineair-predictieve spraakcoder. |
| US5097508A (en) * | 1989-08-31 | 1992-03-17 | Codex Corporation | Digital speech coder having improved long term lag parameter determination |
| JPH0451200A (ja) * | 1990-06-18 | 1992-02-19 | Fujitsu Ltd | 音声符号化方式 |
| CA2051304C (en) * | 1990-09-18 | 1996-03-05 | Tomohiko Taniguchi | Speech coding and decoding system |
| US5138661A (en) * | 1990-11-13 | 1992-08-11 | General Electric Company | Linear predictive codeword excited speech synthesizer |
| US5127053A (en) * | 1990-12-24 | 1992-06-30 | General Electric Company | Low-complexity method for improving the performance of autocorrelation-based pitch detectors |
| US5179594A (en) * | 1991-06-12 | 1993-01-12 | Motorola, Inc. | Efficient calculation of autocorrelation coefficients for CELP vocoder adaptive codebook |
| US5173941A (en) * | 1991-05-31 | 1992-12-22 | Motorola, Inc. | Reduced codebook search arrangement for CELP vocoders |
| US5265190A (en) * | 1991-05-31 | 1993-11-23 | Motorola, Inc. | CELP vocoder with efficient adaptive codebook search |
| US5371853A (en) * | 1991-10-28 | 1994-12-06 | University Of Maryland At College Park | Method and system for CELP speech coding and codebook for use therewith |
| US5339384A (en) * | 1992-02-18 | 1994-08-16 | At&T Bell Laboratories | Code-excited linear predictive coding with low delay for speech or audio signals |
| JP3233448B2 (ja) * | 1992-05-08 | 2001-11-26 | 株式会社河合楽器製作所 | ピッチ周期抽出方法 |
-
1993
- 1993-12-20 KR KR93028673A patent/KR960009530B1/ko not_active IP Right Cessation
-
1994
- 1994-12-02 US US08/352,831 patent/US5657419A/en not_active Expired - Lifetime
- 1994-12-08 JP JP6305095A patent/JP2779325B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR950022330A (ko) | 1995-07-28 |
| US5657419A (en) | 1997-08-12 |
| JPH07199997A (ja) | 1995-08-04 |
| KR960009530B1 (en) | 1996-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3277398B2 (ja) | 有声音判別方法 | |
| JP3840684B2 (ja) | ピッチ抽出装置及びピッチ抽出方法 | |
| Milner et al. | Speech reconstruction from mel-frequency cepstral coefficients using a source-filter model | |
| JPH0869299A (ja) | 音声符号化方法、音声復号化方法及び音声符号化復号化方法 | |
| JP3687181B2 (ja) | 有声音／無声音判定方法及び装置、並びに音声符号化方法 | |
| JP2779325B2 (ja) | ボコーダーにおける前処理の相関関係式を用いたピッチ検索時間短縮方法 | |
| US6456965B1 (en) | Multi-stage pitch and mixed voicing estimation for harmonic speech coders | |
| KR0155315B1 (ko) | Lsp를 이용한 celp보코더의 피치 검색방법 | |
| US6438517B1 (en) | Multi-stage pitch and mixed voicing estimation for harmonic speech coders | |
| JP2006171751A (ja) | 音声符号化装置及び方法 | |
| EP0713208B1 (en) | Pitch lag estimation system | |
| JPH0651800A (ja) | データ数変換方法 | |
| JP3271193B2 (ja) | 音声符号化方法 | |
| JP3398968B2 (ja) | 音声分析合成方法 | |
| JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 | |
| JP2003216189A (ja) | 符号化装置及び復号装置 | |
| KR0138878B1 (ko) | 보코더용 피치검색 처리시간 단축법 | |
| JP3223564B2 (ja) | ピッチ抽出方法 | |
| JPH0650440B2 (ja) | Ｌｓｐ型パタンマツチングボコ−ダ | |
| JP3297750B2 (ja) | 符号化方法 | |
| JPH0235994B2 (ja) | ||
| JP3221050B2 (ja) | 有声音判別方法 | |
| KR100205060B1 (ko) | 정규 펄스 여기 방식을 이용한 celp 보코더의 피치검색 방법 | |
| JPH0667696A (ja) | 音声符号化方法 | |
| KR960014427B1 (ko) | 보코더용 피치검색법에서 상관관계 대칭특성에 의한 처리시간 단축법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980421 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090508 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100508 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110508 Year of fee payment: 13 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110508 Year of fee payment: 13 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110508 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120508 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130508 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130508 Year of fee payment: 15 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130508 Year of fee payment: 15 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130508 Year of fee payment: 15 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |