Nothing Special   »   [go: up one dir, main page]

JP3587916B2 - 映像音声データ供給装置 - Google Patents

映像音声データ供給装置 Download PDF

Info

Publication number
JP3587916B2
JP3587916B2 JP28342695A JP28342695A JP3587916B2 JP 3587916 B2 JP3587916 B2 JP 3587916B2 JP 28342695 A JP28342695 A JP 28342695A JP 28342695 A JP28342695 A JP 28342695A JP 3587916 B2 JP3587916 B2 JP 3587916B2
Authority
JP
Japan
Prior art keywords
video
stream
data
audio
supply device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28342695A
Other languages
English (en)
Other versions
JPH09130750A (ja
Inventor
利典 谷口
孝充 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Xing Inc
Original Assignee
Brother Industries Ltd
Xing Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd, Xing Inc filed Critical Brother Industries Ltd
Priority to JP28342695A priority Critical patent/JP3587916B2/ja
Priority to TW085110203A priority patent/TW357533B/zh
Priority to US08/742,833 priority patent/US6022223A/en
Priority to CN96112495A priority patent/CN1157451A/zh
Publication of JPH09130750A publication Critical patent/JPH09130750A/ja
Application granted granted Critical
Publication of JP3587916B2 publication Critical patent/JP3587916B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/066MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Storing Facsimile Image Data (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオサーバあるいはメディアサーバと呼ばれることがある映像音声データ提供装置に関する。
【0002】
【従来の技術】
従来、ビデオサーバ等と呼ばれる映像音声データ提供装置では、予め映像(ビデオ)と音声(オーディオ)とを一緒に符号化(エンコード)し、その統合されたデータ(システムストリーム)をハードディスクなどの格納手段に格納しておき、ユーザの要求に応じて順次読み出してはユーザ(厳密には端末装置)に送信するというのが基本機能であった。そこでのデータの形式は、国際標準規格で定められたMPEG準拠が一般的であり、規格上定められた約束事に従って、一つのデータの中に映像データと音声データとが、映像と音声の同期性を保って多重化(マルチプレクス)されている。
【0003】
【発明が解決しようとする課題】
このような映像音声データ提供装置に、カラオケソフトを符号化してシステムストリームとして蓄積する場合を考えると、次のような問題があった。
周知のように、カラオケは、背景画(普通は動画)にカラオケ歌詞がスーパーインポーズされて表示され、歌唱の入っていない音楽がカラオケ歌詞と同期して演奏されるものである。例えば1万曲のカラオケ曲を想定した場合、曲毎に特定の映像を用意するとしたら、1曲3分と仮定しても映像の総時間は30,000分という膨大な量になってしまう。このため、通信カラオケなどでは、曲のジャンル(演歌、ポップス、ロック等)と背景画のジャンルとを関連させ、Aジャンルの曲にはXジャンルの背景画といったように組み合わせて映像データを使い回すことにより、例えば数時間〜数十時間分の映像データで膨大なカラオケ曲の背景画をまかない、多量の映像データを持つことによる負担を回避している。
【0004】
ところが、従来の映像音声データ提供装置にカラオケソフトを蓄積するには、予め映像と音声とを一緒に符号化するために、仮に1万曲のカラオケ曲があれば映像も1万曲分必要である。たとえ1種類の映像を多数のカラオケ曲に使用するとしても、符号化された後の映像データの総量は、1万曲の演奏時間分、上記の例であれば30,000分に達することになる。これはMPEGの技術を利用しても数十ギガバイトに上るデータ量となってしまい、映像音声データ提供装置の記憶容量や映像の符号化処理に要する時間なども膨大なものとなり、費用対効果の面で大きな問題となっていた。
【0005】
このような問題はカラオケソフトに限らず、映像音声データに別の映像データを付加してシステムストリームとして蓄積する場合には共通のものであった。
本発明は、上述した問題点を解決するためになされたものであり、その目的は、例えば膨大な数のカラオケ曲に対応する映像データを提供可能でありながら蓄積する映像データの総量が少なくて済むといった、コストパフォーマンスに優れた映像音声データ提供装置を提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決するための手段として、請求項1記載の映像音声データ供給装置は、
第1の映像データのパケットと音声データのパケットとを時分割多重化して構成される映像音声ストリーム及び第2の映像データのパケットからなる第2の映像ストリームを格納するデータ記憶手段と、
該データ記憶手段から映像音声ストリーム及び第2の映像ストリームを読み出す読み出し手段と、
該読み出し手段によって読み出された映像音声ストリームを前記第1の映像データのパケットからなる第1の映像ストリームと前記音声データのパケットからなる音声ストリームとに分離し、該第1の映像ストリームと前記第2の映像ストリームとに基づいて前記第1の映像データと前記第2の映像データとが合成された合成映像データのパケットからなる合成映像ストリームを生成し、該合成映像ストリームと前記音声ストリームとを時分割多重化して統合映像音声ストリームとして出力するデータ統合手段と、
該データ統合手段から出力された前記統合映像音声ストリームを送出する送出手段と
を設けている。
【0007】
請求項2記載の映像音声データ供給装置は、請求項1記載の映像音声データ供給装置において、前記映像音声ストリームは、前記第1の映像データとしての字幕用の文字映像データのパケットと前記音声データとしての演奏用の演奏音声データのパケットとからなることを特徴とする。
請求項3記載の映像音声データ供給装置は、請求項1または2記載の映像音声データ供給装置において、前記読み出し手段に読み出すべき前記映像音声ストリームおよび第2の映像ストリームを指示する指示手段を設けたことを特徴とする。
【0008】
請求項4記載の映像音声データ供給装置は、請求項3記載の映像音声データ供給装置において、前記指示手段は、該映像音声データ供給装置からの前記統合映像音声ストリームの供給を受ける出力端末から要求された前記映像音声ストリームの読み出しを前記読み出し手段に指示することを特徴とする。
【0009】
【発明の実施の形態】
上記の構成になる請求項1記載の映像音声データ供給装置においては、データ記憶手段は第1の映像データのパケットと音声データのパケットとを時分割多重化して構成される映像音声ストリーム及び第2の映像データのパケットからなる第2の映像ストリームを格納し、読み出し手段は映像音声ストリーム及び第2の映像ストリームを読み出す。
データ統合手段は、読み出し手段によって読み出された映像音声ストリームを第1の映像データのパケットからなる第1の映像ストリームと音声データのパケットからなる音声ストリームとに分離し、第1の映像ストリームと第2の映像ストリームとに基づいて第1の映像データと第2の映像データとが合成された合成映像データのパケットからなる合成映像ストリームを生成し、合成映像ストリームと音声ストリームとを時分割多重化して統合映像音声ストリームとして出力する。送出手段は、この統合映像音声ストリームを送出する。送出された統合映像音声ストリームは、従来の映像音声ストリームと同様にユーザが使用できる。
【0010】
例えばカラオケの字幕と演奏音声に対応するデータをパケット化して時分割多重化して映像音声ストリームとし、背景画に対応するデータをパケット化して第2の映像ストリームとすれば、1つの背景画の第2の映像ストリームを複数のカラオケ曲に使用できるので、カラオケの総演奏時間分の第2の映像ストリームを用意する必要はなくなる。
【0011】
つまり、映像音声ストリームの総量に相当するだけの第2の映像ストリームを用意する必要はなくなるので、この映像音声データ提供装置のコストパフォーマンスは優れたものになる。
請求項2記載の映像音声データ供給装置においては、映像音声ストリームは、前記第1の映像データとしての字幕用の文字映像データのパケットと前記音声データとしての演奏用の演奏音声データのパケットとからなるので、カラオケソフトの提供に好適である。
【0012】
請求項3記載の映像音声データ供給装置においては、指示手段は、読み出し手段に読み出すべき映像音声ストリームおよび第2の映像ストリームを指示する。これにより、例えばリクエストされたカラオケソフトを提供するなど、所望の統合映像音声ストリームを提供することができる。
【0013】
請求項4記載の映像音声データ供給装置においては、指示手段は、映像音声データ供給装置からの統合映像音声ストリームの供給を受ける出力端末から要求された映像音声ストリームの読み出しを読み出し手段に指示する。したがって、出力端末によるリクエストに応じた映像音声ストリームを加工した統合映像音声ストリームを出力端末に送出できる。この構成は、出力端末との間で双方向通信を行えるシステムに好適である。
【0014】
【具体例】
次に、本発明の映像音声データ供給装置をカラオケ用の映像音声データを供給するための情報提供装置として具体化した、具体例により発明の実施の形態を詳しく説明する。
【0015】
図1に示すように、この具体例の情報提供システム10は、映像音声データ供給装置としての情報供給装置20と、この情報供給装置20から供給されるデータによりカラオケ演奏音とカラオケ用映像を出力する出力端末としての情報出力装置60とが同軸ケーブルの通信回線100によって接続されて構成されている。また、情報供給装置20には、ビデオエンコーダ81とビデオパケタイザ82とを有するデータ入力装置80と、ビデオエンコーダ91、ビデオパケタイザ92、オーディオエンコーダ93、オーディオパケタイザ94およびマルチプレクサ95を有するデータ入力装置90とが付属しているが、これらのデータ入力装置80、90は、情報供給装置20に着脱可能である。なお、情報出力装置60は、図示は1台だけであるが、複数の情報出力装置60が1台の情報供給装置20に接続されるのが普通である。
【0016】
データ入力装置80は、背景映像(BGV)用のBGVビデオ信号をデジタル化してからエンコードし、これをパケット化するための装置であり、ビデオエンコーダ81は、アナログのBGVビデオ信号をデジタル化した後エンコードしてBGVデータに変換可能で、ビデオパケタイザ82はBGVデータを、図4に示されるように背景映像パケット(BGV1、BGV2、BGV3、・・・)にパケット化して、BGVストリームとして出力できる。
【0017】
本具体例では、BGVビデオ信号は、図4に示されるように720x320画素の映像サイズで編集されており、BGVストリームはMPEG2規格に従ってパケット化される。この720x320画素のサイズは、図7に示される標準的なMPEG2映像の1フレーム分の上側2/3に相当する映像サイズである。
【0018】
データ入力装置90は、歌詞字幕用のカラオケ字幕信号とカラオケ演奏用のカラオケ音声信号とを、それぞれデジタル化した後エンコードし、パケット化してから、時分割多重化するための装置である。
ビデオエンコーダ91は、アナログのカラオケ字幕信号をデジタル化した後エンコードして字幕データに変換可能で、ビデオパケタイザ92は字幕データをパケット化して字幕ストリームにできる。
【0019】
カラオケ字幕信号は、テキストデータの形態ではなく、図4に示されるように720x160画素の映像サイズで、例えばブルーの背景に白抜きの字幕文字が書き込まれた状態の映像を信号化して編集されており、この720x160画素のサイズは、図7に示される標準的なMPEG2映像の1フレーム分の下側1/3に相当する映像サイズである。
【0020】
また、オーディオエンコーダ93は、アナログのカラオケ音声信号をデジタル化した後エンコードして音声データに変換可能で、オーディオパケタイザ94は音声データをパケット化して音声ストリームにできる。
さらに、マルチプレクサ95は、ビデオパケタイザ92から送られてくる字幕ストリームとオーディオパケタイザ94から送られてくる音声ストリームとを、MPEG2規格に従って多重化して、図4に示されるように字幕パケット(V1、V2、V3・・・)と音声パケット(A1、A2、A3・・・)とからなる字幕音声ストリーム(AVストリーム)にして出力可能である。このAVストリームは、図4に示されるように、720x160画素分の字幕映像とカラオケ音声とに対応している。
【0021】
データ入力装置80が情報供給装置20に接続されている時には、データ入力装置80の出力としてのBGVストリームは入力インタフェース21に入力される構成である。入力インタフェース21に入力されたBGVストリームは、制御手段であり指示手段でもある入出力制御部22の指示により、バス23を介して読み出し手段としての記憶装置制御部25に転送され、記憶装置制御部25により、データ記憶手段としての背景映像記憶装置(BGV記憶装置)26a、26b、26cの所定の領域に書き込まれ記憶される構成である。BGV記憶装置26a、26b、26cに記憶されているBGVストリームは、記憶装置制御部25による読出しが可能である。
【0022】
なお、BGVストリームには各BGVストリームを識別するための識別番号やそのBGVストリームの映像の属性(風景、人物等の映像種別およびこの映像を背景映像として使用するのが好ましいカラオケ曲のジャンル等)を示すデータが付加されている。
【0023】
同様に、データ入力装置90が情報供給装置20に接続されている時には、データ入力装置90の出力としてのAVストリームは入力インタフェース21に入力される構成である。入力インタフェース21に入力されたAVストリームは、入出力制御部22の指示により、バス23を介して憶装置制御部25に転送され、記憶装置制御部25により、データ記憶手段としての映像音声記憶装置(AV記憶装置)27a、27b、27cの所定の領域に書き込まれ記憶される構成である。AV記憶装置27a、27b、27cに記憶されているAVストリームは、記憶装置制御部25による読出しが可能である。
【0024】
なお、各AVストリームには、それぞれを識別するためのデータが付加されている。また、AV記憶装置27a〜27cには、各AVストリームを、そのカラオケ音声の種別(演歌、ポップス、ロック、民謡等の種別)に分類し、各分類毎に、背景映像として好ましいBGVストリームの識別番号をリストにした対称リストが記憶されている。この対称リストは、AVストリームの加除やBGVストリームの加除がある毎に更新される。
【0025】
記憶装置制御部25は、BGV記憶装置26a、26b、26cに記憶されているBGVストリームおよびAV記憶装置27a、27b、27cに記憶されているAVストリームを読出してデータ統合手段としてのマルチプレクサ30に転送可能である。
【0026】
このマルチプレクサ30の構造を詳しく説明する。図2に示すように、マルチプレクサ30は、バッファ31、32、分離装置33、合成装置34および多重化装置35を備えている。
バッファ31は、AV記憶装置27a〜27cから送られてくるAVストリームを一旦格納して分離装置33に送出するための緩衝メモリである。バッファ32は、BGV記憶装置26a〜26cから送られてくるBGVストリームを一旦格納して合成装置34に送り出すための緩衝メモリである。
【0027】
分離装置33は、AVストリームを音声ストリームと字幕ストリームとに分離するための装置である。
図5に示すように、この分離装置33は、字幕パケット(V1、V2、V3・・・)と音声パケット(A1、A2、A3・・・)とからなるAVストリームを、音声パケットのみの音声ストリームと字幕パケットのみの字幕ストリームとに分離して、図2および図5に示すように、音声ストリームは多重化装置35に送出し、字幕ストリームは合成装置34に送出可能である。
【0028】
図5に示すように、合成装置34は、分離装置33から送られてくる字幕ストリームのパケット化を解除して字幕データとし、バッファ32から送られてくるBGVストリームのパケット化を解除してBGVデータとできる。そして、字幕データとBGVデータとを合成して1本のビデオデータにできる。
【0029】
このビデオデータは、図7に示される標準的なMPEG2映像の1フレームの上側2/3の領域の映像に対応するBGVデータと、同じフレームの下側1/3の領域の映像に対応する字幕データとを交互に連続させた構造で、これを再生すれば図7(b)に示されるように1フレームの上側2/3にBGV映像が配され同フレームの下側1/3に字幕映像が配された映像となる。なお、そのような上下分割状態の映像が再生されるが、ビデオデータ自体は一連のデータである。
【0030】
さらに、合成装置34は、このビデオデータをMPEG2規格に従ってパケット化して映像パケット(MV1、MV2、MV3・・・)からなる映像ストリームとして、図2および図5に示すように、多重化装置35に送出することができる。
【0031】
図5に示すように、多重化装置35は、分離装置33から送られてくる音声ストリームと合成装置34から送られてくる映像ストリームとをMPEG2規格に従って時分割多重化して、映像音声ストリームとして出力できる。この映像音声ストリームをデコードして再生すれば、図6に示すように、1フレームの上側2/3にBGV映像が配され同フレームの下側1/3に字幕映像が配された映像とカラオケ音声とを得ることができる。
【0032】
図2に示すように、マルチプレクサ30は、この映像音声ストリームを出力インタフェース40に送出することができる。
出力インタフェース40は送出手段としてのヘッドアンプ41に接続されており、マルチプレクサ30から出力された映像音声ストリームは、ヘッドアンプ41において高周波変調されて所定のチャンネルで通信回線100に送出される。
【0033】
また、ヘッドアンプ41は、通信手段としてのモデム42から送られてくる信号を双方向通信用のチャンネルで送出し、通信回線100から双方向通信用のチャンネルで入力された信号をモデム42に転送することができる。
モデム42は、バス23を介して入出力制御部22に接続されており、入出力制御部22は、モデム42およびヘッドアンプ41を介して、通信回線100によって接続されている情報出力装置60にデータを送信したり、情報出力装置60からのデータを受け取ることができる。また、入出力制御部22は、前述した情報供給装置20の各部の動作を制御することができる。
【0034】
次に、情報出力装置60の構成について説明する。
図3に示すように、情報出力装置60は、情報出力装置60の各部の動作を制御するための制御手段としての中央制御装置61を備えている。この中央制御装置61は周知のマイクロコンピュータとして構成されている。中央制御装置61には、キーボード(図示略)を有する入力手段としての入力装置63が接続されており、入力装置63を操作すれば、中央制御装置61にカラオケ曲のリクエストや各種の指示を入力することができる。
【0035】
また、中央制御装置61は、通信手段としてのモデム62を介して通信回線100に接続されており、前述の双方向通信用のチャンネルを使用して情報供給装置20の入出力制御部22と通信することができる。これにより、入力装置63から入力されるリクエストを入出力制御部22に送って、そのカラオケ曲用の映像音声ストリームの送信を要求できる。
【0036】
さらに、通信回線100には、受信手段としてのチューナ64が接続されている。チューナ64は、中央制御装置61の指示に応じてチャンネルを選択し、その選択されたチャンネルで送信されてくる映像音声ストリームを受信して、システムデコーダ66に転送することができる。
【0037】
システムデコーダ66は、チューナ64によって受信され転送されてくる映像音声ストリームを、音声ストリームと映像ストリームとに分離し、音声ストリームをオーディオデコーダ67に出力し、映像ストリームをビデオデコーダ68に出力することができる。
【0038】
オーディオデコーダ67は、音声ストリームを復号してからデジタル/アナログ変換(D/A変換)してカラオケ音声信号としてアンプ69に出力することができる。
アンプ69は、カラオケ音声信号を増幅して音声出力手段としてのスピーカ70に送り、カラオケ演奏音として音声出力させることができる。なお、アンプ69は、ミキシング機能を備えており、マイク71から入力される歌唱音信号とオーディオデコーダ67からのカラオケ音声信号とをミキシングした後に増幅してスピーカ70に出力できる。これにより、スピーカ70からは、カラオケ演奏音と利用者の歌声とがミキシングされた音声が出力されることになる。
【0039】
ビデオデコーダ68は、映像ストリームを復号してからD/A変換してビデオ信号としてモニタテレビ75に出力することができる。モニタテレビ75は、ビデオ信号に基づく映像を表示できる。
次に、この情報提供システム10の動作を説明する。
【0040】
まず、情報出力装置60の利用者が、入力装置63を操作して所望のカラオケ曲の提供を要求すると、中央制御装置61は、このカラオケ曲の映像音声ストリームの送出要求を、モデム62を通し、通信回線100を介して、情報供給装置20に送信する。
【0041】
情報供給装置20では、入出力制御部22が、モデム42を通して、この要求を受信する。次に、入出力制御部22は、リクエストされたカラオケ曲のAVストリームの読み出しと、このカラオケ曲のAVストリームが含まれる分類の対称リストに基づいて入出力制御部22が選定した、BGVストリームの読出しと転送を記憶装置制御部25に指示する。
【0042】
さらに、入出力制御部22は、リクエストされたカラオケ曲の映像音声ストリームを送出するチャンネルをヘッドアンプ41に指示し、そのチャンネルを、リクエストを送信してきた情報出力装置60に通知する。
情報出力装置60では、中央制御装置61が、チューナ64に情報供給装置20から通知されたチャンネルの選択を指示する。こうして情報出力装置60は、このチャンネルにより映像音声ストリームが送信されてくるのを待つ。
【0043】
次に、情報供給装置20では、記憶装置制御部25が、入出力制御部22からの指示に従って、BGV記憶装置26a〜26cからBGVストリームを読み出してマルチプレクサ30に転送し、AV記憶装置27a〜27cからAVストリームを読み出してマルチプレクサ30に転送する。
【0044】
マルチプレクサ30は、一旦AVストリームを音声ストリームと字幕ストリームとに分離し、字幕ストリームとBGVストリームとから映像ストリームを構築し、さらに音声ストリームと映像ストリームとを時分割多重化して映像音声ストリームとして出力する。
【0045】
この映像音声ストリームは、出力インタフェース40をへてヘッドアンプ41に送られ、入出力制御部22から指示されたチャンネルでヘッドアンプ41から通信回線100に送出される。
情報出力装置60では、チューナ64が映像音声ストリームを受信してシステムデコーダ66に転送する。システムデコーダ66は、映像音声ストリームを、音声ストリームと映像ストリームとに分離し、音声ストリームをオーディオデコーダ67に出力し、映像ストリームをビデオデコーダ68に出力する。
【0046】
ビデオデコーダ68は、映像ストリームを復号し、D/A変換してアナログのビデオ信号としてモニタテレビ75に出力し、モニタテレビ75は、ビデオ信号に基づく映像を表示する。モニタテレビ75の映像は、図7(b)に示されるように、画面の上側2/3に背景映像が配され、下側1/3に字幕映像が配された形態で表示される。
【0047】
オーディオデコーダ67は、音声ストリームを復号し、D/A変換してアナログのカラオケ音声としてアンプ69に出力する。アンプ69は、マイク71から入力される歌唱音信号とオーディオデコーダ67からのカラオケ音声信号とをミキシングした後に増幅してスピーカ70に出力する。これにより、スピーカ70からは、カラオケ演奏音と利用者の歌声とがミキシングされた音声が出力される。
【0048】
この際、利用者は、モニタテレビ75の字幕を見ながら歌うことができる。また、字幕と併せて背景映像を見ることもできる。
以上のように、この情報供給装置20では、カラオケの字幕と演奏音声用のAVストリームと背景映像用のBGVストリームとを別々に保持しておいて、AVストリームと、このAVストリームに応じて選択されるBGVストリームとをマルチプレクサ30で処理して統合し映像音声ストリームとして送出するので、1つのBGVストリームを複数のAVストリーム(カラオケ曲)に使用できる。このため、カラオケの総演奏時間分のBGVストリームを用意する必要はない。
【0049】
つまり、AVストリームの総量に相当するだけのBGVストリームを用意する必要はなくなるので、装置のコストパフォーマンスは優れたものになる。
以上、具体例に従って、本発明の実施の形態について説明したが、本発明はこのような具体例に限定されるものではなく、本発明の要旨を逸脱しない範囲でさまざまに実施できることは言うまでもない。
【0050】
具体例ではカラオケソフトの配信を例に挙げているが、本発明はカラオケソフトの配信以外にも採用できる。
また、具体例の情報供給装置では、MPEG2規格でパケット化したAVストリームおよびBGVストリームを記憶しておいて、これらを統合した映像音声ストリームもMPEG2規格に従ってパケット化されているが、MPEG2以外のパケット化方式を採用してもよい。
【0051】
映像音声データ供給装置と出力端末との通信は、具体例のように同軸ケーブルを使用する通信に限らず、有線、無線を問わずに採用できる。また、電磁的な通信ばかりではなく、光を媒体とする通信も可能である。
【0052】
【発明の効果】
以上説明したように、請求項1記載の映像音声データ供給装置によれば、別々に記憶している映像音声ストリーム第2の映像ストリームとを統合して1つの統合映像音声ストリームとして送出するので、映像音声ストリームの総量に相当するだけの第2の映像ストリームを用意する必要はなくなる。このため、映像音声データ提供装置のコストパフォーマンスは優れたものになる。
【0053】
請求項2記載の映像音声データ供給装置は、カラオケソフトの提供に好適である。
請求項3記載の映像音声データ供給装置によれば、例えばリクエストされたカラオケソフトを提供するなど、所望の統合映像音声データを提供することができる。
【0054】
請求項4記載の映像音声データ供給装置は、出力端末によるリクエストに応じた映像音声ストリームを加工した統合映像音声ストリームを出力端末に送出できるので、出力端末との間で双方向通信を行えるシステムに好適である。
【図面の簡単な説明】
【図1】具体例の情報提供システムの概要と併せて情報供給装置の構成を示すブロック図である。
【図2】具体例の情報提供装置に内蔵されるマルチプレクサの構成を示すブロック図である。
【図3】具体例の情報提供システムの端末となる情報出力装置の構成を示すブロック図である。
【図4】具体例の情報提供装置に記憶されるBGVストリームおよびAVストリームの構造を示す説明図である。
【図5】具体例の情報提供装置に内蔵されるマルチプレクサにおけるデータ加工処理の説明図である。
【図6】具体例の情報提供装置に内蔵されるマルチプレクサから出力される映像音声ストリームの構造を示す説明図である。
【図7】具体例の情報出力装置において表示される画面の説明図である。
【符号の説明】
10・・・情報提供システム、
20・・・情報供給装置(映像音声データ供給装置)、
22・・・入出力制御部(指示手段)、
25・・・記憶装置制御部(読み出し手段)、
26a〜26c・・・背景映像記憶装置(データ記憶手段)、
27a〜27c・・・映像音声記憶装置(データ記憶手段)、
30・・・マルチプレクサ(データ統合手段)、
31、32・・・バッファ(データ統合手段)、
33・・・分離装置(データ統合手段)、
34・・・合成装置(データ統合手段)、
35・・・多重化装置(データ統合手段)、
41・・・ヘッドエンド(送出手段)、
60・・・情報出力装置(出力端末)、
80・・・データ入力装置、
90・・・データ入力装置、
100・・・通信回線。

Claims (4)

  1. 第1の映像データのパケットと音声データのパケットとを時分割多重化して構成される映像音声ストリーム及び第2の映像データのパケットからなる第2の映像ストリームを格納するデータ記憶手段と、
    該データ記憶手段から映像音声ストリーム及び第2の映像ストリームを読み出す読み出し手段と、
    該読み出し手段によって読み出された映像音声ストリームを前記第1の映像データのパケットからなる第1の映像ストリームと前記音声データのパケットからなる音声ストリームとに分離し、該第1の映像ストリームと前記第2の映像ストリームとに基づいて前記第1の映像データと前記第2の映像データとが合成された合成映像データのパケットからなる合成映像ストリームを生成し、該合成映像ストリームと前記音声ストリームとを時分割多重化して統合映像音声ストリームとして出力するデータ統合手段と、
    該データ統合手段から出力された前記統合映像音声ストリームを送出する送出手段と
    を設けたことを特徴とする映像音声データ供給装置。
  2. 請求項1記載の映像音声データ供給装置において、
    前記映像音声ストリームは、前記第1の映像データとしての字幕用の文字映像データのパケットと前記音声データとしての演奏用の演奏音声データのパケットとからなることを特徴とする映像音声データ供給装置。
  3. 請求項1または2記載の映像音声データ供給装置において、
    前記読み出し手段に読み出すべき前記映像音声ストリームおよび第2の映像ストリームを指示する指示手段を設けたことを特徴とする映像音声データ供給装置。
  4. 請求項3記載の映像音声データ供給装置において、
    前記指示手段は、該映像音声データ供給装置からの前記統合映像音声ストリームの供給を受ける出力端末から要求された前記映像音声ストリームの読み出しを前記読み出し手段に指示することを特徴とする映像音声データ供給装置。
JP28342695A 1995-10-31 1995-10-31 映像音声データ供給装置 Expired - Fee Related JP3587916B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP28342695A JP3587916B2 (ja) 1995-10-31 1995-10-31 映像音声データ供給装置
TW085110203A TW357533B (en) 1995-10-31 1996-08-21 A/V data supplier
US08/742,833 US6022223A (en) 1995-10-31 1996-10-31 Video/audio data supplying device
CN96112495A CN1157451A (zh) 1995-10-31 1996-10-31 图象声音数据提供装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28342695A JP3587916B2 (ja) 1995-10-31 1995-10-31 映像音声データ供給装置

Publications (2)

Publication Number Publication Date
JPH09130750A JPH09130750A (ja) 1997-05-16
JP3587916B2 true JP3587916B2 (ja) 2004-11-10

Family

ID=17665384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28342695A Expired - Fee Related JP3587916B2 (ja) 1995-10-31 1995-10-31 映像音声データ供給装置

Country Status (4)

Country Link
US (1) US6022223A (ja)
JP (1) JP3587916B2 (ja)
CN (1) CN1157451A (ja)
TW (1) TW357533B (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US9286294B2 (en) 1992-12-09 2016-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content suggestion engine
JPH0865681A (ja) 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
US6769128B1 (en) 1995-06-07 2004-07-27 United Video Properties, Inc. Electronic television program guide schedule system and method with data feed access
US6321383B1 (en) * 1995-07-31 2001-11-20 Brother Kogyo Kabushiki Kaisha Information supplying device that can store multiple types of information and supplies composite information in response to a request
US6469753B1 (en) * 1996-05-03 2002-10-22 Starsight Telecast, Inc. Information system
US9113122B2 (en) * 1997-04-21 2015-08-18 Rovi Guides, Inc. Method and apparatus for time-shifting video and text in a text-enhanced television program
EP1036466B1 (en) 1997-07-21 2003-03-26 E Guide, Inc. Method for navigating within a television program guide having advertisements
JPH11150788A (ja) * 1997-11-14 1999-06-02 Yamaha Corp オーディオシステム
JP2000020055A (ja) * 1998-06-26 2000-01-21 Yamaha Corp 楽音情報転送装置
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
US6668158B1 (en) * 1998-07-16 2003-12-23 Sony Corporation Control method, control apparatus, data receiving and recording method, data receiver and receiving method
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
WO2000005891A1 (en) 1998-07-23 2000-02-03 Diva Systems Corporation Interactive user interface
US6898762B2 (en) 1998-08-21 2005-05-24 United Video Properties, Inc. Client-server electronic program guide
US6323909B1 (en) * 1998-10-28 2001-11-27 Hughes Electronics Corporation Method and apparatus for transmitting high definition television programming using a digital satellite system transport and MPEG-2 packetized elementary streams (PES)
JP3364629B2 (ja) * 1998-11-11 2003-01-08 株式会社ユーズ・ビーエムビーエンタテイメント カラオケ用携帯形マイクロホン装置およびカラオケ装置
US6859799B1 (en) 1998-11-30 2005-02-22 Gemstar Development Corporation Search engine for video and graphics
KR20000056590A (ko) * 1999-02-24 2000-09-15 서윤득 디지털 오디오 기록 매체에 저장된 오디오 데이터의 분류 및 재생 방법
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7096487B1 (en) * 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US6904610B1 (en) 1999-04-15 2005-06-07 Sedna Patent Services, Llc Server-centric customized interactive program guide in an interactive television environment
AU1576801A (en) 1999-10-27 2001-05-08 Diva Systems Corporation Picture-in-picture and multiple video streams using slice-based encoding
KR100357241B1 (ko) * 1999-11-11 2002-10-18 박규진 디지털 오디오 플레이어에서의 반복재생구간 설정제어방법 및 이것을 이용한 파일재생장치 및 저장매체
US7444353B1 (en) 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US6442517B1 (en) 2000-02-18 2002-08-27 First International Digital, Inc. Methods and system for encoding an audio sequence with synchronized data and outputting the same
EP1183687A4 (en) * 2000-02-23 2004-10-27 Havin Co Ltd APPARATUS AND METHOD FOR RECORDING A DIGITAL AUDIO DATA FILE
EP2285104A1 (en) 2000-03-31 2011-02-16 United Video Properties, Inc. System and method for reducing cut-offs in program recording
US20020066100A1 (en) * 2000-05-31 2002-05-30 Khoi Hoang Method for providing data services for a large number of small-sized data files
US20020138845A1 (en) * 2000-05-31 2002-09-26 Khoi Hoang Methods and systems for transmitting delayed access client generic data-on demand services
US7068596B1 (en) * 2000-07-07 2006-06-27 Nevco Technology, Inc. Interactive data transmission system having staged servers
US7103906B1 (en) 2000-09-29 2006-09-05 International Business Machines Corporation User controlled multi-device media-on-demand system
PT1947858E (pt) * 2000-10-11 2014-07-28 United Video Properties Inc Sistemas e métodos para complementar meios de comunicação a pedido
CA2425482C (en) 2000-10-11 2015-12-01 United Video Properties, Inc. Systems and methods for caching data in media-on-demand systems
CN101707693B (zh) * 2000-10-11 2017-04-26 乐威指南公司 提供数据存储到点播媒体传递系统中服务器上的系统和方法
US7908628B2 (en) 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US7030311B2 (en) * 2001-11-21 2006-04-18 Line 6, Inc System and method for delivering a multimedia presentation to a user and to allow the user to play a musical instrument in conjunction with the multimedia presentation
US6740803B2 (en) * 2001-11-21 2004-05-25 Line 6, Inc Computing device to allow for the selection and display of a multimedia presentation of an audio file and to allow a user to play a musical instrument in conjunction with the multimedia presentation
US20040039932A1 (en) * 2002-08-23 2004-02-26 Gidon Elazar Apparatus, system and method for securing digital documents in a digital appliance
US7979700B2 (en) 2002-08-23 2011-07-12 Sandisk Corporation Apparatus, system and method for securing digital documents in a digital appliance
US7493646B2 (en) 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders
US20060051059A1 (en) 2004-09-08 2006-03-09 Krakirian Haig H Video recorder having user extended and automatically extended time slots
WO2005076576A2 (en) 2004-02-03 2005-08-18 Sandisk Secure Content Solutions, Inc. Protection of digital data content
US8086575B2 (en) * 2004-09-23 2011-12-27 Rovi Solutions Corporation Methods and apparatus for integrating disparate media formats in a networked media system
US9973817B1 (en) 2005-04-08 2018-05-15 Rovi Guides, Inc. System and method for providing a list of video-on-demand programs
US20070079342A1 (en) * 2005-09-30 2007-04-05 Guideworks, Llc Systems and methods for managing local storage of on-demand content
US9681105B2 (en) 2005-12-29 2017-06-13 Rovi Guides, Inc. Interactive media guidance system having multiple devices
US8607287B2 (en) * 2005-12-29 2013-12-10 United Video Properties, Inc. Interactive media guidance system having multiple devices
US20070157240A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Interactive media guidance system having multiple devices
US8839005B2 (en) * 2006-09-13 2014-09-16 Sandisk Technologies Inc. Apparatus for transferring licensed digital content between users
US7801888B2 (en) 2007-03-09 2010-09-21 Microsoft Corporation Media content search results ranked by popularity
US20090019492A1 (en) 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
US10063934B2 (en) 2008-11-25 2018-08-28 Rovi Technologies Corporation Reducing unicast session duration with restart TV
US9056249B2 (en) 2009-04-01 2015-06-16 Activision Publishing, Inc. Device and method for a streaming video game
CN101902552A (zh) * 2009-06-01 2010-12-01 海尔集团公司 信号源及具有该信号源的电视机
US20110022620A1 (en) * 2009-07-27 2011-01-27 Gemstar Development Corporation Methods and systems for associating and providing media content of different types which share atrributes
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US20110072452A1 (en) * 2009-09-23 2011-03-24 Rovi Technologies Corporation Systems and methods for providing automatic parental control activation when a restricted user is detected within range of a device
US20110197740A1 (en) * 2010-02-16 2011-08-18 Chang Donald C D Novel Karaoke and Multi-Channel Data Recording / Transmission Techniques via Wavefront Multiplexing and Demultiplexing
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US8805418B2 (en) 2011-12-23 2014-08-12 United Video Properties, Inc. Methods and systems for performing actions based on location-based rules
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
KR20180012800A (ko) * 2015-05-27 2018-02-06 광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드 오디오 처리 방법, 장치 및 시스템
US10771521B2 (en) 2015-12-22 2020-09-08 Spotify Ab Methods and systems for overlaying and playback of audio data received from distinct sources
US10728695B2 (en) 2016-12-30 2020-07-28 Spotify Ab System and method for use of crowdsourced microphone or other information with a digital media content environment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3002471B2 (ja) * 1988-08-19 2000-01-24 株式会社日立製作所 番組配信装置
US5691777A (en) * 1988-10-17 1997-11-25 Kassatly; Lord Samuel Anthony Method and apparatus for simultaneous compression of video, audio and data signals
TW232060B (en) * 1992-10-06 1994-10-11 Seiko Epson Corp Image processing apparatus
JP3398423B2 (ja) * 1993-07-16 2003-04-21 ブラザー工業株式会社 データ伝送装置、及び、端末装置
JPH0738879A (ja) * 1993-07-16 1995-02-07 Brother Ind Ltd データ伝送装置
JPH0738878A (ja) * 1993-07-16 1995-02-07 Brother Ind Ltd データ伝送装置
JP3248792B2 (ja) * 1993-08-26 2002-01-21 ヤマハ株式会社 カラオケネットワークシステムおよびカラオケ端末装置
JPH07250316A (ja) * 1994-03-14 1995-09-26 Brother Ind Ltd データ伝送装置
US5619425A (en) * 1994-03-22 1997-04-08 Brother Kogyo Kabushiki Kaisha Data transmission system
US5684843A (en) * 1994-03-28 1997-11-04 Brother Kogyo Kabushiki Kaisha Data transmission system for transmitting information from a central control unit to a plurality of terminals
TW311196B (ja) * 1994-04-06 1997-07-21 Brother Ind Ltd
JPH07311583A (ja) * 1994-05-17 1995-11-28 Brother Ind Ltd データ伝送装置
JPH07327093A (ja) * 1994-06-01 1995-12-12 Ekushingu:Kk データ伝送装置
KR0166935B1 (ko) * 1994-11-23 1999-03-20 구자홍 엠펙2 트랜스포트 디코더 장치
KR0176496B1 (ko) * 1994-12-28 1999-04-15 윤종용 컴팩트 디스크 영상 노래 반주 재생장치 및 제어방법
US5671226A (en) * 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
TW307862B (ja) * 1995-06-20 1997-06-11 Sony Co Ltd
JP3696327B2 (ja) * 1996-03-22 2005-09-14 パイオニア株式会社 情報記録装置及び方法並びに情報再生装置及び方法
US5753844A (en) * 1996-05-20 1998-05-19 Yamaha Corporation Music play apparatus with advance resetting for subsequent playing

Also Published As

Publication number Publication date
CN1157451A (zh) 1997-08-20
TW357533B (en) 1999-05-01
US6022223A (en) 2000-02-08
JPH09130750A (ja) 1997-05-16

Similar Documents

Publication Publication Date Title
JP3587916B2 (ja) 映像音声データ供給装置
JP3961185B2 (ja) 複数のオーディオ・ストリームをマージするためのシステムおよび方法
JPH09162821A (ja) 多重放送システムとこのシステムで使用される放送送信装置および放送受信装置
MXPA96002842A (en) Method and multip data current search system
US20060106597A1 (en) System and method for low bit-rate compression of combined speech and music
JPH1023348A (ja) テレビ放送番組送信装置,受信装置
KR100291890B1 (ko) 대화형 멀티미디어 오락기를 위한 시스템 및 그 장치
KR100368301B1 (ko) 동영상 메일 시스템 및 방법
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP4734828B2 (ja) 表示装置および再生装置
JP3382017B2 (ja) 番組情報送受信方法及び装置
JP3648322B2 (ja) 情報供給システム、情報供給装置及び出力端末
JP5113732B2 (ja) データ放送送信装置
JP6999490B2 (ja) ストリーミングデータの配信装置及びその方法
JP3824332B2 (ja) 映像情報供給システム
JPH0962277A (ja) カラオケ情報供給システム、カラオケ情報供給装置及びカラオケ端末
JPH07250279A (ja) 字幕データ復号化装置
JPH08263086A (ja) オーディオデータ再生装置およびオーディオデータ伝送システム並びにこれらに用いられるコンパクトディスク
JP2002300434A (ja) 番組送出システム及びこれに用いる番組送出装置
JPH0981166A (ja) 演奏情報提供装置、演奏情報出力装置及び演奏情報提供システム
JP3547060B2 (ja) 情報供給装置
JPH11161286A (ja) デジタル放送における音楽番組の送信方法およびこの放送を受信するカラオケ装置
JP4108786B2 (ja) デジタル多チャンネル放送の音楽番組をカラオケ装置で受信再生するとともに音楽に同期して色変わりする歌詞字幕を表示する方法
JPH0965232A (ja) 情報供給装置、情報出力装置および情報提供システム
JPH0993499A (ja) 映像音声データ提供装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040811

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110820

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees