JP4331835B2 - 画像データ伝送方法 - Google Patents
画像データ伝送方法 Download PDFInfo
- Publication number
- JP4331835B2 JP4331835B2 JP26913299A JP26913299A JP4331835B2 JP 4331835 B2 JP4331835 B2 JP 4331835B2 JP 26913299 A JP26913299 A JP 26913299A JP 26913299 A JP26913299 A JP 26913299A JP 4331835 B2 JP4331835 B2 JP 4331835B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- camera
- data transmission
- control
- gop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 50
- 238000007906 compression Methods 0.000 description 37
- 230000006835 compression Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 7
- 238000004904 shortening Methods 0.000 description 5
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【発明の属する技術分野】
本発明は、画像データを圧縮符号化して伝送するシステムに関し、特に、圧縮符号化による遅延を短縮した画像データ伝送方法に関するものである。
【0002】
【従来の技術】
画像データを圧縮符号化し、ネットワークを介して伝送するシステムとしては、テレビ電話システム、テレビ会議システム、監視システム等が既に実用化されている。このようなシステムでは、ITU-T,H.261、MPEG(Moving Picture Experts Group)等の符号化方式を用いることにより、少ない伝送帯域で品位の高い画像情報の伝送を可能にしている。
【0003】
【発明が解決しようとする課題】
MPEGのようにフレーム間情報を利用して画像データの圧縮を行い、その画像データを伝送するシステムでは、一般にネットワークの遅延を除いて150〜500ms程度の伝送遅延が圧縮処理において発生する。
【0004】
したがって、前述したシステムにおいて、例えば画像データの受信側のモニタを見ながら、画像データの送信側のテレビカメラのパン/チルト、ズーム、フォーカス等、機構系を動作させる制御を行う場合、制御指令の入力に応答した画像がモニタに表示されるまでの遅延時間が長くなるという問題がある。特に、パン/チルト制御を行うためには回転台の回転制御が伴うため、前記遅延時間が長くなるという問題がある。
【0005】
また、MPEGのように複数ピクチャを一つのGOP(Group of Picture)として伝送するシステムでは、複数の画像ソースからの画像データのストリームを切り替えた際に、最大でGOPを構成するピクチャ数の時間分の切替遅延が発生するという問題がある。
【0006】
本発明は、このような問題を解決するためになされたもので、画像データの圧縮処理にともなう遅延の短縮を可能にした画像デーテ伝送方法を提供することを目的とする。
【0007】
また、本発明はGOP構造を有する画像データのストリーム切替時の切替遅延の短縮を可能にした画像デーテ伝送方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の画像データ伝送方法は、画像データを圧縮符号化して送信する複数の画像データ送信装置と、前記画像データを受信する画像データ受信装置と、前記画像データ送信装置を制御する制御装置と、前記各装置間を接続するネットワークとを備えた画像データ伝送システムにおいて前記制御装置から前記画像データ送信装置を制御する際に、前記複数の画像データ送信装置の能力情報を取得し、制御の対象である画像データ送信装置が前記圧縮符号化での遅延が問題になる機能を有すると前記能力情報をもとに判定した場合、または制御の対象である画像データ送信装置の機能の中から前記圧縮符号化での遅延が問題になる機能を使用する場合には、前記遅延の少ない圧縮符号化を行う構成を有する。この構成により、例えば画像データ受信装置のモニタを見ながら、画像データ送信装置の機構系を動作させる制御を行う場合、制御指令の入力に応答した画像がモニタに表示されるまでの遅延時間を低減することができる。
【0009】
また、本発明の画像データ伝送方法は、画像データをGOP構造を有する圧縮符号化ストリームに変換して送信する複数の画像データ送信装置と、前記ストリームを受信する画像データ受信装置と、前記画像データ送信装置を選択する選択装置と、前記各装置間を接続するネットワークとを備えた画像データ伝送システムにおいて前記選択装置が任意の一つの画像データ送信装置から他の画像データ送信装置に切り替える際に、切替直後の所定期間はGOP構造を変更することにより、低遅延で切替を行う構成を有する。この構成により、複数の画像データのストリームを切り替えた際に発生する切替遅延時間を低減することができる。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について図1から図15を用いて詳細に説明する。
【0011】
〔1〕画像データ伝送システムの構成および動作の概要
図1は、本発明の実施の形態の画像データ伝送システムの構成を示す図である。この画像データ伝送システムは、複数(図示は三台)のテレビカメラ(以下、カメラという)1、2、3と、制御機器6と、デコーダ7と、複数(図示は二台)のモニタ8、9と、LAN(Local Area Network)5とから構成されている。
【0012】
カメラ1、2、3は、撮像した画像データをMPEG2等によりデータ圧縮し、LAN5へ送出する。テレビカメラ2は回転台4を備えている。LAN5は、例えばIEEE1394に準拠したバス(以下、1394バスという)により各機器を接続するネットワークである。制御機器6は、例えばパーソナルコンピュータ(以下、パソコンという)やリモートコマンダにより構成されており、LAN5を介してカメラ1、2、3にコマンドを送信することにより、それらのカメラ1、2、3の制御等を行うことができる。デコーダ7はLAN5を介して受信した画像データをデコードする。モニタ8、9はデコーダ7でデコードされた、それぞれ異なるサイズの画像データを表示する。
【0013】
図2は、図1に示した画像データ伝送システムを構成する各機器の内部ブロックを示す図である。ただし、各カメラは同一構成を有しているため、一台のカメラ2のみ図示した。また、モニタも一台のモニタ8のみ図示した。
【0014】
カメラ2は、光学系11と、光学系11により集束された被写体の画像を撮像する撮像部12と、撮像部12を駆動する駆動部13と、駆動部13の撮像出力に対してMPEG2等の画像データ圧縮処理を施すエンコーダ部14とを備えている。
【0015】
また、カメラ2は、このカメラ2の各部の制御等をおこなう制御部15と、各種情報を記憶する記憶部16と、ネットワークインタフェース部17とを備えている。制御部15は、CPUやDSPや論理回路で構成されており、ネットワークインタフェース部17の制御、例えばLAN5を介して外部の制御機器6等との間でやりとりされる制御情報の生成/判別等を行う。また、エンコード部14のパラメータ制御、ネットワークインタフェース部17の動作を切り替えるためのレジスタ制御を行う。そして、リンク層以上のプロトコルが実装されている。記憶部16は、回転台4の有無等のカメラの能力情報、製品番号等のカメラ固有の情報等が予め記憶されている。記憶部16の記憶内容は、ネットワークインタフェース17からDMAにより直接読み出すことも可能である。ネットワークインタフェース部17は、例えばIEEE1394の物理層、リンク層のようなネットワークインタフェース機能を備え、制御部15や記憶部16との情報交換、エンコード部14の出力である画像データストリームの入出力を行う。
【0016】
制御機器6は、制御部21と、操作部22と、ネットワークインタフェース部23と、記憶部24とを備えている。制御部21はCPU等で構成されており、ネットワークインタフェース部17の制御、例えばLAN5を介して外部の制御機器6等との間でやりとりされる制御情報の生成/判別等を行う。また、LAN5に接続されている機器(カメラ、デコーダ)の構成や能力、ネットワークのドポロジ情報(接続構成)を管理・制御するソフトウェアが実装されている。操作部22はユーザが各種指令を入力するためのキーボードやマウス等である。ネットワークインタフェース23は、例えばIEEE1394の物理層、リンク層のようなネットワークインタフェース機能を備え、制御部21や記憶部24との情報交換を行う。記憶部24は、LAN5に接続されている機器の構成や能力、ネットワークのドポロジ情報等を記憶する。記憶部24の記憶内容は、ネットワークインタフェース部23からDMAにより直接読み出すことも可能である。なお、制御機器6にLCD等で構成された表示部を設けても良い。
【0017】
デコーダ7は、このデコーダ7の各部の制御等をおこなう制御部31と、操作部32と、ネットワークインタフェース部33と、各種情報を記憶する記憶部34と、デコード部35とを備えている。制御部31は、CPUやDSPや論理回路で構成されており、ネットワークインタフェース部33の制御、例えばLAN5を介して外部のカメラ2との間でやりとりされる制御情報の生成/判別等を行う。また、デコード部35のパラメータ制御、ネットワークインタフェース部33の動作を切り替えるためのレジスタ制御を行う。そして、リンク層以上のプロトコルが実装されている。LAN5に接続されている機器の構成や能力、ネットワークのドポロジ情報を管理・制御するソフトウェアを実装しても良い。操作部32はユーザが各種指令を入力するためのキーボードやマウス等である。ネットワークインタフェース部33は、例えばIEEE1394の物理層、リンク層のようなネットワークインタフェース機能を備え、制御部31や記憶部34との情報交換、LAN5から入力されたカメラ2の画像データストリームの入出力、同期パケット(1394バスの場合、サイクルスタートパケット)の送信等を行う。なお、ここではデコーダ7が同期パケットの送出を行うが、1394のサイクルマスタ決定手法を利用した場合、カメラ2および制御機器6のそれぞれのネットワークインタフェース部17、23の内の一つがサイクルマスタとなってサイクルスタートパケットを送信してもよい。記憶部34は、デコード可能な圧縮方式の種別、接続されているモニタのサイズ、表示可能な画像のサイズ等のデコーダ7の能力や、製品番号等のデコーダ固有の情報を記憶する。記憶部34の記憶内容は、ネットワークインタフェース部33からDMAにより直接読み出すことも可能である。デコード部35は、ネットワークインタフェース部33を介して受け取ったストリームをデコードし、モニタ8に出力する。
【0018】
図3は、カメラ2の記憶部16に記憶されている情報の一例を示す図である。ここでは、カメラ固有の情報としてベンダーIDと製品番号が、また機器の能力情報としてリアルタイム制御機能(パン、チルト、ズーム、フォーカス、外部制御スイッチ)の有無が記憶されている。記憶部16は、フラッシュROM等のような不揮発性メモリである。
【0019】
図4は、制御部6の記憶部24とデコーダ7の記憶部34に記憶される情報の一例を示す図である。ここでは、カメラ1の情報としてその固有の情報であるベンダーIDと製品番号が、また、能力情報としてリアルタイム制御機能(パン、チルト、ズーム、フォーカス、外部制御スイッチ)の有無が記憶されている。同様に、カメラ2のの情報としてその固有の情報であるベンダーIDと製品番号が、また、能力情報としてリアルタイム制御機能(パン、チルト、ズーム、フォーカス、外部制御スイッチ)の有無が記憶されている。記憶部24、34はDRAM等で構成されており、電源投入時、ネットワーク構成の変化時、バスリセット時、あるいはカメラ選択時にLAN5を介して取得された前記各種情報を記憶する。
【0020】
図1に示した画像データ伝送システムの動作の概要を説明する。ユーザは制御機器6の操作部22を用いてカメラ1、2、3の中から任意のカメラを選択することができる。選択されたカメラの画像はLAN5を通ってデコーダ7に送られ、ここでデコードされ、モニタ8、9に表示される。この時、カメラの各種制御(パン、チルト、ズーム、フォーカス等)を行うことができる。また、制御機器6の操作部22を用いてカメラを切り替えることができる。なお、以上の操作をデコーダ7の操作部32を用いて行うこともできる。
【0021】
〔2〕伝送遅延短縮方法
図1に示した画像データ伝送システムのカメラ1〜3は、画像データを圧縮して伝送しているため、圧縮処理による伝送遅延が発生する。また、カメラのパン、チルト、ズーム、フォーカス等の制御を行う際には、前記圧縮処理による伝送遅延にさらに機構系の応答に要する遅延が加わるため、制御機器6からの制御指令の入力に応答した画像がモニタに表示されるまでの遅延時間が長くなってしまう。
【0022】
そこで、この遅延時間を短くするためる、本発明の実施の形態では以下の方法により、前記遅延時間を短縮している。すなわち、カメラがパン、チルト、ズーム、フォーカス等のような遅延時間が問題となる機能を備えているか否かを制御機器6にて識別する。そして、それらの機能を備えており、かつ、それらの機能が使用されている場合には、カメラのエンコード部が遅延時間の短い圧縮処理を行うように制御する。以下、この方法について詳細に説明する。
【0023】
(2−1)カメラの各種情報を取得する手順
まず、図5を参照しながら、制御機器6とデコーダ7が、各カメラの機能を取得する手順を説明する。図1に示した画像データ伝送システムの電源投入や機器の接続等を行うと、LAN5に接続された1394バスにバスリセットが発生する。そして、バスリセット後のネットワークドポロジの識別プロセス等の後に、制御機器6およびデコーダ7は、カメラ1、2、…nに対して情報要求コマンドを順次送信する。各カメラは情報要求コマンドを受信すると、それぞれの記憶部に記憶されている情報をレスポンスとして返信する。例えばカメラ2の場合、記憶部16には図3に示した情報が記憶されているので、それを返信する。返信された情報は、図4(a)、(b)に示したように、それぞれ制御機器6の記憶部24とデコーダ7の記憶部34に記憶される。同様に、各カメラの情報が制御部6とデコーダ7の記憶部24、34に記憶される。
【0024】
この手順を実行することにより、制御機器6およびデコーダ7は各カメラの能力情報等を把握することが可能となる。この能力情報はユーザがカメラを選択する際に表示することができる。
【0025】
各カメラの情報はカメラ選択時に取得するように構成しても良い。図6はその場合の手順を示している。この手順では、制御機器6またはデコーダ7においてカメラを選択した際に、その選択されたカメラに対して情報要求コマンドを送信する。前記選択されたカメラは情報要求コマンドを受信すると、その記憶部に記憶されている情報をレスポンスとして返信する。その後、選択されたカメラの操作を行う。
【0026】
(2−2)カメラ選択・操作時の処理
次に、図7を参照しながら、図1に示した画像データ伝送システムにおいて任意のカメラを選択し、操作する場合の動作を説明する。なお、前述したように、カメラの選択・操作は、制御機器6またはデコーダ7のどちらからでも可能であるが、以下の説明では制御機器6を用いて選択・操作を行う場合について説明する。
【0027】
まず、ステップA1に示すように、ユーザは制御機器6の操作部22を用いて任意のカメラを選択する指令を与える。制御機器6の制御部21はこの指令が入力されると、ステップA2に示すように、選択されたカメラの能力情報を参照する。すなわち、図5に示した手順でバスリセット時に能力情報を取得し、記憶部24に既に記憶済の場合にはそれを参照する。一方、図6に示した手順、すなわちカメラ選択時に能力情報を取得する場合には、ここでカメラ情報要求コマンドを送信し、そのレスポンス中の能力情報を記憶部24に記憶する。
【0028】
次に、ステップA3に示すように、ユーザが入力したカメラの制御指令を見て、リアルタイム制御が必要な制御か否かを判断する。ここで、リアルタイム制御とは図3、4に示したように、パン、チルト、ズーム、フォーカス等である。リアルタイム制御が必要でなければ(ステップA3でNo)、ステップA6へ移行し、高効率伝送が可能な圧縮処理を選択する。すなわち、制御機器6の制御部21はネットワークインタフェース23とLAN5を介して、選択されたカメラに対して高効率伝送が可能な圧縮処理を選択するように指令するためのコマンドを送信する。このコマンドは選択されたカメラ、例えばカメラ2の場合、ネットワークインタフェース17を介して制御部15に入力される。そして、コマンドの解釈が行われ、それに従ってエンコード部14の圧縮処理が選択される。高効率伝送が可能な圧縮処理についての詳細な説明は後述する。
【0029】
一方、ステップA3でYesの場合には、ステップA4へ移行し、リアルタイム制御の有無を判定する。そして、リアルタイム制御指令があると判断した場合には、ステップA5へ移行し、低遅延(遅延時間が短い)伝送が可能な圧縮処理を選択する。低遅延伝送が可能な圧縮処理についての詳細な説明は後述する。ステップA4でリアルタイム制御指令が一定時間ないと判定した場合には、ステップA6へ移行し、高効率伝送が可能な圧縮処理を選択する。ステップA1で選択されたカメラの選択が終了するまで、ステップA4以降の処理を繰り返す(ステップA7)。なお、リアルタイム制御が一定時間あるか否かをカメラ側で判断し、カメラ側で圧縮処理を選択するように構成しても良い。また、ステップA2で機器機能を参照した後に、パン/チルト機能の有無から回転台の有無を判定し、回転台がある場合にはリアルタイム制御を有無にかかわらず低遅延(遅延時間が短い)伝送が可能な圧縮処理を選択し、その後、リアルタイム制御指令が一定時間ないと判定した場合に高効率伝送が可能な圧縮処理に切り替えても良い。
【0030】
図8は、カメラ1を選択している状態からカメラ2を選択し、その制御を行った場合のタイミングチャートである。この図に示すように、カメラ1が選択され、制御が行われていない状態から時刻t0においてカメラ2を選択し、さらに時刻t1からそのリアルタイム制御を開始し、その後、時刻t2でその制御を終了した場合、時刻t0からt1まではリアルタイム制御が行われていないので、カメラ2から高効率圧縮画像が送信され、モニタ8に表示される。さらに、時刻t1からt2まではリアルタイム制御が行われているので、カメラ2から低遅延圧縮画像が送信され、モニタ8に表示される。そして、時刻t2で制御が終了してから一定時間経過した後にカメラ2から高効率圧縮画像が送信され、モニタ8に表示される。
【0031】
(2−3)高効率圧縮処理と低遅延圧縮処理
次に、高効率圧縮処理と低遅延圧縮処理について二つの例を説明する。図9は第1の例を説明するための図であり、図10は第2の例を説明するための図である。
【0032】
まず、第1の例について説明する。この方法は、カメラ内のエンコード部のFIFOメモリで構成されたVBVバッファのサイズを変化させることで、高効率圧縮処理と低遅延圧縮処理の切替を可能にしている。すなわち、図9(a)に示すように、VBVバッファのサイズを大きくすると遅延時間が長く、かつ圧縮効率が高くなり、図9(b)に示すように、VBVバッファのサイズを小さくすると遅延時間が短く、かつ圧縮効率が低くなる。
【0033】
第2の例に示す方法は、MPEGエンコードのストラクチャを切り替えることで、高効率圧縮処理と低遅延圧縮処理の切替を可能にしている。すなわち、図9(a)、(b)に示すように、フレームストラクチャを採用した場合には最小で1フィールド+1スライス分の遅延が発生するため、遅延時間が長く、かつ圧縮効率が高くなる。そして、図9(c)、(d)に示すように、フィールドストラクチャを採用した場合には最小で1スライス分の遅延のみが発生するため、遅延時間が短く、かつ圧縮効率が低くなる。
【0034】
このように、本発明の実施の形態によれば、パン、チルト、ズーム、フォーカス等のような遅延時間が問題となる機能を使用する場合には、カメラのエンコード部が遅延時間の短い圧縮処理を行うことにより、遅延時間を短縮している。
【0035】
〔3〕カメラ切替遅延短縮方法
図1に示したカメラ1〜3は、MPEG2を用いてデータ圧縮を行い、複数のピクチャ(例えば15個)のピクチャからなるGOPを単位として画像データを伝送する。詳細には、図11に示すように、1394バス上のサイクルマスタとなる機器(図1の場合はデコーダ7)がネットワーク上にブロードキャスト伝送したサイクルスタートパケットを各カメラが取り込み、そのパケットを用いてGOP同期を取り、カメラの画像データをエンコード部に入力する。このため、カメラを切り替えた際に、最大でGOPを構成するピクチャ数の時間分の切替遅延が発生する。
【0036】
そこで、本発明の実施の形態では以下の方法により、前記切替遅延時間を短縮する。すなわち、カメラ切替直後から所定の時間、GOP構造を変化させる。以下にGOP構造を変化させる二つの例について順に説明する。
【0037】
(3−1)第1の方法
第1の方法では、GOP毎の送信中のピクチャ数をカウントするカウンタを設け、カメラ切替直後の前記カウンタのカウント値をGOPのピクチャ数から減算した値のピクチャ数を有するGOPを次のGOP同期まで送信する。
【0038】
図12は、第1の方法の方法の動作タイミングチャートおよび必要なネットワークリソース容量を示す図であり、図13はフローチャートである。ここでは、各カメラとも一つのGOPはI、B、B、P、B、B、P、B、B、P、B、B、P、B、Bからなる15個のピクチャで構成されているものとする。
【0039】
まず、図12に示すようにカメラ1のストリームが送信され、図1のモニタ8または9に表示されているものとする。時刻t0でのGOP同期のタイミングから時間T経過後の時刻t1において、カメラ1からカメラ2へ切り替える指令がカメラ2の制御部15に入力されたものとする(図13のステップB1)。制御部15では、GOPカウンタが各GOP毎に現在送信中のピクチャが先頭から何番目のピクチャであるかをカウントしている。そして、時刻におけるカウント値Gnを出力する(ステップB2)。
【0040】
次に、一つのピクチャを伝送した後(ステップB3)、カウント値Gnを“1”デクリメントする(ステップB4)。これらの処理を前記カウント値Gnが0以下になるまで繰り返す(ステップB5)。そして、前記カウント値Gnが0以下になったら、換言すれば次のGOP同期のタイミングになったら、15個のGOPからなるピクチャを伝送する(ステップB6)。
【0041】
これによって、図12の時刻t1からt2までの間は15個から時間Tの間に送信されたピクチャ数を減算した数のピクチャが送信され、時刻t2で次のGOP同期のタイミングになったら、切替前と同様、15個のピクチャで構成されたストリームが伝送される。そして、切替前から切替後までに必要なネットワークリソース容量は1チャンネル分である。
【0042】
(3−2)第2の方法
第2の方法では、カメラ切替直後から次のGOP同期までIピクチャのみを送信する。
【0043】
図14は、第2の方法の方法の動作タイミングチャートおよび必要なネットワークリソース容量を示す図であり、図15はフローチャートである。ここでも、第1の方法と同様、各カメラとも一つのGOPはI、B、B、P、B、B、P、B、B、P、B、B、P、B、Bからなる15個のピクチャで構成されているものとする。
【0044】
まず、図14に示すようにカメラ1のストリームが送信され、図1のモニタ8または9に表示されているものとする。時刻t0でのGOP同期のタイミングから時間T経過後の時刻t1において、カメラ1からカメラ2へ切り替える指令がカメラ2の制御部15に入力されたものとする(図15のステップC1)。制御部15では、GOPカウンタが各GOP毎に現在送信中のピクチャが先頭から何番目のピクチャであるかをカウントしている。そして、時刻におけるカウント値Gnを出力する(ステップC2)。
【0045】
次に、Iピクチャを伝送した後(ステップC3)、カウント値Gnを“1”デクリメントする(ステップC4)。これらの処理を前記カウント値Gnが0以下になるまで繰り返す(ステップC5)。そして、前記カウント値Gnが0以下になったら、換言すれば次のGOP同期のタイミングになったら、15個のGOPからなるピクチャを伝送する(ステップC6)。
【0046】
これによって、図14の時刻t1からt2までの間はIピクチャのみが送信され、時刻t2で次のGOP同期のタイミングになったら、切替前と同様、I、B、B、P、B、B、P、B、B、P、B、B、P、B、Bからなる15個のピクチャで構成されたストリームが伝送される。そして、切替前から切替後までに必要なネットワークリソース容量は1チャンネル分である。
【0047】
このように、本発明の実施の形態によれば、カメラ切替直後から所定の時間、GOP構造を変化させることにより、切替遅延の短縮を可能にしている。
【0048】
【発明の効果】
以上詳細に説明したように、本発明によれば、制御装置から画像データ送信装置を制御する際に、画像データ送信装置の能力情報を取得し、制御の対象である画像データ送信装置が前記圧縮符号化での遅延が問題になる機能を有すると前記能力情報をもとに判定した場合、または制御の対象となっている画像データ送信装置の機能の中から圧縮符号化での遅延が問題になる機能を使用する場合には、前記遅延の少ない圧縮符号化を行うので、例えば画像データ受信装置のモニタを見ながら、画像データ送信装置の機構系を動作させる制御を行う場合、制御指令の入力に応答した画像がモニタに表示されるまでの遅延時間を短縮することが可能になるという優れた効果を有する画像データ伝送方法を提供することができる。
【0049】
また、本発明によれば、選択装置が任意の一つの画像データ送信装置から他の画像データ送信装置に切り替える際に、切替直後の所定期間はGOP構造を変更することにより、低遅延で切替を行うので、画像データのストリームを切り替えた際に発生する切替遅延時間を短縮することが可能になるという優れた効果を有する画像データ伝送方法を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の画像データ伝送システムの構成を示す図、
【図2】図1に示した画像データ伝送システムを構成する各機器の内部ブロックを示す図、
【図3】図1のカメラの記憶部に記憶されている情報の一例を示す図、
【図4】図1の制御機器およびデコードのそれぞれの記憶部に記憶されている情報の一例を示す図、
【図5】図1の制御機器とデコーダが各カメラの機能を取得する手順を示す図、
【図6】図1の制御機器とデコーダが各カメラの選択・操作を行う手順を示す図、
【図7】図1の制御機器がカメラを選択し、制御する際の動作を示すフローチャート、
【図8】図1において、カメラ1を選択している状態からカメラ2を選択し、その制御を行った場合のタイミングチャート、
【図9】本発明の実施の形態における高効率圧縮処理と低遅延圧縮処理の第1の例を説明するための図、
【図10】本発明の実施の形態における高効率圧縮処理と低遅延圧縮処理の第2の例を説明するための図、
【図11】本発明の実施の形態におけるGOP同期を説明するための図、
【図12】本発明の実施の形態におけるカメラ切替遅延短縮方法の第1の例を説明するためのタイミングチャート、
【図13】本発明の実施の形態におけるカメラ切替遅延短縮方法の第1の例のフローチャート、
【図14】本発明の実施の形態におけるカメラ切替遅延短縮方法の第2の例を説明するためのタイミングチャート、
【図15】本発明の実施の形態におけるカメラ切替遅延短縮方法の第2の例のフローチャートである。
【符号の説明】
1、2、3 カメラ
5 LAN
6 制御機器
7 デコーダ
8、9 モニタ
Claims (3)
- 画像データをGOP構造を有する圧縮符号化ストリームに変換して送信する複数の画像データ送信装置と、前記ストリームを受信する画像データ受信装置と、前記画像データ送信装置を選択する選択装置と、前記各装置間を接続するネットワークとを備えた画像データ伝送システムにおいて前記選択装置が任意の一つの画像データ送信装置から他の画像データ送信装置に切り替える際に、前記データ送信装置は切替直後の所定期間はGOP構造を変更することにより、低遅延で切替を行うことを特徴とする画像データ伝送方法。
- GOP毎の送信中のピクチャ数をカウントするカウンタを設け、切替直後の前記カウンタのカウント値をGOPのピクチャ数から減算した値のピクチャ数を有するGOPを次のGOP同期まで送信することを特徴とする請求項1記載の画像データ伝送方法。
- 切替直後から次のGOP同期までIピクチャのみを送信することを特徴とする請求項1記載の画像データ伝送方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26913299A JP4331835B2 (ja) | 1999-09-22 | 1999-09-22 | 画像データ伝送方法 |
US09/589,348 US6707947B1 (en) | 1999-09-22 | 2000-06-08 | Frame switcher and method of switching, digital camera, and monitoring system |
EP20090176015 EP2148511A3 (en) | 1999-09-22 | 2000-06-09 | Frame switcher and method of switching, digital camera, and monitoring system |
CA 2311211 CA2311211C (en) | 1999-09-22 | 2000-06-09 | Frame switcher and method of switching, digital camera, and monitoring system |
AU39406/00A AU774608B2 (en) | 1999-09-22 | 2000-06-09 | Frame switcher and method of switching, digital camera, and monitoring system |
EP20000111873 EP1087620A3 (en) | 1999-09-22 | 2000-06-09 | Frame switcher and method of switching, digital camera, and monitoring system |
TW89111528A TW510094B (en) | 1999-09-22 | 2000-06-13 | Frame switcher and method of switching, digital camera, and monitoring system |
CNB001188763A CN1206863C (zh) | 1999-09-22 | 2000-06-22 | 图像传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26913299A JP4331835B2 (ja) | 1999-09-22 | 1999-09-22 | 画像データ伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001094987A JP2001094987A (ja) | 2001-04-06 |
JP4331835B2 true JP4331835B2 (ja) | 2009-09-16 |
Family
ID=17468150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26913299A Expired - Fee Related JP4331835B2 (ja) | 1999-09-22 | 1999-09-22 | 画像データ伝送方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6707947B1 (ja) |
EP (2) | EP1087620A3 (ja) |
JP (1) | JP4331835B2 (ja) |
CN (1) | CN1206863C (ja) |
AU (1) | AU774608B2 (ja) |
CA (1) | CA2311211C (ja) |
TW (1) | TW510094B (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6980234B2 (en) * | 2000-10-19 | 2005-12-27 | Canon Kabushiki Kaisha | System for changing setup of first device that executes predetermined function by second device and these devices |
CA2344930C (en) * | 2001-04-23 | 2007-04-17 | Leitch Technology International Inc. | Data monitoring system |
JP2003299076A (ja) | 2002-04-04 | 2003-10-17 | Matsushita Electric Ind Co Ltd | 画像伝送装置 |
US7649880B2 (en) | 2002-11-12 | 2010-01-19 | Mark Adams | Systems and methods for deriving storage area commands |
US8005918B2 (en) | 2002-11-12 | 2011-08-23 | Rateze Remote Mgmt. L.L.C. | Data storage devices having IP capable partitions |
US7170890B2 (en) | 2002-12-16 | 2007-01-30 | Zetera Corporation | Electrical devices with improved communication |
AU2002357266A1 (en) | 2002-11-12 | 2004-06-03 | Zetera Corporation | Communication protocols, systems and methods |
FR2871649B1 (fr) * | 2004-06-10 | 2006-09-22 | Mediasyscom Soc Par Actions Si | Procede de commutation de programmes video numeriques et emetteur pour sa mise en oeuvre |
CN100568960C (zh) * | 2004-10-12 | 2009-12-09 | 国际商业机器公司 | 建立和管理视频监视系统的设备和方法 |
JP2006203817A (ja) * | 2005-01-24 | 2006-08-03 | Nippon Soken Inc | マルチカメラシステム |
US7702850B2 (en) | 2005-03-14 | 2010-04-20 | Thomas Earl Ludwig | Topology independent storage arrays and methods |
US7620981B2 (en) | 2005-05-26 | 2009-11-17 | Charles William Frank | Virtual devices and virtual bus tunnels, modules and methods |
US7743214B2 (en) | 2005-08-16 | 2010-06-22 | Mark Adams | Generating storage system commands |
US8819092B2 (en) | 2005-08-16 | 2014-08-26 | Rateze Remote Mgmt. L.L.C. | Disaggregated resources and access methods |
US9270532B2 (en) | 2005-10-06 | 2016-02-23 | Rateze Remote Mgmt. L.L.C. | Resource command messages and methods |
US8194132B2 (en) | 2006-01-20 | 2012-06-05 | Old World Industries, Llc | System for monitoring an area adjacent a vehicle |
US7924881B2 (en) | 2006-04-10 | 2011-04-12 | Rateze Remote Mgmt. L.L.C. | Datagram identifier management |
JP2009272921A (ja) * | 2008-05-08 | 2009-11-19 | Panasonic Corp | 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路 |
JP5052578B2 (ja) * | 2009-09-18 | 2012-10-17 | シャープ株式会社 | 通信装置および通信装置としてコンピュータを機能させるためのプログラム |
JP4691193B1 (ja) * | 2010-04-13 | 2011-06-01 | 株式会社東芝 | 映像表示装置および映像処理方法 |
DE102014220372A1 (de) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2944278B2 (ja) | 1991-10-16 | 1999-08-30 | 富士通株式会社 | 可変レート符号化方式 |
JP2551305B2 (ja) * | 1992-09-11 | 1996-11-06 | 日本電気株式会社 | 動画像符号化制御方式 |
US5491516A (en) | 1993-01-14 | 1996-02-13 | Rca Thomson Licensing Corporation | Field elimination apparatus for a video compression/decompression system |
JP3431953B2 (ja) | 1993-07-27 | 2003-07-28 | キヤノン株式会社 | カメラ制御装置及び方法 |
JPH0767113A (ja) * | 1993-08-24 | 1995-03-10 | Toshiba Corp | フレーム間帯域圧縮信号切り替え回路 |
JPH07212766A (ja) | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 動画像圧縮データ切り換え装置 |
JPH07250322A (ja) * | 1994-03-09 | 1995-09-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置とそれを用いた遠隔監視システム |
JPH07327228A (ja) * | 1994-05-31 | 1995-12-12 | Nippon Hoso Kyokai <Nhk> | ディジタル符号化・伝送システム |
JPH0837614A (ja) | 1994-07-26 | 1996-02-06 | Kyocera Corp | カメラ遠隔制御操作装置 |
JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
US5629736A (en) * | 1994-11-01 | 1997-05-13 | Lucent Technologies Inc. | Coded domain picture composition for multimedia communications systems |
JPH08223582A (ja) * | 1995-02-15 | 1996-08-30 | Sony Corp | 圧縮画像データ選択システムおよび画像処理システム |
JP3689447B2 (ja) * | 1995-03-20 | 2005-08-31 | キヤノン株式会社 | カメラ制御システム及び方法 |
JP2824028B2 (ja) * | 1995-06-08 | 1998-11-11 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動画像圧縮装置 |
GB2307613B (en) * | 1995-08-31 | 2000-03-22 | British Broadcasting Corp | Switching bit-rate reduced signals |
GB2307151A (en) | 1995-11-10 | 1997-05-14 | British Broadcasting Corp | Digital coding of video signals |
EP0776130A3 (en) | 1995-11-27 | 1998-03-04 | Canon Kabushiki Kaisha | Camera control system with variable frame rate |
JPH10164555A (ja) * | 1996-11-29 | 1998-06-19 | Canon Inc | サーバ及びクライアント及び制御方法及び記憶媒体 |
US5793425A (en) * | 1996-09-13 | 1998-08-11 | Philips Electronics North America Corporation | Method and apparatus for dynamically controlling encoding parameters of multiple encoders in a multiplexed system |
JPH10136324A (ja) * | 1996-10-25 | 1998-05-22 | Canon Inc | 映像伝送方法及びその装置と該装置を含む映像伝送システム |
JPH10155156A (ja) * | 1996-11-22 | 1998-06-09 | Sony Corp | 映像信号切換装置とその方法 |
JP3304799B2 (ja) * | 1997-01-30 | 2002-07-22 | 株式会社日立製作所 | 信号処理方法及び装置 |
JP3592025B2 (ja) * | 1997-03-11 | 2004-11-24 | キヤノン株式会社 | 撮影画像記録装置 |
US6384862B1 (en) * | 1997-03-12 | 2002-05-07 | Telefoaktiebolaget L M Ericsson | Imaging system and method for interactive control of image quality |
JPH10322694A (ja) * | 1997-05-21 | 1998-12-04 | Sony Corp | ストリーム切替え装置 |
JPH10341371A (ja) * | 1997-06-09 | 1998-12-22 | Victor Co Of Japan Ltd | カメラ遠隔制御システム |
GB2327548B (en) * | 1997-07-18 | 2002-05-01 | British Broadcasting Corp | Switching compressed video bitstreams |
US5943508A (en) * | 1997-07-28 | 1999-08-24 | Tektronix, Inc. | Switcher using shared decompression processors for processing both broadband and compressed video data |
EP0895421A3 (en) | 1997-07-29 | 1999-11-17 | Canon Kabushiki Kaisha | Camera control system controlling different types of cameras |
KR100588795B1 (ko) * | 1997-12-08 | 2006-06-13 | 소니 가부시끼 가이샤 | 부호화 장치 및 부호화 방법 |
WO1999030504A1 (en) * | 1997-12-08 | 1999-06-17 | Sony Corporation | Encoder and encoding method |
US6414998B1 (en) * | 1998-01-27 | 2002-07-02 | Sony Corporation | Method and apparatus for inserting an image material |
JPH11239329A (ja) * | 1998-02-23 | 1999-08-31 | Sony Corp | 画像伝送装置およびそれを使用した画像伝送システム |
-
1999
- 1999-09-22 JP JP26913299A patent/JP4331835B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-08 US US09/589,348 patent/US6707947B1/en not_active Expired - Lifetime
- 2000-06-09 EP EP20000111873 patent/EP1087620A3/en not_active Withdrawn
- 2000-06-09 EP EP20090176015 patent/EP2148511A3/en not_active Withdrawn
- 2000-06-09 CA CA 2311211 patent/CA2311211C/en not_active Expired - Fee Related
- 2000-06-09 AU AU39406/00A patent/AU774608B2/en not_active Ceased
- 2000-06-13 TW TW89111528A patent/TW510094B/zh not_active IP Right Cessation
- 2000-06-22 CN CNB001188763A patent/CN1206863C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CA2311211C (en) | 2011-09-13 |
EP1087620A3 (en) | 2004-05-12 |
CN1289211A (zh) | 2001-03-28 |
TW510094B (en) | 2002-11-11 |
AU3940600A (en) | 2001-03-29 |
CA2311211A1 (en) | 2001-03-22 |
AU774608B2 (en) | 2004-07-01 |
JP2001094987A (ja) | 2001-04-06 |
CN1206863C (zh) | 2005-06-15 |
EP2148511A3 (en) | 2010-04-28 |
US6707947B1 (en) | 2004-03-16 |
EP2148511A2 (en) | 2010-01-27 |
EP1087620A2 (en) | 2001-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4331835B2 (ja) | 画像データ伝送方法 | |
WO2011013349A1 (ja) | 映像データ処理装置及び映像データ処理システム | |
EP0709009A1 (en) | System and method for transmitting video material | |
US7593580B2 (en) | Video encoding using parallel processors | |
JPH09252462A (ja) | 送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体 | |
US9179065B2 (en) | Image processing apparatus, image processing method, and program product | |
JP4104577B2 (ja) | 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム | |
JPH08191451A (ja) | 動画像送信装置 | |
JP2001008180A (ja) | 動画像信号符号化/復号装置 | |
JP2004007066A (ja) | 画像伝送装置 | |
KR20060023418A (ko) | 하드웨어 mpeg4 코덱 및 v2oip 프로토콜을이용한 실시간 팬/틸트/줌 제어가 가능한 네트워크 카메라시스템 | |
WO2022130873A1 (ja) | 撮像装置、プログラム、及びエンコーダ選択方法 | |
JP2003309847A (ja) | 画像伝送方法および画像伝送装置 | |
JPH0746557A (ja) | 映像信号送受信システム | |
JPH10294939A (ja) | 画像伝送システム及び画像伝送装置 | |
KR200370249Y1 (ko) | 하드웨어 mpeg4 코덱 및 v2oip 프로토콜을이용한 실시간 팬/틸트/줌 제어가 가능한 네트워크카메라 시스템 | |
KR19990019528A (ko) | 엠펙 인코더를 이용한 보안 시스템의 데이타 전송장치 및 방법 | |
JP3860674B2 (ja) | 多重通信装置、多重通信方法、および多重通信プログラムを記録した媒体 | |
JP2024095892A (ja) | スイッチャおよびプログラム | |
CN116193124A (zh) | 一种传输视频码流的方法及装置 | |
CN104702970A (zh) | 一种同步视频数据的方法、设备及系统 | |
JPH0445681A (ja) | マルチメディア通信装置における動画像記憶方式 | |
US20040107448A1 (en) | Device, apparatus and method for selecting a programme from a plurality of programmes within a network | |
JP2001309337A (ja) | 画像送信装置 | |
JPH09200735A (ja) | 監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4331835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |