JP3808159B2 - Photo shooting management method - Google Patents
Photo shooting management method Download PDFInfo
- Publication number
- JP3808159B2 JP3808159B2 JP05063497A JP5063497A JP3808159B2 JP 3808159 B2 JP3808159 B2 JP 3808159B2 JP 05063497 A JP05063497 A JP 05063497A JP 5063497 A JP5063497 A JP 5063497A JP 3808159 B2 JP3808159 B2 JP 3808159B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- data
- images
- information
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000007726 management method Methods 0.000 title claims description 24
- 238000005259 measurement Methods 0.000 claims description 70
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 12
- 238000009430 construction management Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 239000003292 glue Substances 0.000 description 6
- 238000013524 data verification Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、施工対象物の写真測量法による3次元計測を容易にするための、計測システム及びデータベースの管理方法に関するもので、特に、ステレオ撮影されたデジタル画像から施工現場の3次元座標データを算出する写真撮影管理方法に関するものである。
【0002】
【従来の技術】
従来の写真測量法は、施工現場の地形等の被測定物を地上空間の相異る2地点より撮影(ステレオ撮影)し、上記撮影された2枚の写真画像に基づいて上記被測定物の3次元座標を算出し、上記被測定物の3次元形状情報及び3次元モデルを作成していた。上記施工現場には、地上座標が既知の複数の基準点やステレオ撮影する2つの画像(計測モデルという)に共通して撮影される複数の点(パスポイント)等の標定点を示す標定点装置が予め設置される。作業者は、施工現場においてデジタルカメラにより写真撮影を行い、上記各計測モデルの画像上の標定点を特定し標定点の相互標定解析を行い、更に上記標定点の画像上の座標と地上座標とのを決定(対地標定)する。そして、上記標定点解析作業により決定された画像上の座標系と地上座標系との関係から、計測モデル上の任意の被測定物の各位置の3次元座標データを求めることができる。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の写真測量法においては、使用カメラ,レンズ焦点距離等のプロジェクト情報や撮影位置,撮影方向等の撮影点情報や写真名,標定点計測データ等のステレオモデル情報は、個別にファイル管理されているので、3次元座標データを求める場合、作業者は前工程の各ファイルを取出して作業を行わなければならず、作業能率が悪いという欠点があった。また、3次元座標データを求める作業は専門的知識を必要とするもので、一般の作業者が計測モデルに基づいて3次元座標データを求めることが困難であるという問題点があった。
更に、マッチング技術等を用いて、自動的に3次元座標データを求める方法がいくつか提案されているが、いずれものり肩,のり尻などのブレークラインデータ等の出来形管理を行う上での重要箇所を合わせて効率的に計測できるものではなかった。
【0004】
本発明は、上記問題を解決するためになされたもので、ステレオ撮影されたデジタル画像データをデータベースに管理し、上記データに基づいて写真測量全般に渡り各種データを管理し、標定点解析が終了した各計測モデルの被測定物についての3次元座標データを、作業者が容易にしかも効率よく求めることが出来るような写真撮影管理方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明の請求項1記載の写真撮影管理方法は、施工現場とその周辺を含む地上からデジタルカメラを用いてステレオ撮影された、上記施工現場の地形等の被測定物の一連のデジタル画像データから計測モデルとなる上記ステレオ撮影された2枚の画像を選択して標定解析し、施工管理に利用する3次元データを求める方法であって、上記撮影された各画像データ,上記各画像データの標定点計測データ,標定解析により得られた標定点解析結果などのステレオモデル情報等の作業工程の各種データをデータベースに保存するとともに、上記保存されたステレオモデル情報に基づいて表示画面に表示された、計測モデルを構成する2枚の画像上ののり尻,のり肩等のブレークラインに沿った領域の3次元座標データを算出する際には、上記表示画面上にて上記ブレークラインをトレースして入力し、上記入力されたブレークラインの線分情報を基に上記領域の3次元座標データを算出するようにしたことを特徴とする。
【0006】
本発明の請求項2記載の写真撮影管理方法は、トレースされた計測モデルの一方の画像のトレース領域が狭く、上記領域の3次元座標データを算出するための点情報が不足している場合には、上記データベースに登録された上記2枚の画像のステレオモデル情報に基づいて、上記点情報が不足している方の画像に不足している点を発生させて、上記2枚の画像の位置合わせを行い、上記2枚の画像データの計測範囲を揃えるようにしたことを特徴とする。
【0007】
本発明の請求項3記載の写真撮影管理方法は、3枚以上の画像に重複して共通した計測点が存在する場合には、上記各画像から2枚ずつの画像を選び出して複数の計測モデルを設定し、それぞれの計測モデルにて標定解析を行って上記共通した計測点の3次元座標データをそれぞれ算出するとともに、上記算出された3次元座標データを比較して、上記複数の計測モデルにおける計測結果の検証を同時に行うようにしたことを特徴とする。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態について、図面に基づき説明する。
図1は、本実施の形態に係わる写真撮影管理装置1の構成を示すブロック図で、被測定物の3次元データを計測する計測範囲等を写真撮影管理装置1に入力するための入力手段2と、デジタルカメラで撮影された施工現場の画像データや上記画像データの標定点計測データ及び標定点解析結果などのステレオモデル情報等の作業工程の各種データを保存するデータベース3と、上記データベース3のステレオモデル情報に基づいて3次元計測範囲等の3次元計測情報及び3次元座標データ等の3次元情報を生成する3次元計測情報管理手段4と,トレースした線分情報を基にステレオモデルでの計測結果を他の写真に当てはめ計測データの検証を同時に行う計測データ検証手段5とを備えた制御手段6と、ディスプレイ7とを備えている。なお、実際の施工現場で撮影されデータベース3に保存されたデジタルカメラの実画像データは、標定点計測データ等のステレオモデル情報に基づいて標定解析され、解析された結果は再び上記ステレオモデル情報に付加されてデータベース3に保存されている。
【0009】
以上の構成の写真撮影管理装置1の動作について説明する。
作業者が入力装置2により施工現場の画像のうち3次元座標データを算出する画像データのコース名(例えばコース01とコース03)を指定すると、ディスプレイ7には、図2に示すように、コース内のデジタル画像が表示される。作業者は、上記画像の中から3次元座標データを計測する計測モデルとなる左右の画像(例えば画像011と画像012)を選択する。3次元計測情報管理手段4は、データベース3から施工現場の指定された画像011,012の画像データ及び標定点解析結果を取込み、上記各画像上の標定点にその座標の値を対応づけ、図3(a),(b)に示すように、デジタルカメラで撮影された原画像から計測領域M1,M2の偏位修正画像を算出する。上記偏位修正画像は、原画像のデータから相互標定要素を用い、エピポーラ幾何学にしたがって画像を並び替えたものであり、左画像011の直交系の等間隔な計測メッシュm1に対応する右画像012の計測メッシュm2は、上記左画像011と右画像012の撮影位置の違いに相当する修正が加えられた歪んだメッシュになる。
【0010】
作業者は上記偏位修正画面上で、図4(a)の太線の矢印に示すように、左右の画像011,012上で、のり肩及びのり尻等のブレークラインに沿った領域をトレースして入力する。3次元情報管理装置4は、上記トレースにより入力された部分の3次元データを算出する。そのとき、上記トレースされた入力線分をスプライン曲線で近似するとともに、図4(b)に示すように、対応点計測の近似x視差に関しても手前と奥とでのX視差の差の変化を関数近似することで与え、更に水平撮影の幾何学をX視差の予測・変動限界に利用し、マッチング精度安定に採用する。このように、計測範囲をトレースして入力すれば、計測範囲を矩形範囲で指定する場合に比較して、のり肩及びのり尻等のブレークラインに沿った領域を確実に指定でき、上記ブレークラインの3次元座標データを高密度に求めることができる。
また、上記左右の画像のトレース位置は必ずしも正確に一致させる必要はなく、一方の画像のトレース領域が狭く点情報が不足していても、データベース3に登録された上記2枚の画像のステレオモデル情報に基づいて3次元計測情報管理手段4内で不足の点を発生させ、左右の位置合わせを行い3次元データ(x,y,z)を設定することができるので、専門的知識がない一般の作業者でも被測定物の3次元座標データを算出することができる。
【0011】
次に、上記トレースした線分情報を基づいて計測されたステレオモデル011,012における3次元座標データを他の画像に当てはめ、計測データの検証を行う方法について説明する。例えば、検証を行う計測モデルMa(画像011と画像012)の検証には、図6に示すように、画像012に隣接する画像013を用いる。そして、上記計測モデルMaの左画像012を右画像とし、隣接する画像013を左画像とした隣接モデルMbを設定する。このとき、上記3つの画像には、共通計測点Sが存在するものとする。計測モデルMaに基づいて得られた上記点Sの座標を(Xa,Ya,Za)とし、隣接モデルMbで再度マッチングを行い、上記点Sの座標(Xb,Yb,Zb)を求める。そして、上記点Sの座標の値を比較し、その値がほぼ同一になるかどうかを検証することにより計測の異常点の抽出を行うことが出来るので、作業者は被測定物の3次元座標データを算出作業を確実に行うことができる。
【0012】
【発明の効果】
以上説明したように、請求項1記載の発明によれば、施工現場とその周辺を含む地上からデジタルカメラを用いてステレオ撮影された、上記施工現場の地形等の被測定物の一連のデジタル画像データから計測モデルとなる上記ステレオ撮影された2枚の画像を選択して標定解析し、施工管理に利用する3次元データを求める方法において、上記撮影された各画像データ,上記各画像データの標定点計測データ,標定解析により得られた標定点解析結果などのステレオモデル情報等の作業工程の各種データをデータベースに保存するとともに、上記保存されたステレオモデル情報に基づいて表示画面に表示された、計測モデルを構成する2枚の画像上ののり尻,のり肩等のブレークラインに沿った領域の3次元座標データを算出する際には、上記表示画面上にて上記ブレークラインをトレースして入力し、上記入力されたブレークラインの線分情報を基に上記領域の3次元座標データを算出するようにしたので、のり肩及びのり尻等のブレークラインに沿った領域を確実に指定でき、上記ブレークライン周辺の3次元座標データを高密度に求めることができる。
【0013】
また、請求項2記載の写真撮影管理方法によれば、トレースされた計測モデルの一方の画像のトレース領域が狭く、上記領域の3次元座標データを算出するための点情報が不足している場合には、上記データベースに登録された上記2枚の画像のステレオモデル情報に基づいて、上記点情報が不足している方の画像に不足している点を発生させて、上記2枚の画像の位置合わせを行い、上記2枚の画像データの計測範囲を揃えるようにしたので、計測範囲の設定を容易に行うことができる。
【0014】
また、請求項3記載の写真撮影管理方法によれば、3枚以上の画像に重複して共通した計測点が存在する場合には、上記各画像から2枚ずつの画像を選び出して複数の計測モデルを設定し、それぞれの計測モデルにて標定解析を行って上記共通した計測点の3次元座標データをそれぞれ算出するとともに、上記算出された3次元座標データを比較して、上記複数の計測モデルにおける計測結果の検証を同時に行うようにしたので、一般の作業者でも確実に被測定物の3次元座標データの算出作業を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係わる写真撮影管理装置の構成図である。
【図2】本発明の実施の形態に係わる撮影点とデジタルカメラによる実画像データの表示例を示す図である。
【図3】本発明の実施の形態に係わる計測モデルにおける偏位修正画像の一例を示す図である。
【図4】本発明の実施の形態に係わるトレース方法の一例を示す図である。
【図5】本発明の実施の形態に係わる測定データの検証方法の一例を示す図である。
【符号の説明】
1 写真撮影管理装置
2 入力手段
3 撮影計画管理手段
4 3次元計測情報管理手段
5 計測データ検証手段
6 制御手段
7 データベース
8 ディスプレイ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a measurement system and a database management method for facilitating 3D measurement of a construction object by photogrammetry, and in particular, 3D coordinate data of a construction site is obtained from a stereo imaged digital image. The present invention relates to a photography management method to be calculated.
[0002]
[Prior art]
In conventional photogrammetry, an object to be measured such as topography at a construction site is photographed (stereo photography) from two different points in the ground space, and the object to be measured is based on the two photographed images. Three-dimensional coordinates are calculated, and three-dimensional shape information and a three-dimensional model of the object to be measured are created. In the construction site, a ground control point device showing ground control points such as a plurality of reference points whose ground coordinates are known and a plurality of points (pass points) photographed in common with two images (referred to as measurement models) to be photographed in stereo. Is installed in advance. The operator takes a photograph with a digital camera at the construction site, identifies the orientation points on the images of the respective measurement models, performs mutual orientation analysis of the orientation points, and further determines the coordinates of the orientation points on the image and the ground coordinates. Is determined (ground orientation). Then, three-dimensional coordinate data of each position of an arbitrary object on the measurement model can be obtained from the relationship between the coordinate system on the image and the ground coordinate system determined by the orientation point analysis operation.
[0003]
[Problems to be solved by the invention]
However, in conventional photogrammetry, project information such as camera used, lens focal length, etc., shooting point information such as shooting position and shooting direction, and stereo model information such as photo name and orientation point measurement data are individually managed as files. Therefore, when obtaining the three-dimensional coordinate data, the operator has to take out each file of the previous process and perform the operation, and there is a disadvantage that the work efficiency is poor. Further, the work for obtaining the three-dimensional coordinate data requires specialized knowledge, and there is a problem that it is difficult for a general worker to obtain the three-dimensional coordinate data based on the measurement model.
In addition, several methods have been proposed to automatically obtain 3D coordinate data using matching techniques, etc., but it is necessary to manage the shape of breakline data such as the shoulders and the butt of each one It was not possible to efficiently measure important points together.
[0004]
The present invention has been made to solve the above-described problem, and manages stereo imaged digital image data in a database, manages various data over the entire photogrammetry based on the data, and finishes the control point analysis. It is an object of the present invention to provide a photography management method that enables an operator to easily and efficiently obtain three-dimensional coordinate data about an object to be measured of each measurement model.
[0005]
[Means for Solving the Problems]
The photography management method according to claim 1 of the present invention is based on a series of digital image data of an object to be measured such as the topography of the construction site, which is stereo-photographed from the ground including the construction site and its surroundings using a digital camera. A method of selecting two stereo-photographed images to be a measurement model, performing orientation analysis, and obtaining three-dimensional data to be used for construction management, wherein each of the photographed image data and the standard of each of the image data is obtained. fixed point measurement data, various data working process of the stereo model information or the like, such as obtained orientation points analysis results by orientation analysis as well as stored in a database, displayed on the display screen based on the stored scan Tereomoderu information, glue ass on two pictures forming a measurement model, when you calculate the 3-dimensional coordinate data of the region along the breakline such glue shoulder, the display Entered by tracing the breakline at the surface, characterized in that to calculate the three-dimensional coordinate data of the area based on the segment information of the break lines which are the input.
[0006]
The photography management method according to claim 2 of the present invention is used when the trace area of one image of the traced measurement model is narrow and the point information for calculating the three-dimensional coordinate data of the area is insufficient. Based on the stereo model information of the two images registered in the database, the point where the point information is deficient is generated and the position of the two images is determined. And the measurement range of the two pieces of image data is made uniform.
[0007]
In the photography management method according to
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of a photography management apparatus 1 according to the present embodiment. Input means 2 for inputting a measurement range for measuring three-dimensional data of an object to be measured to the photography management apparatus 1. A
[0009]
The operation of the photography management apparatus 1 having the above configuration will be described.
When the operator designates a course name (for example,
[0010]
On the displacement correction screen, the operator traces the areas along the break lines such as the shoulders and edges on the left and
In addition, the trace positions of the left and right images do not necessarily have to be exactly the same. Even if the trace area of one image is narrow and the point information is insufficient, the stereo model of the two images registered in the
[0011]
Next, a method for verifying measurement data by applying the three-dimensional coordinate data in the
[0012]
【The invention's effect】
As described above, according to the first aspect of the present invention , a series of digital images of an object to be measured such as the terrain of the construction site taken in stereo using a digital camera from the ground including the construction site and its surroundings. In the method of selecting the two stereo-photographed images, which are measurement models, from the data, and analyzing the orientation , and obtaining three-dimensional data to be used for construction management, each of the captured image data, the standard of each of the image data fixed point measurement data, various data working process of the stereo model information or the like, such as obtained orientation points analysis results by orientation analysis as well as stored in a database, displayed on the display screen based on the stored scan Tereomoderu information, glue ass on two pictures forming a measurement model, when you calculate the 3-dimensional coordinate data of the region along the breakline such glue shoulder, upper Entered by tracing the breakline on the display screen, since to calculate the three-dimensional coordinate data of the area segment information based on the break line that is the input, such as glue shoulder and glue ass The area along the break line can be specified reliably, and the three-dimensional coordinate data around the break line can be obtained with high density.
[0013]
According to the photography management method of claim 2, when the trace area of one image of the traced measurement model is narrow and the point information for calculating the three-dimensional coordinate data of the area is insufficient Is based on the stereo model information of the two images registered in the database to generate a missing point in the image lacking the point information , and Since the alignment is performed and the measurement ranges of the two image data are aligned, the measurement range can be easily set.
[0014]
According to the photography management method of
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a photography management apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a display example of actual image data by a photographing point and a digital camera according to an embodiment of the present invention.
FIG. 3 is a diagram showing an example of a deviation correction image in the measurement model according to the embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of a tracing method according to an embodiment of the present invention.
FIG. 5 is a diagram showing an example of a measurement data verification method according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Photographing management apparatus 2 Input means 3 Photographing plan management means 4 Three-dimensional measurement information management means 5 Measurement data verification means 6 Control means 7 Database 8 Display
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05063497A JP3808159B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05063497A JP3808159B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10246630A JPH10246630A (en) | 1998-09-14 |
JP3808159B2 true JP3808159B2 (en) | 2006-08-09 |
Family
ID=12864404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05063497A Expired - Lifetime JP3808159B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3808159B2 (en) |
-
1997
- 1997-03-05 JP JP05063497A patent/JP3808159B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10246630A (en) | 1998-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102096806B1 (en) | 3D sensor system and 3D data acquisition method | |
JP4038726B2 (en) | Image matching method | |
JP4226550B2 (en) | Three-dimensional measurement data automatic alignment apparatus and method using optical markers | |
US7010157B2 (en) | Stereo image measuring device | |
CN110838164B (en) | Monocular image three-dimensional reconstruction method, system and device based on object point depth | |
JP4234059B2 (en) | Camera calibration method and camera calibration apparatus | |
JP3696336B2 (en) | How to calibrate the camera | |
JP3696335B2 (en) | Method for associating each measurement point of multiple images | |
JP2004302756A (en) | CAD construction drawing inspection method and device | |
JP4208980B2 (en) | Photo shooting management method | |
JP4112077B2 (en) | Image measurement processing method and apparatus, and recording medium recording image measurement processing program | |
JP3924576B2 (en) | Three-dimensional measurement method and apparatus by photogrammetry | |
JP3808159B2 (en) | Photo shooting management method | |
JP4550081B2 (en) | Image measurement method | |
JP3859794B2 (en) | Photo shooting management method | |
JP2003194530A (en) | Method and apparatus for measuring already existing pipeline | |
JP4359939B2 (en) | Image measuring device | |
JP2003067726A (en) | Solid model generation system and method | |
JPH10318732A (en) | Shape measuring device and image formation apparatus of shape measurement | |
KR100457080B1 (en) | Method for surveying the characteristics of joint on rock slope using image | |
JP4153322B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
JP4159373B2 (en) | Method and apparatus for associating measurement points in photogrammetry | |
JP3777066B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
KR101184005B1 (en) | Drawing update method through examining symbol | |
RU2471147C2 (en) | Stereoscopic measuring system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |