JP3859794B2 - Photo shooting management method - Google Patents
Photo shooting management method Download PDFInfo
- Publication number
- JP3859794B2 JP3859794B2 JP05062097A JP5062097A JP3859794B2 JP 3859794 B2 JP3859794 B2 JP 3859794B2 JP 05062097 A JP05062097 A JP 05062097A JP 5062097 A JP5062097 A JP 5062097A JP 3859794 B2 JP3859794 B2 JP 3859794B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- image data
- photographing
- construction site
- plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、施工対象物の写真測量法に関するもので、特に施工現場の写真撮影計画及び写真撮影を容易にするととも写真撮影の工程の各データを管理する写真撮影管理方法に関するものである。
【0002】
【従来の技術】
従来の写真測量法は、施工現場の地形等の被測定物を地上空間の相異る2地点より撮影(ステレオ撮影)し、上記撮影された画像に基づいて上記被測定物の3次元座標を算出し、上記被測定物の3次元形状情報及び3次元モデルを作成するものである。まず、作業者が施工現場においてカメラ等の撮影機器や被測定物の3次元計測に適した複数の撮影位置等の撮影条件を決定して写真撮影を行う。このとき施工現場には、地上座標が既知の複数の基準点やステレオ撮影する2つの画像に共通して撮影される複数の点(パスポイント)等の標定点を示す標定点装置が予め設置される。そして、上記撮影された写真画像の中からステレオ撮影された2つの画像から成る計測モデルを複数選択し、写真画像上のパスポイントに基づいて上記計測モデルを標定解析した後、上記被測定物の3次元座標の算出を行い上記被測定物の3次元モデルを作成していた。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の写真測量法においては、作業者がステレオ撮影に適した撮影場所及び撮影方向の設定を行うだけでなく、撮影された画像から標定解析を行うことを予測して標定点装置の設置場所の決定等を行う必要があるため、作業者は写真撮影法についての詳細な知識や経験が要求されていた。また、上記写真測量では、撮影機器の情報や画像データ等の管理は各工程毎に管理されており、作業者が作業前に様々な準備をする場合、作業者は前後の工程の各ファイルを取出して行わなければならいため、作業能率が悪いという欠点があった。また、ステレオ撮影の作業手順等はほぼ確立されているにも拘らず、一般の作業者が撮影位置や方向の決定を容易に行う方法については提案されてはいなかった。
【0004】
本発明は、上記問題を解決するためになされたもので、一般の作業者が撮影位置や方向の決定を容易に行うことができ、更に、ステレオ撮影されたデジタル画像データをデータベースに管理し、作業者が上記画像データを効率よく管理できるような写真撮影管理方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明の請求項1記載の写真撮影管理方法は、施工現場の地形図を計算機に読み込んで施工現場の平面図の画像データを作成した後、上記画像データ上で、ステレオ撮影するための複数の撮影位置と撮影方向とを指示し、更に上記計算機に備えた3次元CAD入力機能を利用して計測対象の概略地形を入力することにより3次元背景画像データを得、上記3次元背景画像データから作業者が上記平面図上で指定した複数の撮影位置から撮影した場合を想定した3次元シミュレーション画像をそれぞれ作成するとともに、これらの想定した3次元シミュレーション画像を並べて表示させ、上記指定した撮影位置と撮影方向とがステレオ撮影に適した撮影位置と撮影方向であるかどうかを、施工現場で写真撮影を行う前に確認できるようにしたことを特徴とする。
【0006】
本発明の請求項2記載の写真撮影管理方法は、作業者が上記平面図上で指定した標定点設置箇所を3次元シミュレーション画像上に表示させるとともに、作業者が指定した2枚の3次元シミュレーション画像が予め設定された数の標定点を含んでいるかどうかを判断し、上記2枚の画像が計測モデルとして適切かどうかを判断させるようにしたことを特徴とする。
【0007】
本発明の請求項3記載の写真撮影管理方法は、実際の撮影が行われた後、上記3次元シミュレーション画像データを実画像のデータと入れ替え可能とし、更に上記実画像データを、撮影位置,撮影方向等の撮影点情報と標定点データ等の計測情報とともにデータベースに登録・保存するようにしたことを特徴とする。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態について、図面に基づき説明する。
図1は、本実施の形態に係わる写真撮影管理装置1の構成を示すブロック図で、施工現場の地形図や撮影に使用するカメラの機種及びレンズ焦点距離等を写真撮影管理装置1に入力するための入力手段2と、上記入力手段2に入力された各種データに基づいて撮影位置,撮影方向等の撮影点情報を生成する撮影計画管理手段3と,上記撮影計画管理手段3の出力データに基づき計測対象の概略地形を取込み基準点の計画配置を行う撮影計画シミュレーション手段4とを備えた制御手段5と、上記入力データや撮影点情報等の各種データを保存するデータベース6と、ディスプレイ7と、プリンタ8とを備えている。
なお、本実施の形態においては、上記制御手段5としてCAD機能を備えたパソコンを用い、入力手段3としてはキイボード及びスキャナーを用いている。また、デジタルカメラで撮影された実画像データDPは上記データベース6に直接入力され登録・保存される。
【0009】
次に、写真撮影管理装置1により施工現場の撮影計画の管理を行う方法について説明する。まず施工現場の写真撮影を行う前に計測対象となる施工現場の地形図をスキャナーを用いてパソコンに読み込み、図2に示すような、施工現場の平面図の画像データを作成する。この画像データは、撮影計画及び計測精度のシミレーションを行うための背景画像データである。上記背景画像データに対して座標系を設定するため、上記地形図において地上座標が既知である点P1(X1,Y1)及び点P2(X2,Y2)とこの点P1,P2に対応する上記背景画像データ上の点p1(x1,y1)及び点p2(x2,y2)の座標データを用いて、地上座標系と画像上の座標系との座標変換を行うための変換係数であるヘルマート変換係数を算出する。上記背景画像データの任意の点p(x,y)の座標は、上記ヘルマート変換係数を用いて地上座標(X,Y)に変換することができる。
【0010】
次に作業者は、撮影に使用するカメラの機種,レンズ焦点距離を撮影管理手段4に入力した後、上記背景画像データ上で、図3に示すように、撮影位置(同図の□印)及び撮影方向(同図の矢印)の設定を行う。なお、上記背景画像データは、まだ2次元の情報しか入力されていないので、パソコンに備えられた3次元CAD入力機能を利用して、図4に示すような、計測対象の概略地形、例えばピット部におけるのり肩K1やのり尻K2のz座標を入力して3次元の背景画像データを作成する。また、地形の画面を分かり易くするために補助線Lを入力することもできる。更に、図4に示すように、符号黒△で示すような基準点やパスポイント等の標定点装置位置を指示することで、上記背景画像データ上において標定点装置の配置計画も同時に行うことができる。図5(a)に示すような撮影位置,撮影方向,標定点装置位置等を設定した背景画像データにおいて、作業者が例えば符号012で示される撮影位置を選択すると、上記入力された使用カメラ,レンズ焦点距離のデータを有するカメラにより撮影位置012から撮影した場合の画像を想定した3次元シミュレーション画像が撮影計画シミュレーション手段4により作成され、図5(b)に示すように、ディスプレイ7の表示画面のウインドウW012に表示される。また、上記ウインドウ画面W012には、当該撮影位置や撮影方向の指定が適切であるかどうかを作業者に確認させる目的で、撮影収斂角,撮影基本長,計測予想精度の情報が順次表示される。
【0011】
図6は、作業者が指定した各撮影位置011〜014及び031〜034からの3次元シミュレーション画像を順次並べた表示画面の一例で、作業者はこれらの3次元シミュレーション画像を参照して、実際の施工現場での撮影位置と撮影方向とを決定し、施工現場においてデジタルカメラによる写真撮影を行う。なお、撮影計画シミュレーション手段4は、作業者が指定した2枚の3次元シミュレーション画像が予め設定された数の標定点を含んでいるかどうかを検知し、上記2枚の画像が計測モデルとして適切かどうかを判断し、作業者に上記判断結果を表示するので、専門的知識のない作業者でも、撮影位置と撮影方向とを適切に決定することが出来る。また、上記3次元シミュレーション画像は、上記使用カメラ等の撮影条件とリンクされてデータベース6に登録・保存され、写真撮影後、実際の施工現場で撮影されたデジタルカメラの実画像データと置換えられる。
また、上記3次元シミュレーション画像を、図3に示すような撮影位置及び撮影角度が記入された平面図とともに、写真撮影管理装置1のプリンタ8より出力させ、実際に写真撮影を行う場合の資料とすることができる。
【0012】
このように、本実施の形態によれば、施工現場で写真撮影を行う前に撮影現場の3次元シミュレーション画像を作成し、上記3次元シミュレーション画像を参照しながら撮影計画を立てることができるので、写真測量法の知識や経験の少ない作業者でも適切なステレオ撮影を行うことが出来る。更に、データベース6には、上記3次元シミュレーション画像または実画像とともにカメラ情報等の撮影機器情報や撮影位置等の撮影点情報がリンクされて登録されているので、作業者が交替になった場合でも、容易に作業を引き継ぐことが出来る。
【0013】
なお、上記例では施工現場の実画像がデータベース6に登録されていない段階での撮影計画について述べたが、施工現場での掘削作業が進んだ段階で写真測量を行う場合も上記写真撮影管理装置1を用いて撮影計画を支援を行うことが出来る。すなわち、データベース6に登録された複数の実画像に基づいて標定解析を行い、図7に示すような、施工現場の等高線表示の計測データを作成し、上記計測データ上に新たな掘削を行った箇所の複数の3次元座標を入力するとともに、背景として既にデータベース3に登録されている背景画像データを用い、上記実施の形態で行ったように、3次元CAD入力機能を利用して、図8に示すような、計測対象の概略地形図を作成する。なお、同図の点線で囲われた領域Rは上述した新たな掘削を行った箇所である。次に、上記画面上に標定点装置の配置を指示することで標定点装置の配置計画も合わせて行い、以下、上記実施の形態と同様の作業により、新たな掘削を行った施工現場の3次元シミュレーション画像をディスプレイ7表示させ、上記3次元シミュレーション画像を参照して、実際の施工現場での撮影位置と撮影方向とを決定し、施工現場での写真撮影を行う。
【0014】
【発明の効果】
以上説明したように、請求項1記載の写真撮影管理方法は、施工現場の地形図を計算機に読み込んで施工現場の平面図の画像データを作成した後、上記画像データ上で、ステレオ撮影するための複数の撮影位置と撮影方向とを指示し、更に上記計算機に備えた3次元CAD入力機能を利用して計測対象の概略地形を入力することにより3次元背景画像データを得、上記3次元背景画像データから作業者が上記平面図上で指定した複数の撮影位置から撮影した場合を想定した3次元シミュレーション画像をそれぞれ作成するとともに、これらの想定した3次元シミュレーション画像を並べて表示させ、上記指定した撮影位置と撮影方向とがステレオ撮影に適した撮影位置と撮影方向であるかどうかを確認できるようにしたので、施工現場で写真撮影を行う前に撮影現場の3次元シミュレーション画像を参照することができ、写真測量法の知識や経験の少ない作業者でも容易に撮影計画を立てることができるとともに適切なステレオ撮影を行うことが出来る。
【0015】
請求項2記載の写真撮影管理方法は、作業者が上記平面図上で指定した標定点装置設置箇所を3次元シミュレーション画像上に表示させるとともに、作業者が指定した2枚の3次元シミュレーション画像が予め設定された数の標定点を含んでいるかどうかを判断し、上記2枚の画像が計測モデルとして適切かどうかを判断させるようにしたので、写真測量法の知識や経験の少ない作業者でも容易に撮影現場での標定点装置の配置の計画を立てることが出来る。
【0016】
請求項3記載の写真撮影管理方法は、実際の撮影が行われた後、上記3次元シミュレーション画像データを実画像のデータと入れ替え可能とし、更に上記実画像データを、撮影位置,撮影方向等の撮影点情報と標定点データ等の計測情報とともにデータベースに登録・保存するようにしたので、作業者が交替になった場合でも容易に写真撮影作業を引き継ぐことが出来る。
【図面の簡単な説明】
【図1】本発明の実施の形態に係わる写真撮影管理装置の構成図である。
【図2】本発明の実施の形態に係わる施工現場の地形図である。
【図3】本発明の実施の形態に係わる撮影点の設定例を示す図である。
【図4】本発明の実施の形態に係わる標定点装置の配置例を示す図である。
【図5】本発明の実施の形態に係わる写真撮影の3次元シミュレーション画像の一例を示す図である。
【図6】本発明の実施の形態に係わる背景画像データ上の撮影点と3次元シミュレーション画像の表示例を示す図である。
【図7】本発明の実施の形態に係わる堀削が進んだ施工現場の等高線計測データの一例を示す図である。
【図8】本発明の実施の形態に係わる堀削が進んだ施工現場での撮影点及び標定点装置の設定例を示す図である。
【符号の説明】
1 写真撮影管理装置
2 入力手段
3 撮影計画管理手段
4 撮影計画シミュレーション手段
5 制御手段
6 データベース
7 ディスプレイ
8 プリンタ
DP デジタルカメラの実画像データ
K1 のり肩
K2 のり尻[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a photogrammetry method for construction objects, and more particularly to a photography management method for facilitating photography plans and photography at construction sites and managing each data of the photography process.
[0002]
[Prior art]
In conventional photogrammetry, objects to be measured such as topography at a construction site are photographed (stereo photography) from two different points in the ground space, and the three-dimensional coordinates of the object to be measured are obtained based on the photographed images. The three-dimensional shape information and the three-dimensional model of the object to be measured are created by calculation. First, an operator determines photographing conditions such as a plurality of photographing positions suitable for three-dimensional measurement of a photographing device such as a camera and an object to be measured at a construction site. At this time, a ground control point device indicating a ground control point such as a plurality of reference points whose ground coordinates are known and a plurality of points (pass points) captured in common for two images to be captured in stereo is installed in advance. The Then, a plurality of measurement models composed of two images taken in stereo are selected from the photographed photographic images, and the measurement model is subjected to orientation analysis based on a pass point on the photographic image, and then the measurement object is measured. A three-dimensional model of the object to be measured was created by calculating three-dimensional coordinates.
[0003]
[Problems to be solved by the invention]
However, in the conventional photogrammetry, the operator sets not only the shooting location and shooting direction suitable for stereo shooting, but also the installation of a ground control point device by predicting that the orientation analysis will be performed from the captured image. Because it is necessary to determine the location, the worker is required to have detailed knowledge and experience about the photography method. In the above photogrammetry, the management of information on the photographic equipment, image data, etc. is managed for each process, and when the worker makes various preparations before work, the worker must save the files of the previous and subsequent processes. Since it had to be taken out and carried out, there was a drawback that work efficiency was poor. In addition, although a procedure for stereo shooting is almost established, no method has been proposed for a general worker to easily determine the shooting position and direction.
[0004]
The present invention was made in order to solve the above problems, and a general operator can easily determine the shooting position and direction, and further manages the stereo imaged digital image data in a database, It is an object of the present invention to provide a photography management method that allows an operator to efficiently manage the image data.
[0005]
[Means for Solving the Problems]
In the photography management method according to
[0006]
The photography management method according to
[0007]
The photography management method according to claim 3 of the present invention enables the three-dimensional simulation image data to be replaced with actual image data after the actual photography is performed, and further, the actual image data is obtained from the photographing position and the photographing. It is characterized in that it is registered and stored in a database together with shooting point information such as direction and measurement information such as orientation point data.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a
In this embodiment, a personal computer having a CAD function is used as the control means 5 and a keyboard and a scanner are used as the input means 3. The actual image data DP photographed by the digital camera is directly input to the
[0009]
Next, a method for managing the shooting plan at the construction site by the photo
[0010]
Next, the operator inputs the camera model and lens focal length used for shooting to the shooting management means 4, and then on the background image data, as shown in FIG. 3, the shooting position (marked with □ in the figure). And the shooting direction (arrow in the figure) are set. Since the background image data has only been inputted with two-dimensional information, the rough terrain to be measured, for example, a pit, as shown in FIG. 4, using the three-dimensional CAD input function provided in the personal computer. enter the z-coordinate of the glue shoulders K 1 Yanori Ass K 2 in part to create a three-dimensional background image data. In addition, an auxiliary line L can be input to make the terrain screen easier to understand. Further, as shown in FIG. 4, by designating the control point device positions such as reference points and pass points as indicated by the black symbols Δ, the placement plan of the control point devices can be simultaneously performed on the background image data. it can. In the background image data in which the shooting position, shooting direction, orientation point device position, and the like as shown in FIG. 5A are set, when the operator selects a shooting position indicated by, for example, 012, A three-dimensional simulation image assuming an image taken from the
[0011]
FIG. 6 is an example of a display screen in which three-dimensional simulation images from the
Further, the above three-dimensional simulation image is output from the
[0012]
Thus, according to the present embodiment, a 3D simulation image of the shooting site can be created before taking a photo at the construction site, and a shooting plan can be made while referring to the 3D simulation image. Even an operator with little knowledge or experience of photogrammetry can perform appropriate stereo shooting. Further, the
[0013]
In the above example, the shooting plan at the stage where the actual image of the construction site is not registered in the
[0014]
【The invention's effect】
As described above, in the photography management method according to
[0015]
The photography management method according to
[0016]
According to a third aspect of the present invention, there is provided a photography management method that allows the three-dimensional simulation image data to be replaced with actual image data after actual photography has been performed. Since it is registered and stored in the database together with the measurement information such as the shooting point information and the control point data, it is possible to easily take over the photo shooting work even when the worker is changed.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a photography management apparatus according to an embodiment of the present invention.
FIG. 2 is a topographic map of a construction site according to the embodiment of the present invention.
FIG. 3 is a diagram showing a setting example of photographing points according to the embodiment of the present invention.
FIG. 4 is a diagram showing an arrangement example of a ground control point device according to an embodiment of the present invention.
FIG. 5 is a diagram showing an example of a three-dimensional simulation image for photographing according to an embodiment of the present invention.
FIG. 6 is a diagram showing a display example of a shooting point on a background image data and a three-dimensional simulation image according to the embodiment of the present invention.
FIG. 7 is a diagram showing an example of contour measurement data at a construction site where excavation according to the embodiment of the present invention has progressed.
FIG. 8 is a diagram showing a setting example of a photographing point and a control point device at a construction site where excavation according to an embodiment of the present invention has progressed.
[Explanation of symbols]
1
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05062097A JP3859794B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05062097A JP3859794B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10246632A JPH10246632A (en) | 1998-09-14 |
JP3859794B2 true JP3859794B2 (en) | 2006-12-20 |
Family
ID=12864033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05062097A Expired - Fee Related JP3859794B2 (en) | 1997-03-05 | 1997-03-05 | Photo shooting management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3859794B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4588369B2 (en) * | 2004-06-18 | 2010-12-01 | 株式会社トプコン | Imaging apparatus and imaging method |
JP4509744B2 (en) * | 2004-11-09 | 2010-07-21 | 博文 近津 | Surveying simulation apparatus and surveying simulation program |
JP4523833B2 (en) * | 2004-11-18 | 2010-08-11 | 株式会社パスコ | Photography planning support apparatus and program therefor |
JP5583371B2 (en) * | 2009-07-31 | 2014-09-03 | 大成建設株式会社 | Finished type accuracy confirmation system, 3D measuring machine arrangement planning device, 3D measuring machine arrangement planning program, and 3D measuring machine arrangement planning method |
US20220221857A1 (en) * | 2019-05-09 | 2022-07-14 | Sony Group Corporation | Information processing apparatus, information processing method, program, and information processing system |
JP7511147B2 (en) * | 2019-08-28 | 2024-07-05 | パナソニックIpマネジメント株式会社 | Imaging parameter output method and imaging parameter output device |
-
1997
- 1997-03-05 JP JP05062097A patent/JP3859794B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10246632A (en) | 1998-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3777067B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
EP0726543B1 (en) | Image processing method and apparatus therefor | |
KR101938401B1 (en) | Digital drawing modification system for drawing a partial of updating region | |
JP2002206925A (en) | Detector and method for detecting variation, storage medium stored with program concerned in the method, and system | |
CN111006646A (en) | Method for monitoring construction progress based on unmanned aerial vehicle oblique photography measurement technology | |
JP3618649B2 (en) | An extended image matching method between images using an indefinite window | |
JP4152698B2 (en) | 3D building model data generator | |
JP3859794B2 (en) | Photo shooting management method | |
JP4208980B2 (en) | Photo shooting management method | |
KR100924008B1 (en) | Digital drawing based Aerial Photograph Enhancement Method | |
JP2005310044A (en) | Apparatus, method and program for data processing | |
JPH06348815A (en) | Method for setting three-dimensional model of building aspect in cg system | |
JP2004302756A (en) | Cad working drawing checking method and its device | |
JP2005140550A (en) | Three dimensional model preparation method | |
JP3766578B2 (en) | Photogrammetry image processing apparatus and photogrammetry method using the photogrammetry image processing apparatus | |
JP4550081B2 (en) | Image measurement method | |
JPH11351865A (en) | Method and equipment for, image instrumentation processing, and record medium recording image instrumentation processing program | |
CN113763561B (en) | POI data generation method and device, storage medium and electronic equipment | |
JP4359939B2 (en) | Image measuring device | |
JP3789396B2 (en) | Three-dimensional modeling method and three-dimensional modeling program for ground-set type objects such as wave-dissipating blocks, and computer-readable recording medium recording the program | |
JP4470292B2 (en) | How to determine the photography position for photo measurement | |
JP3777066B2 (en) | Photogrammetry image processing apparatus, photogrammetry image processing method, and storage medium storing photogrammetry image processing program | |
JP3808159B2 (en) | Photo shooting management method | |
JP2004325072A (en) | Photogrammetry and photogrammetric program | |
JPH10246629A (en) | Photographing control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060920 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |