Nothing Special   »   [go: up one dir, main page]

JP2020098101A - Structure soundness evaluation apparatus - Google Patents

Structure soundness evaluation apparatus Download PDF

Info

Publication number
JP2020098101A
JP2020098101A JP2018235103A JP2018235103A JP2020098101A JP 2020098101 A JP2020098101 A JP 2020098101A JP 2018235103 A JP2018235103 A JP 2018235103A JP 2018235103 A JP2018235103 A JP 2018235103A JP 2020098101 A JP2020098101 A JP 2020098101A
Authority
JP
Japan
Prior art keywords
soundness evaluation
soundness
displacement
unit
displacement measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018235103A
Other languages
Japanese (ja)
Other versions
JP6770052B2 (en
Inventor
武志 仲沢
Takeshi Nakazawa
武志 仲沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujita Corp
Original Assignee
Fujita Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujita Corp filed Critical Fujita Corp
Priority to JP2018235103A priority Critical patent/JP6770052B2/en
Publication of JP2020098101A publication Critical patent/JP2020098101A/en
Application granted granted Critical
Publication of JP6770052B2 publication Critical patent/JP6770052B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

To easily evaluate soundness of structures while suppressing cost.SOLUTION: A structure soundness evaluation apparatus 1 is provided with an image pickup unit 10 for generating a picked-up image of a displacement measurement marker 120 installed in a structure 110 and a soundness evaluation unit 20 that evaluates soundness of the structure 110. The soundness evaluation unit 20 measures a position of the displacement measurement marker 120 from the picked-up image, generates structural displacement information that correlates imaging time points and the positions each other from a plurality of picked-up images with different imaging time points and to evaluate the soundness of the structure 110 based on the structure displacement information.SELECTED DRAWING: Figure 1

Description

本発明は、構造物健全度評価装置に関する。 The present invention relates to a structure soundness evaluation device.

道路橋や鉄道橋等の構造物に対しては、劣化状況を把握するために健全度評価が実施されている。 For structures such as road bridges and railway bridges, soundness assessment is performed to understand the deterioration status.

例えば、特許文献1には、加速度センサを用いて健全度を評価する建物診断モニタリングシステムが開示されている。具体的に述べると、記録部は、建物内で複数の加速度センサからの検出データを受け取って分析し、各階の震度と、CPU内に有する診断アルゴリズムに基づいて建物の被災評価を演算する。 For example, Patent Document 1 discloses a building diagnostic monitoring system that evaluates soundness using an acceleration sensor. Specifically, the recording unit receives and analyzes the detection data from the plurality of acceleration sensors in the building, and calculates the damage evaluation of the building based on the seismic intensity of each floor and the diagnostic algorithm included in the CPU.

一方、特許文献2には、構造物の変位等を検出して健全度を評価する構造物変位モニタリングシステムが開示されている。具体的に述べると、撮像手段は、構造物の部材に固定された1又は複数の標識等を含む領域を撮影し、撮影した画像を取得する。画像解析手段は、撮像手段により取得された画像に対する画像解析処理を行い、画像中に含まれる標識の位置及び形状を求める。変形量計測手段は、画像解析手段により求められた標識等の位置及び形状に基づいて部材等の変形量を計測する。 On the other hand, Patent Document 2 discloses a structure displacement monitoring system that detects displacement of a structure and evaluates soundness. More specifically, the image capturing means captures an image of a region fixed to a member of the structure and including one or more markers, and acquires the captured image. The image analysis means performs image analysis processing on the image acquired by the imaging means, and obtains the position and shape of the marker included in the image. The deformation amount measuring unit measures the deformation amount of the member or the like based on the position and shape of the sign or the like obtained by the image analysis unit.

特開2013−254239号公報JP, 2013-254239, A 特開2017−90281号公報JP, 2017-90281, A

しかしながら、特許文献1のように、加速度センサを用いた場合、加速度センサの費用が必要になるとともに、データ通信ケーブルの引き回しが煩雑となる。一方、特許文献2では、層間変位により構造物の健全性が評価されるが、多点計測が前提となっており、健全性評価を容易に実施することは困難である。 However, when the acceleration sensor is used as in Patent Document 1, the cost of the acceleration sensor is required, and the routing of the data communication cable becomes complicated. On the other hand, in Patent Document 2, the soundness of the structure is evaluated by the interlayer displacement, but it is premised on the multipoint measurement, and it is difficult to easily carry out the soundness evaluation.

そこで、本発明は、コストを抑えつつ構造物の健全度を容易に評価することを目的とする。 Therefore, an object of the present invention is to easily evaluate the soundness of a structure while suppressing the cost.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 The following is a brief description of the outline of the typical inventions among the inventions disclosed in the present application.

本発明の代表的な実施の形態による構造物健全度評価装置は、構造物に設置された変位計測マーカーの撮像画像を生成する撮像部と、構造物の健全度を評価する健全度評価部と、を備えている。健全度評価部は、撮像画像から変位計測マーカーの位置を計測し、撮像時刻が異なる複数の撮像画像から、撮像時刻と位置とを対応させた構造物変位情報を生成し、構造物変位情報に基づき構造物の健全度を評価する。 A structure soundness evaluation apparatus according to a representative embodiment of the present invention includes an imaging unit that generates a picked-up image of a displacement measurement marker installed on a structure, and a soundness evaluation unit that evaluates the soundness of the structure. , Are provided. The soundness evaluation unit measures the position of the displacement measurement marker from the captured image, generates the structural displacement information in which the captured time and the position are associated with each other from the plurality of captured images with different capturing times, and outputs the structural displacement information. Based on this, the soundness of the structure is evaluated.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明の代表的な実施の形態によれば、コストを抑えつつ構造物の健全度を容易に評価することが可能となる。 The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows. According to the representative embodiment of the present invention, it is possible to easily evaluate the soundness of the structure while suppressing the cost.

本発明の実施の形態1に係る構造物健全度評価装置の一例を示す図である。It is a figure which shows an example of the structure soundness evaluation apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る変位計測方法の一例を示すフローチャート図である。It is a flowchart figure which shows an example of the displacement measuring method which concerns on Embodiment 1 of this invention. 変位計測マーカーの具体例を説明する図である。It is a figure explaining the specific example of a displacement measurement marker. 数学的処理の具体例を説明する図である。It is a figure explaining the specific example of mathematical processing. 比較例における変位の計測結果の具体例を説明する図である。It is a figure explaining the specific example of the measurement result of the displacement in a comparative example.

(実施の形態1)
以下、本発明の実施の形態について、図面を参照しつつ説明する。なお、開示はあくまでも一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。
(Embodiment 1)
Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the disclosure is merely an example, and a person having ordinary skill in the art can easily think of appropriate modifications while keeping the gist of the invention, and are naturally included in the scope of the invention. Further, in order to make the description clearer, the drawings may schematically show the width, thickness, shape, etc. of each part as compared with the actual mode, but this is merely an example, and the interpretation of the present invention will be understood. It is not limited.

また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。 In the specification and the drawings, the same elements as those described above with reference to the already-existing drawings are designated by the same reference numerals, and detailed description thereof may be appropriately omitted.

<構造物健全度評価装置の構成>
本実施の形態1に係る構造物健全度評価装置は、撮像画像から変位計測マーカーの位置を計測し、撮像時刻と変位計測マーカーの位置とを対応させた構造物変位情報に基づき構造物の健全度を評価する装置である。
<Structure of structure soundness evaluation device>
The structure soundness evaluation apparatus according to the first embodiment measures the position of the displacement measurement marker from the captured image, and based on the structure displacement information that associates the imaging time with the position of the displacement measurement marker, the soundness of the structure It is a device to evaluate the degree.

〈撮像部10〉
図1は、本発明の実施の形態1に係る構造物健全度評価装置の一例を示す図である。図1に示すように、構造物健全度評価装置1は、撮像部10及び健全度評価部20を備えている。撮像部10は、構造物110に設置された変位計測マーカー120を含む撮像領域100を撮像し、撮像画像を生成する機能ブロックである。撮像部10は、レンズ11、イメージセンサ12、演算部13、データ格納部14、通信インタフェース15を備えている。例えば、イメージセンサ12、演算部13、データ格納部14、通信インタフェース15等は、内部バスに接続されてもよいし、個別の配線により互いに接続されてもよい。撮像部10は、撮像領域100にレンズ11が向けられるよう、所定箇所に固定される。
<Imaging unit 10>
FIG. 1 is a diagram showing an example of a structure soundness evaluation apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the structure soundness evaluation device 1 includes an imaging unit 10 and a soundness evaluation unit 20. The imaging unit 10 is a functional block that images the imaging region 100 including the displacement measurement marker 120 installed on the structure 110 and generates a captured image. The image pickup unit 10 includes a lens 11, an image sensor 12, a calculation unit 13, a data storage unit 14, and a communication interface 15. For example, the image sensor 12, the calculation unit 13, the data storage unit 14, the communication interface 15, and the like may be connected to the internal bus or may be connected to each other by individual wiring. The imaging unit 10 is fixed at a predetermined position so that the lens 11 is directed to the imaging region 100.

レンズ11は、変位計測領域A1方向から届いた光をイメージセンサ12へ集光させる。イメージセンサ12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)素子がアレイ状に配置されたCMOSイメージセンサや、CCD(Charge Coupled Device)素子がアレイ状に配置されたCCDイメージセンサ等で構成される。イメージセンサ12の各素子は、レンズ11で集光された光の光量に応じた電気信号を生成する。イメージセンサ12は、各素子で生成された電気信号を演算部13へ出力する。 The lens 11 focuses the light, which has arrived from the displacement measurement area A1 direction, on the image sensor 12. The image sensor 12 includes, for example, a CMOS image sensor in which CMOS (Complementary Metal Oxide Semiconductor) elements are arranged in an array, a CCD image sensor in which CCD (Charge Coupled Device) elements are arranged in an array, and the like. Each element of the image sensor 12 generates an electric signal according to the amount of light condensed by the lens 11. The image sensor 12 outputs the electric signal generated by each element to the arithmetic unit 13.

演算部13は、イメージセンサ12で生成された電気信号に基づき撮像画像データのファイルを生成する。なお、撮像画像データのファイルには、撮像時刻の情報が付加されてもよい。演算部13は、撮像画像に撮像時刻を合成した画像に基づく撮像画像データを生成してもよい。また、演算部13は、撮像部10の各部の動作を制御する。 The calculation unit 13 generates a file of captured image data based on the electric signal generated by the image sensor 12. Information on the image capturing time may be added to the file of the captured image data. The calculation unit 13 may generate captured image data based on an image obtained by combining the captured image with the capturing time. The arithmetic unit 13 also controls the operation of each unit of the imaging unit 10.

演算部13は、例えばマイコン13a及びRAM(Random Access Memory)13bを備えている。RAM13bには、例えば、データ格納部14から読み出されたプログラムが展開され、展開されたプログラムがマイコン13aで実行されることにより、撮像画像データの生成機能が実現され、撮像部10の各部が制御される。 The arithmetic unit 13 includes, for example, a microcomputer 13a and a RAM (Random Access Memory) 13b. In the RAM 13b, for example, the program read from the data storage unit 14 is expanded, and the expanded program is executed by the microcomputer 13a, whereby a function of generating captured image data is realized, and each unit of the image capturing unit 10 is realized. Controlled.

データ格納部14は、データ格納部14は、例えばフラッシュメモリ等の不揮発性メモリを備え、演算部13で生成された撮像画像データ、変位計測マーカー120までの距離情報、プログラム、各種設定情報等を格納する。なお、撮像画像データや距離情報は、後述する健全度評価部20のデータ格納部23に格納されてもよい。 The data storage unit 14 includes a non-volatile memory such as a flash memory, and stores the captured image data generated by the calculation unit 13, distance information to the displacement measurement marker 120, programs, various setting information, and the like. Store. The captured image data and the distance information may be stored in the data storage unit 23 of the soundness evaluation unit 20 described later.

通信インタフェース15は、健全度評価部20の通信インタフェース21との間でデータの送受信を行う。撮像部10から、通信インタフェース15,21を介して、撮像画像データや健全度評価部20への制御信号等のデータが送信される。一方、健全度評価部20から、通信インタフェース21,15を介して、撮像部10へ制御信号等のデータが送信される。通信インタフェース15及び通信インタフェース21は、有線で接続されてもよいし、無線で接続されてもよい。また、通信インタフェース15及び通信インタフェース21は、内部ネットワーク、インターネット等の外部ネットワークを介してデータの送受信を行ってもよい。 The communication interface 15 transmits and receives data to and from the communication interface 21 of the soundness evaluation unit 20. Data such as captured image data and control signals to the soundness evaluation unit 20 are transmitted from the imaging unit 10 via the communication interfaces 15 and 21. On the other hand, data such as a control signal is transmitted from the soundness evaluation unit 20 to the imaging unit 10 via the communication interfaces 21 and 15. The communication interface 15 and the communication interface 21 may be connected by wire or wirelessly. Further, the communication interface 15 and the communication interface 21 may send and receive data via an internal network or an external network such as the Internet.

〈健全度評価部20〉
健全度評価部20は、撮像部10で生成された撮像画像データに基づき、変位計測マーカーの変位を計測し、変位計測領域すなわち地盤や構造物等の変位を計測する機能ブロックである。健全度評価部20は、図1に示すように、通信インタフェース21、演算部22、データ格納部23を備えている。これらは、内部バスに接続されてもよいし、個別の配線により互いに接続されてもよい。
<Soundness evaluation unit 20>
The soundness evaluation unit 20 is a functional block that measures the displacement of the displacement measurement marker based on the captured image data generated by the imaging unit 10 to measure the displacement measurement region, that is, the displacement of the ground, structures, and the like. As shown in FIG. 1, the soundness evaluation unit 20 includes a communication interface 21, a calculation unit 22, and a data storage unit 23. These may be connected to the internal bus or may be connected to each other by individual wiring.

演算部22は、撮像画像データに対する画像処理や構造物の健全度評価等の処理を行う機能ブロックである。演算部22は、例えばマイコン22a及びRAM22bを備えている。RAM22bには、例えばデータ格納部23から読み出されたプログラムが展開され、展開されたプログラムがマイコン22aで実行されることにより、画像処理や健全度評価等の処理、健全度評価部20を構成する各部の制御が実行される。なお、健全度評価に係る処理については、後で詳しく説明する。 The calculation unit 22 is a functional block that performs image processing on the captured image data and processing such as soundness evaluation of the structure. The arithmetic unit 22 includes, for example, a microcomputer 22a and a RAM 22b. In the RAM 22b, for example, a program read from the data storage unit 23 is expanded, and the expanded program is executed by the microcomputer 22a, thereby configuring image processing, processing such as soundness evaluation, and the soundness evaluation unit 20. The control of each unit is performed. The process related to the soundness evaluation will be described later in detail.

データ格納部23は、例えばフラッシュメモリ等の不揮発性メモリを備え、演算部22における撮像画像から計測した変位計測マーカーの位置、撮像画像ごとの撮像時刻、健全度評価結果、プログラム、各種設定情報等の各データを格納する。また、データ格納部23は、撮像部10から送信された撮像画像データを格納してもよい。 The data storage unit 23 includes, for example, a non-volatile memory such as a flash memory, the position of the displacement measurement marker measured from the captured image in the arithmetic unit 22, the captured time of each captured image, the soundness evaluation result, the program, various setting information, etc. Store each data of. Further, the data storage unit 23 may store the captured image data transmitted from the image capturing unit 10.

図1では、撮像部10及び健全度評価部20が別体で構成されているが、これらが一体で構成されてもよい。この場合、例えば、演算部13,22が統合されてもよいし、データ格納部14,23が統合されてもよい。また、この場合には、通信インタフェース15,21は省略されてもよい。また、撮像部10として例えばデジタルスチールカメラやデジタルビデオカメラ等のデジタル機器が用いられてもよい。また、健全度評価部20として、例えばパソコンやタブレット端末等の情報処理装置が用いられてもよい。 Although the imaging unit 10 and the soundness evaluation unit 20 are separately configured in FIG. 1, they may be integrally configured. In this case, for example, the arithmetic units 13 and 22 may be integrated, and the data storage units 14 and 23 may be integrated. Further, in this case, the communication interfaces 15 and 21 may be omitted. Further, as the image pickup unit 10, for example, a digital device such as a digital still camera or a digital video camera may be used. Further, as the soundness evaluation unit 20, for example, an information processing device such as a personal computer or a tablet terminal may be used.

<健全度評価方法>
次に、図1の構造物健全度評価装置を用いた構造物の健全度評価方法について説明する。図2は、本発明の実施の形態1に係る健全度評価方法の一例を示すフローチャート図である。図2(a)は、撮像時刻と変位得計測マーカーの位置とを対応させた構造物変位情報の生成に関わるフローチャートである。図2(b)は、構造物の健全度評価に関わるフローチャートである。
<Soundness evaluation method>
Next, a structure soundness evaluation method using the structure soundness evaluation device of FIG. 1 will be described. FIG. 2 is a flowchart showing an example of the soundness evaluation method according to the first embodiment of the present invention. FIG. 2A is a flowchart relating to generation of structure displacement information in which the imaging time and the position of the displacement acquisition measurement marker are associated with each other. FIG. 2B is a flowchart related to the soundness evaluation of the structure.

〈構造物変位情報の生成〉
構造物変位情報の生成には、図2(a)に示すステップS11〜S14の処理が実行される。なお、ステップS11の処理に先立ち、撮像部10の設置やレンズ11の位置決め等が行われているものとする。ステップS11では、撮像部10が、変位計測マーカー120を含む撮像領域100を撮像し、位置計測用の撮像画像データを生成する。撮像部10は、生成した撮像画像データを健全度評価部20へ送信する。撮像画像データは、健全度評価部20のデータ格納部23や、撮像部10のデータ格納部14に格納される。また、撮像画像データは、図示しない外部のストレージ等に格納されてもよい。
<Generation of structural displacement information>
To generate the structure displacement information, the processes of steps S11 to S14 shown in FIG. 2A are executed. It is assumed that the image pickup unit 10 is installed and the lens 11 is positioned prior to the process of step S11. In step S11, the image capturing unit 10 captures an image of the image capturing area 100 including the displacement measurement marker 120 and generates captured image data for position measurement. The imaging unit 10 transmits the generated captured image data to the soundness evaluation unit 20. The captured image data is stored in the data storage unit 23 of the soundness evaluation unit 20 or the data storage unit 14 of the imaging unit 10. Further, the captured image data may be stored in an external storage or the like not shown.

ステップS12では、演算部22は、撮像画像データに対する画像処理を行い、構造物110に設けられた変位計測マーカー120を抽出する。そして、演算部22は、抽出した変位計測マーカー120の位置を計測する。 In step S12, the calculation unit 22 performs image processing on the captured image data and extracts the displacement measurement marker 120 provided on the structure 110. Then, the calculation unit 22 measures the position of the extracted displacement measurement marker 120.

図3は、変位計測マーカーの具体例を説明する図である。図3を参照して具体的に述べると、1回目の位置計測において、演算部22は、撮像画像から、例えば図3の変位計測マーカー120を抽出する。変位計測マーカー120の抽出には、周知の画像処理が実行される。なお、変位計測マーカー120の形状・模様等は、これに限定されるものではない。 FIG. 3 is a diagram illustrating a specific example of the displacement measurement marker. Specifically, referring to FIG. 3, in the first position measurement, the calculation unit 22 extracts, for example, the displacement measurement marker 120 of FIG. 3 from the captured image. Well-known image processing is performed to extract the displacement measurement marker 120. The shape and pattern of the displacement measurement marker 120 are not limited to this.

そして、演算部22は、変位計測マーカー120の任意の箇所に変位計測点121を設定し、撮像領域100における変位計測点121の位置を変位計測マーカー120の位置として計測する。ここで計測される変位計測マーカー120の位置は、ピクセル単位で得られる値である。なお、図3には、変位計測マーカー120右下部の所定位置に変位計測点121が設定された例が示されているが、これ以外の場所に変位計測点121が設定されてもよい。演算部22は、計測した変位計測マーカー120の位置を、撮像時刻と対応付けてRAM22bに保持するか、データ格納部23へ格納する。 Then, the calculation unit 22 sets a displacement measurement point 121 at an arbitrary position of the displacement measurement marker 120, and measures the position of the displacement measurement point 121 in the imaging region 100 as the position of the displacement measurement marker 120. The position of the displacement measurement marker 120 measured here is a value obtained in pixel units. Note that FIG. 3 shows an example in which the displacement measurement point 121 is set at a predetermined position on the lower right of the displacement measurement marker 120, but the displacement measurement point 121 may be set at a place other than this. The calculation unit 22 stores the measured position of the displacement measurement marker 120 in the RAM 22b in association with the imaging time or stores it in the data storage unit 23.

ステップS13では、演算部22は、撮像時刻と変位計測マーカー120の位置とを対応させた構造物変位情報を生成する。演算部22は、RAM22bに保持している、あるいはデータ格納部23に格納された変位計測点121の位置及び対応する撮像時刻を読み出し、例えば、撮像時刻と変位計測点121の位置とを対応させたテーブルを構造物変位情報として生成する。このとき、演算部22は、複数方向(例えば垂直方向及び水平方向)のそれぞれに対応する構造物変位情報を生成してもよい。また、演算部22は、これら以外の方向の構造物変位情報を生成してもよい。演算部22は、生成した構造物変位情報をRAM22bに保持してもよいし、データ格納部23に格納してもよい。 In step S13, the calculation unit 22 generates structure displacement information in which the imaging time and the position of the displacement measurement marker 120 are associated with each other. The calculation unit 22 reads the position of the displacement measurement point 121 and the corresponding imaging time stored in the RAM 22b or stored in the data storage unit 23, and, for example, associates the imaging time with the position of the displacement measurement point 121. The generated table is generated as structure displacement information. At this time, the calculation unit 22 may generate structure displacement information corresponding to each of a plurality of directions (for example, the vertical direction and the horizontal direction). Moreover, the calculation unit 22 may generate structure displacement information in directions other than these directions. The calculation unit 22 may store the generated structure displacement information in the RAM 22b or may store it in the data storage unit 23.

ステップS14では、変位計測マーカー120の撮像を継続して行うかどうかが判断される。構造物健全度評価装置1は、異なるタイミングで変位計測マーカー120を複数回撮像することにより、変位計測点121の位置の変化を時系列で計測し、構造物変位情報を生成する。例えば、撮像部10又は健全度評価部20は、変位計測マーカー120の撮像回数をカウントし、撮像回数Nが所定撮像回数N1に達したかどうかを判定する。撮像回数が所定撮像回数に達していない場合(No)、ステップS11〜S13の処理が再度実行される。 In step S14, it is determined whether the displacement measurement marker 120 is continuously imaged. The structure soundness evaluation apparatus 1 measures the change in the position of the displacement measurement point 121 in time series by imaging the displacement measurement marker 120 multiple times at different timings, and generates structure displacement information. For example, the imaging unit 10 or the soundness evaluation unit 20 counts the number of times the displacement measurement marker 120 is imaged, and determines whether the number of times N of imaging has reached a predetermined number of times of imaging N1. When the number of times of imaging has not reached the predetermined number of times of imaging (No), the processes of steps S11 to S13 are executed again.

2回目以降のステップS12では、演算部22は、変位計測マーカー120及び1回目のステップS11において設定された変位計測点121を抽出し、各回の撮像画像における変位計測点121の位置を計測する。なお、演算部22は、位置計測を行う度に変位計測点121の位置及び対応する撮像時刻をデータ格納部23へ格納してもよいし、複数回分の変位計測点121の位置及び対応する撮像時刻を、纏めてデータ格納部23へ格納してもよい。 In step S12 after the second time, the calculation unit 22 extracts the displacement measurement marker 120 and the displacement measurement point 121 set in step S11 of the first time, and measures the position of the displacement measurement point 121 in each captured image. Note that the calculation unit 22 may store the position of the displacement measurement point 121 and the corresponding imaging time in the data storage unit 23 each time the position measurement is performed, or the position of the displacement measurement point 121 for a plurality of times and the corresponding imaging time. The time may be collectively stored in the data storage unit 23.

2回目以降のステップS13では、例えば、演算部22は、前回のステップS13において生成した構造物変位情報をRAM22b又はデータ格納部23から読み出し、今回計測した変位計測点121の位置及び対応する撮像時刻を追加して構造物変位情報を更新する。 In the second and subsequent steps S13, for example, the calculation unit 22 reads the structure displacement information generated in the previous step S13 from the RAM 22b or the data storage unit 23, and measures the position of the displacement measurement point 121 measured this time and the corresponding imaging time. Is added to update the structure displacement information.

なお、演算部22は、最終回の直前まで構造物変位情報の生成を行わず、最終回において、最終回までに計測したすべての変位計測点121の位置及び撮像時刻を用いて構造物変位情報を生成してもよい。この場合、最終回の直前までステップS13における処理は行われず、最終回のみステップS13の処理が行われることとなる。 Note that the calculation unit 22 does not generate the structure displacement information until immediately before the final round, and in the final round, the structure displacement information is calculated using the positions and the imaging times of all the displacement measurement points 121 measured by the final round. May be generated. In this case, the process in step S13 is not performed until immediately before the final round, and the process in step S13 is performed only in the final round.

撮像回数が所定撮像回数に達した場合(Yes)、構造物変位情報の生成等に関わる一連の処理が完了する。 When the number of times of imaging reaches the predetermined number of times of imaging (Yes), a series of processes related to generation of structure displacement information and the like are completed.

なお、ここでは、ステップS12において、撮像画像が生成されるごとに変位計測点121の位置計測が行われる場合について説明したが、すべての撮像が完了してから、すなわち、撮像回数が所定撮像回数に達してから、すべての撮像画像に対し変位計測点の位置計測を行ってもよい。 Note that here, the case where the position measurement of the displacement measurement point 121 is performed every time a captured image is generated in step S12 has been described. However, after all imaging is completed, that is, the number of times of imaging is the predetermined number of times of imaging. After reaching, the position measurement of the displacement measurement point may be performed on all the captured images.

〈構造物の健全度評価〉
次に、構造物変位情報に基づく構造物の健全度評価について説明する。健全度評価では、例えば、図2(b)に示すステップS21〜S22の処理が実行される。
<Evaluation of soundness of structure>
Next, the soundness evaluation of the structure based on the structure displacement information will be described. In the soundness evaluation, for example, the processing of steps S21 to S22 shown in FIG. 2B is executed.

ステップS21では、ステップS13で生成された構造物変位情報に対し数学的処理を行う。演算部22は、例えば、構造物変位情報に対しフーリエ変換を行い、振幅と周波数とを対応させた構造物振幅情報を生成する。 In step S21, mathematical processing is performed on the structure displacement information generated in step S13. The calculation unit 22 performs, for example, Fourier transform on the structure displacement information to generate structure amplitude information in which the amplitude and the frequency are associated with each other.

図4は、数学的処理の具体例を説明する図である。図4は、変位計測マーカーの垂直方向における計測結果を示している。図4(a)は、フーリエ変換前の構造物変位情報をグラフ化した図である。図4(a)の横軸は撮像時刻、縦軸は位置である。なお、図4(a)では、撮像を開始してからの経過時間が撮像時刻として示されている。また、図4(a)では、変位計測マーカーの位置は、基準位置からの変位として示されている。言い換えれば、図4(a)の縦軸は、計測された位置と基準位置との差分を示している。図4(b)は、フーリエ変換後の構造物振幅情報をグラフ化した図である。図4(b)の横軸は周波数、縦軸は振幅である。 FIG. 4 is a diagram illustrating a specific example of mathematical processing. FIG. 4 shows the measurement result in the vertical direction of the displacement measurement marker. FIG. 4A is a diagram in which the structure displacement information before Fourier transform is graphed. In FIG. 4A, the horizontal axis represents the image capturing time and the vertical axis represents the position. In FIG. 4A, the elapsed time from the start of image capturing is shown as the image capturing time. Further, in FIG. 4A, the position of the displacement measurement marker is shown as the displacement from the reference position. In other words, the vertical axis of FIG. 4A shows the difference between the measured position and the reference position. FIG. 4B is a graph of the structure amplitude information after the Fourier transform. In FIG. 4B, the horizontal axis represents frequency and the vertical axis represents amplitude.

図4(a)に示す構造物変位情報によれば、時刻T1,T2付近で変位のピークが検出されている。一方、図4(b)に示す構造物振幅情報によれば、周波数F1付近で振幅のピークが検出されている。すなわち、変位計測マーカー120は、F1程度の周波数で振動していることが分かる。変位計測マーカー120が振動する時の周波数は、構造物によってそれぞれ異なる。 According to the structure displacement information shown in FIG. 4A, the displacement peak is detected near the times T1 and T2. On the other hand, according to the structure amplitude information shown in FIG. 4B, the peak of the amplitude is detected near the frequency F1. That is, it can be seen that the displacement measurement marker 120 vibrates at a frequency of about F1. The frequency when the displacement measurement marker 120 vibrates differs depending on the structure.

ここでは、数学的処理としてフーリエ変換を用いる場合を例示したが、これ以外にも、ラプラス変換等の処理が数学的処理に用いられてもよい。また、演算部22は、使用目的に応じて、同一の構造物変位情報に対し異なる数学的処理を行ってもよい。 Here, the case where the Fourier transform is used as the mathematical process has been illustrated, but other than this, a process such as Laplace transform may be used for the mathematical process. In addition, the calculation unit 22 may perform different mathematical processes on the same structure displacement information depending on the purpose of use.

また、ステップS13において複数方向のそれぞれに対応する構造物変位情報が生成されている場合、演算部22は、すべての構造物変位情報に対し数学的処理を行ってもよいし、一部の構造物変位情報のみに対し数学的処理を行ってもよい。 Further, when the structure displacement information corresponding to each of the plurality of directions is generated in step S13, the calculation unit 22 may perform mathematical processing on all the structure displacement information, or a part of the structure displacement information. Mathematical processing may be performed only on the object displacement information.

ステップS22では、ステップS21で生成された構造物振幅情報に基づき構造物の健全度が評価される。演算部22は、例えば、構造物振幅情報から振幅の半値幅を算出し、算出した半値幅(以下、算出半値幅と呼ぶ)と、所定の半値幅閾値とを比較することにより健全度を評価する。具体的に述べると、算出半値幅が半値幅閾値以下であれば、演算部22は、評価対象の構造物の健全度に問題はないものと評価する。一方、算出半値幅が半値幅閾値より大きければ、演算部22は、評価対象の構造物の健全度に問題があるものと評価する。 In step S22, the soundness of the structure is evaluated based on the structure amplitude information generated in step S21. The calculation unit 22 evaluates the soundness by, for example, calculating the full width at half maximum of the amplitude from the structure amplitude information and comparing the calculated full width at half maximum (hereinafter, referred to as the calculated full width at half maximum) with a predetermined half width threshold. To do. Specifically, if the calculated full width at half maximum is less than or equal to the full width at half maximum threshold, the calculation unit 22 evaluates that there is no problem with the soundness of the structure to be evaluated. On the other hand, if the calculated full width at half maximum is larger than the full width half maximum threshold value, the calculation unit 22 evaluates that there is a problem with the soundness of the structure to be evaluated.

また、構造物振幅情報の振幅の大きさや、構造物変位情報の変位等に基づき構造物の健全度が評価されてもよい。また、構造物振幅情報による評価結果、及び構造物変位情報による評価結果を組み合わせて構造物の健全度が評価されてもよい。 Further, the soundness of the structure may be evaluated based on the amplitude of the structure amplitude information, the displacement of the structure displacement information, and the like. Further, the soundness of the structure may be evaluated by combining the evaluation result based on the structure amplitude information and the evaluation result based on the structure displacement information.

演算部22は、これらの評価結果を、例えば表示装置(図示は省略)に表示させることによりユーザーに通知してもよい。また、演算部22は、健全度に問題があると診断した場合、構造物健全度評価装置1から警報を出させるようにしてもよい。 The calculation unit 22 may notify the user of these evaluation results by displaying them on a display device (not shown), for example. Further, the arithmetic unit 22 may cause the structure soundness evaluation device 1 to issue an alarm when it is diagnosed that there is a problem in soundness.

[比較例]
ここで、比較例について説明する。比較例として、振動計を用いた場合の変位の計測結果について説明する。図5は、比較例における変位の計測結果の具体例を説明する図である。図5は、図4の場合と同一の構造物に対する変位計測結果である。図5(a)は、100Hzの周波数でサンプリングを行った場合の構造物の変位計測結果を示している。図5(b)は、図5(a)の変位計測結果に対しフーリエ変換を行った変換結果を示している。
[Comparative example]
Here, a comparative example will be described. As a comparative example, a displacement measurement result when a vibrometer is used will be described. FIG. 5 is a diagram illustrating a specific example of the displacement measurement result in the comparative example. FIG. 5 shows displacement measurement results for the same structure as in the case of FIG. FIG. 5A shows displacement measurement results of the structure when sampling is performed at a frequency of 100 Hz. FIG. 5B shows a conversion result obtained by performing a Fourier transform on the displacement measurement result of FIG.

図4(a)の構造物変位情報と、図5(a)の変位計測結果とを比較すると、撮像画像から計測した構造物変位情報は、振動計を用いた変位計測結果とほほ同じ結果となっている。したがって、図4(b)の構造物振幅情報も、図5(b)の変換結果とほぼ同じ結果となっている。ただし、図面上は図4及び図5は、ほぼ同様の結果となっているが、デジタル機器では、ピクセル単位で変位計測マーカーの位置を計測することができるので、本実施の形態に係る構造物健全度評価装置の計測精度は、比較例に係る振動計の計測精度より高い。 Comparing the structure displacement information of FIG. 4A and the displacement measurement result of FIG. 5A, the structure displacement information measured from the captured image is almost the same as the displacement measurement result using the vibrometer. ing. Therefore, the structure amplitude information of FIG. 4(b) has almost the same result as the conversion result of FIG. 5(b). However, although the results of FIGS. 4 and 5 are almost the same in the drawings, since the position of the displacement measurement marker can be measured in pixel units in a digital device, the structure according to the present embodiment can be obtained. The measurement accuracy of the soundness evaluation device is higher than the measurement accuracy of the vibrometer according to the comparative example.

<本実施の形態による効果>
本実施の形態によれば、演算部22は、複数の撮像画像から変位計測マーカー120のそれぞれの位置を計測し、撮像時刻と変位計測マーカー120の位置とを対応させた構造物変位情報を生成する。そして、演算部22は、構造物変位情報に基づき、評価対象の構造物の健全度を評価する。この構成によれば、健全度評価において、加速度センサや比較例で説明した振動計等の計測器を用いる必要がない。また、変位計測マーカー120の位置検出には、変位計測点121を1点のみ設定すればよいので、コストを抑えつつ構造物の健全度を容易に評価することが可能となる。また、構造物健全度評価装置の設置作業が効率化される。
<Effects of this embodiment>
According to the present embodiment, the calculation unit 22 measures each position of the displacement measurement marker 120 from the plurality of captured images, and generates the structure displacement information in which the imaging time and the position of the displacement measurement marker 120 are associated with each other. To do. Then, the calculation unit 22 evaluates the soundness of the structure to be evaluated based on the structure displacement information. According to this configuration, it is not necessary to use an acceleration sensor or a measuring instrument such as the vibrometer described in the comparative example in soundness evaluation. Further, since only one displacement measurement point 121 is required to detect the position of the displacement measurement marker 120, it is possible to easily evaluate the soundness of the structure while suppressing the cost. In addition, the installation work of the structure soundness evaluation device is made efficient.

また、本実施の形態によれば、演算部22は、複数方向(例えば垂直方向、水平方向)のそれぞれに対応する構造物変位情報を生成する。この構成によれば、複数方向から構造物の健全度を評価することができるので、より正確に健全度を評価することが可能となる。 Further, according to the present embodiment, the calculation unit 22 generates structure displacement information corresponding to each of a plurality of directions (for example, vertical direction and horizontal direction). According to this configuration, since the soundness of the structure can be evaluated from a plurality of directions, the soundness can be evaluated more accurately.

また、本実施の形態によれば、演算部22は、構造物変位情報に対し数学的処理を行い、構造物変位情報を所定の情報に変換する。たとえば、演算部22は、構造物変位情報に対しフーリエ変換を行い、周波数と振幅とを対応させた構造物振幅情報に変換する。この構成によれば、構造物変位情報から健全度評価に有用な情報を取得することができるので、構造物の健全度評価を効果的に行うことが可能となる。 Further, according to the present embodiment, the calculation unit 22 performs mathematical processing on the structure displacement information and converts the structure displacement information into predetermined information. For example, the calculation unit 22 performs a Fourier transform on the structure displacement information and converts the structure displacement information into structure amplitude information in which the frequency and the amplitude are associated with each other. According to this configuration, it is possible to acquire information useful for soundness evaluation from the structure displacement information, and thus it is possible to effectively perform soundness evaluation of the structure.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。 Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the spirit of the invention.

1…構造物健全度評価装置、10…撮像部、20…健全度評価部、100…撮像領域、110…構造物、120…変位計測マーカー、121…変位計測点 DESCRIPTION OF SYMBOLS 1... Structural soundness evaluation apparatus, 10... Imaging part, 20... Soundness evaluation part, 100... Imaging area, 110... Structure, 120... Displacement measurement marker, 121... Displacement measurement point

Claims (6)

構造物に設置された変位計測マーカーの撮像画像を生成する撮像部と、
前記構造物の健全度を評価する健全度評価部と、
を備え、
前記健全度評価部は、前記撮像画像から前記変位計測マーカーの位置を計測し、撮像時刻が異なる複数の前記撮像画像から、前記撮像時刻と前記位置とを対応させた構造物変位情報を生成し、前記構造物変位情報に基づき前記構造物の健全度を評価する、
構造物健全度評価装置。
An imaging unit that generates a captured image of the displacement measurement marker installed on the structure,
A soundness evaluation unit for evaluating the soundness of the structure,
Equipped with
The soundness evaluation unit measures the position of the displacement measurement marker from the captured image, and generates structure displacement information in which the captured time and the position are associated with each other, from the plurality of captured images having different captured times. , Evaluating the soundness of the structure based on the structure displacement information,
Structural soundness evaluation device.
請求項1に記載の構造物健全度評価装置において、
前記健全度評価部は、複数方向のそれぞれに対応する前記構造物変位情報を生成する、
構造物健全度評価装置。
In the structure soundness evaluation device according to claim 1,
The soundness evaluation unit generates the structure displacement information corresponding to each of a plurality of directions,
Structural soundness evaluation device.
請求項2に記載の構造物健全度評価装置において、
前記健全度評価部は、垂直方向及び水平方向の前記構造物変位情報をそれぞれ生成する、
構造物健全度評価装置。
The structure soundness evaluation device according to claim 2,
The soundness evaluation unit respectively generates the structural displacement information in the vertical direction and the horizontal direction,
Structural soundness evaluation device.
請求項1に記載の構造物健全度評価装置において、
前記健全度評価部は、前記構造物変位情報に対し数学的処理を行う、
構造物健全度評価装置。
In the structure soundness evaluation device according to claim 1,
The soundness evaluation unit performs mathematical processing on the structure displacement information,
Structural soundness evaluation device.
請求項4に記載の構造物健全度評価装置において、
前記数学的処理は、フーリエ変換である、
構造物健全度評価装置。
The structure soundness evaluation device according to claim 4,
The mathematical process is a Fourier transform,
Structural soundness evaluation device.
請求項5に記載の構造物健全度評価装置において、
前記健全度評価部は、前記構造物変位情報に対しフーリエ変換を行い、振幅と周波数とを対応させた構造物振幅情報を生成する、
構造物健全度評価装置。
The structure soundness evaluation device according to claim 5,
The soundness evaluation unit performs a Fourier transform on the structure displacement information to generate structure amplitude information in which amplitude and frequency are associated with each other,
Structural soundness evaluation device.
JP2018235103A 2018-12-17 2018-12-17 Structure soundness evaluation device Active JP6770052B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018235103A JP6770052B2 (en) 2018-12-17 2018-12-17 Structure soundness evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018235103A JP6770052B2 (en) 2018-12-17 2018-12-17 Structure soundness evaluation device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020161386A Division JP2020201292A (en) 2020-09-25 2020-09-25 Structure soundness evaluation apparatus

Publications (2)

Publication Number Publication Date
JP2020098101A true JP2020098101A (en) 2020-06-25
JP6770052B2 JP6770052B2 (en) 2020-10-14

Family

ID=71106497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235103A Active JP6770052B2 (en) 2018-12-17 2018-12-17 Structure soundness evaluation device

Country Status (1)

Country Link
JP (1) JP6770052B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (en) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk Minute displacement-measuring apparatus using moire fringe
JP2001215148A (en) * 2000-02-03 2001-08-10 Nkk Corp Diagnostic method for structure
JP2003106931A (en) * 2001-10-01 2003-04-09 Hokkaido Technology Licence Office Co Ltd Soundness degree diagnosis device
JP2005156448A (en) * 2003-11-27 2005-06-16 Terunori Maikuma Dynamic earthquake-proofness performance of building, and evaluation method of the earthquake-proofness performance after earthquake-proofness reinforcement
JP2012242363A (en) * 2011-05-24 2012-12-10 East Japan Railway Co Bridge pier soundness evaluation method using fine motion in strong wind
JP2015087135A (en) * 2013-10-29 2015-05-07 株式会社明電舎 Micro displacement measurement system
JP2015125128A (en) * 2013-12-27 2015-07-06 日本電気株式会社 Structure analyzer
JP2016084579A (en) * 2014-10-23 2016-05-19 国立研究開発法人産業技術総合研究所 Monitoring method and monitoring device for deflection amount distribution of structure
CN108225537A (en) * 2017-11-21 2018-06-29 华南农业大学 A kind of contactless small items vibration measurement method based on high-speed photography
JP2018141663A (en) * 2017-02-27 2018-09-13 日本電信電話株式会社 Condition measurement device, condition measurement system, and condition measurement method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (en) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk Minute displacement-measuring apparatus using moire fringe
JP2001215148A (en) * 2000-02-03 2001-08-10 Nkk Corp Diagnostic method for structure
JP2003106931A (en) * 2001-10-01 2003-04-09 Hokkaido Technology Licence Office Co Ltd Soundness degree diagnosis device
JP2005156448A (en) * 2003-11-27 2005-06-16 Terunori Maikuma Dynamic earthquake-proofness performance of building, and evaluation method of the earthquake-proofness performance after earthquake-proofness reinforcement
JP2012242363A (en) * 2011-05-24 2012-12-10 East Japan Railway Co Bridge pier soundness evaluation method using fine motion in strong wind
JP2015087135A (en) * 2013-10-29 2015-05-07 株式会社明電舎 Micro displacement measurement system
JP2015125128A (en) * 2013-12-27 2015-07-06 日本電気株式会社 Structure analyzer
JP2016084579A (en) * 2014-10-23 2016-05-19 国立研究開発法人産業技術総合研究所 Monitoring method and monitoring device for deflection amount distribution of structure
JP2018141663A (en) * 2017-02-27 2018-09-13 日本電信電話株式会社 Condition measurement device, condition measurement system, and condition measurement method
CN108225537A (en) * 2017-11-21 2018-06-29 华南农业大学 A kind of contactless small items vibration measurement method based on high-speed photography

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
前田 潤滋: "強風時での送電鉄塔応答変位の絶対値成分を計測する試み", 日本風工学会誌, vol. 第94号, JPN6020014232, 2003, JP, pages 29 - 36, ISSN: 0004295842 *

Also Published As

Publication number Publication date
JP6770052B2 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JP6863383B2 (en) Defect detectors, defect detection methods, and computer-readable recording media
WO2010084919A1 (en) Contact force measuring device and contact force measuring method
JP6364845B2 (en) Vibration measuring device
US9760808B2 (en) Image processing system, server device, image pickup device and image evaluation method
JP6381353B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
KR101063565B1 (en) System and method for measuring vibration using real-time image process
JPWO2020179188A1 (en) Displacement amount measuring device for structures
CN113358309B (en) Anti-shake test method and device, electronic equipment and medium
JP7009783B2 (en) Face monitoring system
JP2019011995A (en) Rigidity measuring device, rigidity measuring method, and program
JP6770052B2 (en) Structure soundness evaluation device
KR20090032653A (en) Apparatus for measuring vibration modal and method thereof
JP6856168B2 (en) Abnormal sound detection device and abnormal sound detection method
JP2020201292A (en) Structure soundness evaluation apparatus
JP2014154981A5 (en) Image processing apparatus, image processing method, imaging apparatus, and control method thereof
JP2020193820A5 (en)
JPWO2020183549A1 (en) Deflection measuring device for structures
JP6858742B2 (en) Displacement measuring device
KR102675182B1 (en) Vision based Hybrid Prognosis Health Monitoring System
JP7487737B2 (en) Management device, management method, management system, computer program, and recording medium
JPWO2018207528A1 (en) Structure abnormality diagnosis device
CN108363985B (en) Target object perception system testing method and device and computer readable storage medium
JPWO2020250543A5 (en)
JP2016142621A (en) Water leakage detector
JP7463907B2 (en) Noise source identification support system and noise source identification support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200924

R150 Certificate of patent or registration of utility model

Ref document number: 6770052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250