JP7089364B2 - Shooting system - Google Patents
Shooting system Download PDFInfo
- Publication number
- JP7089364B2 JP7089364B2 JP2017253253A JP2017253253A JP7089364B2 JP 7089364 B2 JP7089364 B2 JP 7089364B2 JP 2017253253 A JP2017253253 A JP 2017253253A JP 2017253253 A JP2017253253 A JP 2017253253A JP 7089364 B2 JP7089364 B2 JP 7089364B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- whole
- detected
- infrastructure equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 description 21
- 238000007689 inspection Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、対象物を撮影した画像に基づき対象物の検査を行う技術に関する。 The present invention relates to a technique for inspecting an object based on a photographed image of the object.
従来、鉄道、道路等のインフラ設備の検査は、検査員が移動しながら目視により行う場合が多く、多大な労力を要している。そこで、検査員の労力を軽減するため、自動車、列車等の移動体に搭載されたカメラにより継続的に撮影された画像を用いて、インフラ設備の検査を行う技術が提案されている。 Conventionally, inspecting infrastructure equipment such as railroads and roads is often performed visually while the inspector is moving, which requires a great deal of labor. Therefore, in order to reduce the labor of inspectors, a technique for inspecting infrastructure equipment has been proposed using images continuously taken by cameras mounted on moving objects such as automobiles and trains.
例えば特許文献1には、巡回車に搭載されたカメラにより撮影された道路周辺の映像に基づき、道路や周辺施設の異常を検出するシステムが提案されている。
For example,
移動体で移動しながら周辺の広い範囲に散在する様々なインフラ設備を撮影したい場合、広い画角で撮影を行う必要がある。そのような場合、検査対象のインフラ設備の各々は撮影された画像内において小さく写ることになり、詳細な検査を行うことができない。 If you want to shoot various infrastructure equipment scattered over a wide area around you while moving with a moving object, you need to shoot with a wide angle of view. In such a case, each of the infrastructure equipment to be inspected will appear small in the captured image, and detailed inspection cannot be performed.
本発明は、上記の事情に鑑み、広い範囲に散在する対象物を、それらの対象物を撮影した画像により検査可能とする手段を提供する。 In view of the above circumstances, the present invention provides a means for inspecting objects scattered in a wide range by means of images taken of those objects.
上述した課題を解決するために、本発明は、移動体に搭載され所定の画角の全範囲を撮影して全体画像を生成する全体撮影用カメラと、前記移動体に搭載され前記所定の画角の全範囲を分割した複数の範囲の各々に関し当該範囲を撮影して部分画像を生成する複数の部分撮影用カメラとを備え、同時期に撮影した全体画像と部分画像を対応付けたデータを生成する撮影システムを第1の態様として提供する。 In order to solve the above-mentioned problems, the present invention comprises a whole camera for photographing, which is mounted on a moving body and captures the entire range of a predetermined angle of view to generate an entire image, and a camera mounted on the moving body to capture the predetermined image. It is equipped with a plurality of cameras for partial photography that capture a partial image for each of a plurality of ranges obtained by dividing the entire range of the angle, and data in which the entire image and the partial image taken at the same time are associated with each other. The imaging system to be generated is provided as the first aspect.
第1の態様の撮影システムによれば、検査の対象物が広い範囲に散在している場合であっても、全体画像により対象物を検知し、部分画像により対象物の検査を行うことができる。また、第1の態様の撮影システムによれば、広い範囲を高画質で撮影可能な高性能なカメラを要することなく、対象物の検査を行うことができる。 According to the imaging system of the first aspect, even when the objects to be inspected are scattered over a wide range, the objects can be detected by the whole image and the objects can be inspected by the partial image. .. Further, according to the photographing system of the first aspect, it is possible to inspect an object without requiring a high-performance camera capable of photographing a wide range with high image quality.
第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像を削除する、という構成が第2の態様として採用されてもよい。 In the photographing system of the first aspect, the configuration of detecting an object from the whole image and deleting the partial image taken during the period when the object is not detected from the whole image is adopted as the second aspect. May be good.
第2の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫しない。 According to the imaging system of the second aspect, the partial image unnecessary for the inspection does not put pressure on the storage capacity.
第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像のデータ量を落とす、という構成が第3の態様として採用されてもよい。 In the photographing system of the first aspect, the configuration of detecting an object from the whole image and reducing the amount of data of the partial image taken during the period when the object is not detected from the whole image is adopted as the third aspect. May be done.
第3の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫する不都合が軽減される。 According to the imaging system of the third aspect, the inconvenience that the partial image unnecessary for the inspection presses the storage capacity is reduced.
第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物が検知された前記全体画像の撮影位置を移動体が通過するときにカメラにより前記部分画像を撮影する、という構成が第4の態様として採用されてもよい。 In the photographing system of the first aspect, the object is detected from the whole image, and the partial image is taken by the camera when the moving body passes the shooting position of the whole image in which the object is detected. The configuration may be adopted as the fourth aspect.
第4の態様の撮影システムによれば、検査に不要な部分画像の撮影を要さない。 According to the imaging system of the fourth aspect, it is not necessary to capture a partial image unnecessary for inspection.
第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物が検知されない前記全体画像の撮影位置を移動体が通過するときに、対象物が検知された前記全体画像の撮影位置を移動体が通過するときよりも少ないデータ量の前記部分画像を得る、という構成が第5の態様として採用されてもよい。 In the photographing system of the first aspect, when the moving body passes the photographing position of the whole image in which the object is detected from the whole image and the object is not detected, the object is detected in the whole image. A configuration in which the partial image having a smaller amount of data than when the moving object passes through the shooting position may be obtained may be adopted as the fifth aspect.
第5の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫する不都合が軽減される。 According to the imaging system of the fifth aspect, the inconvenience that the partial image unnecessary for the inspection presses the storage capacity is reduced.
第1の態様乃至第5の態様の撮影システムにおいて、前記全体画像を表示し、表示した前記全体画像内の位置の指定を受け付け、指定された位置に応じた前記部分画像を表示する、という構成が第6の態様として採用されてもよい。 In the photographing system of the first to fifth aspects, the whole image is displayed, the designation of the position in the displayed whole image is accepted, and the partial image corresponding to the designated position is displayed. May be adopted as the sixth aspect.
第6の態様の撮影システムによれば、全体画像により検知した対象物の部分画像が容易に表示されるため、対象物の検査が容易となる。 According to the photographing system of the sixth aspect, the partial image of the object detected by the whole image is easily displayed, so that the inspection of the object becomes easy.
第1の態様乃至第6の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物の検知の結果を記憶する、という構成が第7の態様として採用されてもよい。 In the photographing system of the first aspect to the sixth aspect, the configuration of detecting an object from the whole image and storing the detection result of the object may be adopted as the seventh aspect.
第7の態様の撮影システムによれば、検査時に全体画像から対象物を検知する必要がない。 According to the imaging system of the seventh aspect, it is not necessary to detect the object from the whole image at the time of inspection.
第1の態様乃至第7の態様の撮影システムにおいて、前記全体画像により対象物であるインフラ設備を検索するための情報を提供する、という構成が第8の態様として採用さてもよい。 In the photographing system of the first aspect to the seventh aspect, the configuration of providing the information for searching the infrastructure equipment which is the object by the whole image may be adopted as the eighth aspect.
第8の態様の撮影システムによれば、検査対象のインフラ設備が広い範囲に散在している場合であっても、全体画像により検査対象のインフラ設備を検知し、部分画像によりインフラ設備の検査を行うことができる。 According to the photographing system of the eighth aspect, even when the infrastructure equipment to be inspected is scattered over a wide range, the infrastructure equipment to be inspected is detected by the whole image, and the infrastructure equipment is inspected by the partial image. It can be carried out.
[実施形態]
以下に本発明の一実施形態に係る撮影システム1を説明する。撮影システム1は移動体の移動経路の周辺のインフラ設備を撮影し、検査員又は検査装置により行われるインフラ設備の検査を支援するシステムである。以下に、鉄道に関連するインフラ設備の検査を支援するために撮影システム1が用いられる場合を例として、撮影システム1を説明する。
[Embodiment]
The photographing
図1は、撮影システム1が鉄道に関連するインフラ設備の検査に用いられる画像の撮影を行う状況を模式的に示した図である。撮影システム1は、移動体である列車2に搭載されている。撮影システム1は、線路3上を列車2が移動中に、画角Aで示される撮影範囲の動画を撮影することができる。列車2が移動中に、画角A内に線路3の周辺に設置された検査対象のインフラ設備4が入った場合、その際に撮影システム1によって撮影された画像にインフラ設備4が写し込まれる。
FIG. 1 is a diagram schematically showing a situation in which an
インフラ設備4は定期的に状態の検査が必要な設備である。インフラ設備4は線路3に沿って複数設置されている。また、インフラ設備4の種類は1つに限られず、複数の異なる種類のインフラ設備4があってもよい。
図2は、撮影システム1のハードウェア構成を示したブロック図である。撮影システム1は、情報処理装置11と、全体撮影用カメラ12と、部分撮影用カメラ13(1)、部分撮影用カメラ13(2)、・・・、部分撮影用カメラ13(12)(以下、これらの部分撮影用カメラを「部分撮影用カメラ13」と総称する)と、GNSS(Global Navigation Satellite System、全球測位衛星システム)ユニット14とを備える。
FIG. 2 is a block diagram showing the hardware configuration of the
情報処理装置11はコンピュータであり、プロセッサ111と、記憶部112と、表示部113と、操作部114と、インタフェース115を備える。
The
プロセッサ111は、記憶部112に記憶されているプログラムに従った処理を実行することによって、情報処理装置11の各部の動作を制御する。記憶部112は、全体撮影用カメラ12及び部分撮影用カメラ13から取得された画像データを記憶する。また、記憶部112には、画像データを検索して読み出すためのデータベースである画像DBが記憶されている。
The
表示部113は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等であり、画像を表示する。操作部114は、例えば表示部113と積層配置されたタッチパネル等で構成され、ユーザの入力操作を受け付ける。インタフェース115は、外部機器とデータの入出力を行う。本実施形態では、インタフェース115に全体撮影用カメラ12と、部分撮影用カメラ13と、GNSSユニット14が接続されている。
The
GNSSユニット14は、人工衛星から送信される航法信号を受信し、自装置の地球上の位置を測定する。
The GNSS
全体撮影用カメラ12は、図1に示される画角Aの全範囲を撮影する。12個の部分撮影用カメラ13の各々は、図1に示される画角Aの全範囲を12個に分割した範囲のいずれかを撮影する。すなわち、12個の部分撮影用カメラ13により撮影される画像を繋ぎ合わせると、画角Aの全範囲の画像となるように、12個の部分撮影用カメラ13が配置されている。以下、全体撮影用カメラ12により撮影される画像を「全体画像」と呼び、12個の部分撮影用カメラ13の各々により撮影される画像を「部分画像」と呼ぶ。
The
図3は、全体撮影用カメラ12の画角と部分撮影用カメラ13の画角の関係を示した図である。画角Aは画角A1~A12に分割されている。画角A1~A12は各々、部分撮影用カメラ13(1)~13(12)の画角である。列車2が線路3を走行する際に、線路3の周辺にあるインフラ設備4は画角Aに入り、全体撮影用カメラ12と、1以上の部分撮影用カメラ13により撮影される。
FIG. 3 is a diagram showing the relationship between the angle of view of the
本実施形態において、全体撮影用カメラ12と部分撮影用カメラ13の各々の解像度等の性能は同じものとするが、例えば、部分撮影用カメラ13の解像度が全体撮影用カメラ12の解像度より高い等、それらの性能が異なっていてもよい。いずれの場合であっても、全体撮影用カメラ12が撮影した全体画像に含まれるインフラ設備4の画像からよりも、部分撮影用カメラ13が撮影した部分画像に含まれるインフラ設備4の画像からの方が、解像度が高いインフラ設備像が得られる。
In the present embodiment, the performance such as the resolution of each of the
図4は、画像DBの構成を示した図である。画像DBは、全体撮影用カメラ12及び部分撮影用カメラ13が撮影により生成した画像データの各々に応じたデータレコードの集まりである。
FIG. 4 is a diagram showing the configuration of the image DB. The image DB is a collection of data records corresponding to each of the image data generated by the
画像DBの各データレコードは、「日時」欄、「位置」欄、「全体画像」欄、「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄、「検査結果」欄、「コメント」欄を有している。
Each data record of the image DB has a "date and time" column, a "position" column, an "overall image" column, a "
「日時」欄には、画像を撮影した日時を示す日時情報が記憶される。「位置」欄には、画像を取得した時点でGNSSユニット14が計測した位置を示す日時情報が記憶される。
In the "date and time" column, date and time information indicating the date and time when the image was taken is stored. In the "position" column, date and time information indicating the position measured by the
「全体画像」欄には、日時情報が示す日時に全体撮影用カメラ12が生成した全体画像の画像データファイル名が記憶される。全体画像の画像データファイルは記憶部112に記憶され、データレコードの「全体画像」欄に記憶された画像データファイル名により識別される。
In the "whole image" column, the image data file name of the whole image generated by the
「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄の各々には、日時情報が示す日時に部分撮影用カメラ13(1)、部分撮影用カメラ13(2)、・・・、部分撮影用カメラ13(12)が生成した部分画像の画像データファイル名が記憶される。各々の部分画像の画像データファイルは記憶部112に記憶され、データレコードの「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄に記憶された画像データファイル名により識別される。
In each of the "
「検査結果」欄には、検査員が部分画像を閲覧して行った検査の結果を示す「正常」、「要点検」等の情報が格納される。「コメント」欄には、検査員が部分画像を閲覧して行った検査に関するコメント(例えば、「○○に変色が認められる」等の判断の根拠を示す情報)が格納される。 In the "inspection result" column, information such as "normal" and "inspection required" indicating the result of the inspection performed by the inspector by browsing the partial image is stored. In the "comment" column, a comment regarding the inspection performed by the inspector by browsing the partial image (for example, information indicating the basis of the judgment such as "discoloration is recognized in XX") is stored.
図5は、撮影システム1の機能的構成を示したブロック図である。情報処理装置11のプロセッサ111が本実施形態に係るプログラムに従った処理をすることにより、プロセッサ111は、全体画像取得部1111、部分画像取得部1112、対象物検知部1113、表示制御部1114、及び操作検知部1115として機能する。なお、図5において、インタフェース115の記載は省略している。
FIG. 5 is a block diagram showing a functional configuration of the photographing
全体画像取得部1111は、全体撮影用カメラ12から全体画像を表す画像データを取得する。部分画像取得部1112は、12個の部分撮影用カメラ13の各々から部分画像を表す画像データを取得する。全体画像取得部1111及び部分撮影用カメラ13により取得された画像データは画像データファイルとして記憶部112に記憶され、それらのファイル名は画像DBに登録される。
The whole
対象物検知部1113は、記憶部112に記憶された全体画像の画像データを読み出し、読み出した画像データが表す全体画像に対して画像認識処理を行い、全体画像に検査対象のインフラ設備4の画像が含まれているか否かを判断する。検査対象のインフラ設備4の画像が含まれていなければ、当該全体画像と同じ日時に撮影された部分画像は不要であるので、当該部分画像の画像データファイルを記憶部112から削除するとともに、削除した画像データファイルのファイル名を画像DBから削除する。
The
表示制御部1114は、表示部113による画像の表示を制御する。本実施形態において、表示部113により表示される画面には、検査員が全体画像を順次閲覧しながら検査対象のインフラ設備4の画像を検索するための画面である「検索画面」と、検査員が全体画像に含まれるインフラ設備4の詳細な画像を閲覧しながらインフラ設備4の状態を検査するための画面である「詳細表示画面」がある。
The
図6は、表示部113が表示する画面を模式的に示した図である。図6(a)は検索画面を示し、図6(b)は詳細表示画面を示している。検索画面の領域Pには、全体画面が時系列順に順次、動画として表示される。なお、図6(a)において、領域Pには破線及び「A1」~「A12」で部分画像に対応する範囲が示されているが、実際の詳細表示画面においてそれらの表示はなくてよい。
FIG. 6 is a diagram schematically showing a screen displayed by the
詳細表示画面において、検査員は、領域Qに配置されているボタンをタッチして、領域Pに表示される動画の再生、一時停止、早送り、早戻しを行うことができる。検査員は、領域Pに表示される動画を見ながら検査対象のインフラ設備4を検索し、インフラ設備4の出現を検知すると、動画を一時停止した後、全体画像に含まれるインフラ設備4の画像内の位置をタッチ操作により指定する。その操作に応じて、表示部113には図6(b)に示すような詳細表示画面が表示される。
On the detail display screen, the inspector can touch the button arranged in the area Q to play, pause, fast forward, and fast rewind the moving image displayed in the area P. The inspector searches for the
詳細表示画面の領域Rには、詳細表示画面に切り替わる直前の検索画面に表示されていた全体画像の撮影日時と同じ撮影日時の部分画像のうち、検査員により指定された位置を含む撮影範囲の部分画像(静止画像)が表示される。検査員は、領域Rに表示されるインフラ設備4の画像を観察し、その状態を検査した後、検査の結果及びコメントを領域Sに入力する。領域Sに入力された検査結果及びコメントは、領域Rに表示されている部分画像に応じた画像DBのデータレコードに登録される。
In the area R of the detail display screen, the shooting range including the position specified by the inspector among the partial images with the same shooting date and time as the shooting date and time of the entire image displayed on the search screen immediately before switching to the detail display screen. A partial image (still image) is displayed. The inspector observes the image of the
なお、詳細表示画面の領域Rにおいて検査員はピンチアウト、ピンチインの操作を行うことにより、部分画像の拡大表示、縮小表示を行わせることができる。 In the area R of the detailed display screen, the inspector can perform the pinch-out and pinch-in operations to enlarge and reduce the partial image.
検査員は、検索画面に動画表示される全体画像によりインフラ設備4の検索を行い、インフラ設備4の出現を検知すると、検索画面から詳細表示画面へ表示を切り替えて、インフラ設備4の状態を詳細に示す部分画像(静止画像)を観察して、インフラ設備4の検査を行う。これらの作業を繰り返すことにより、線路3の周辺の様々なインフラ設備4の検査を効率的に行うことができる。
The inspector searches for the
図5を参照し、情報処理装置11の機能的構成の説明を続ける。表示制御部1114は、検索画面を表示部113に表示させる場合には、記憶部112から時系列で全体画像の画像データを順次読み出し、読み出した画像データが表す画像を順次、表示部113に表示させる。
The description of the functional configuration of the
また、表示制御部1114は、詳細表示画面を表示部113に表示させる場合には、画像DBを参照して、検査員による操作が行われた時点で検索画面に表示されていた全体画像と同じ日時情報に対応付けられた部分画像のうち、検査員により指定された位置を含む撮影範囲の部分画像の画像データを記憶部112から読み出し、読み出した画像データが表す画像を表示部113に表示させる。
Further, when the
操作検知部1115は、検査員が操作部114を用いて行う操作を検知する。操作検知部1115による検知の結果は表示制御部1114に通知される。
The
図7は、情報処理装置11による画像登録処理のフローを示した図である。情報処理装置11は、図7に示した処理を、全体撮影用カメラ12及び部分撮影用カメラ13におけるフレームレート毎(例えば1/30秒毎)に行う。
FIG. 7 is a diagram showing a flow of image registration processing by the
まず、全体画像取得部1111は全体撮影用カメラ12から全体画像の画像データを取得し、記憶部112に記憶する(ステップS701)。ステップS701の処理と並行して、部分画像取得部1112は、部分撮影用カメラ13の各々から部分画像の画像データを取得し、記憶部112に記憶する(ステップS702)。
First, the whole
なお、ステップS701及びS702において、画像DBには新たなデータレコードが追加され、全体画像及び部分画像の画像データファイル名と、その時点の日時を示す日時情報と、その時点でGNSSユニット14により計測されている位置を示す位置情報が、新たに追加されたデータレコードに登録される。
In steps S701 and S702, a new data record is added to the image DB, the image data file names of the whole image and the partial image, the date and time information indicating the date and time at that time, and the measurement by the
続いて、対象物検知部1113は、ステップS701において記憶部112に記憶された全体画像に対して画像認識処理を行う(ステップS703)。続いて、対象物検知部1113は、画像認識処理の結果に基づき、全体画像に検査対象のインフラ設備4が含まれているか否かを判断する(ステップS704)。
Subsequently, the
全体画像に検査対象のインフラ設備4が含まれていると判断した場合(ステップS704;YES)、対象物検知部1113は検査対象のインフラ設備4の画像が全体画像に占める範囲に基づき、そのインフラ設備4の画像を含む部分画像を特定する(ステップS705)。例えば、ステップS701において図6(a)に例示の全体画像が取得された場合、対象物検知部1113はステップS703の画像認識処理において、画角A1、A5、A9の撮影範囲に写っているインフラ設備4を認識する。この場合、対象物検知部1113は、ステップS705において、画角A1、A5、A9の部分画像を、インフラ設備4の画像を含む部分画像として特定する。
When it is determined that the
続いて、対象物検知部1113は、ステップS702において記憶部112に記憶された部分画像の画像データのうち、ステップS705において特定した部分画像以外の部分画像の画像データを記憶部112から削除するとともに、それらの画像データのファイル名を画像DBから削除する(ステップS706)。
Subsequently, the
ステップS704の判断において、全体画像に検査対象のインフラ設備4が含まれていないと判断した場合(ステップS704;NO)、対象物検知部1113は、ステップS702において記憶部112に記憶された全ての部分画像の画像データを記憶部112から削除するとともに、それらの画像データのファイル名を画像DBから削除する(ステップS706)。
If it is determined in step S704 that the entire image does not include the
なお、ステップS706の処理は、インフラ設備4が写っていない不要な部分画像を記憶部112に保持しないことにより、記憶部112の記憶容量の無駄な使用を回避するための処理である。ステップS706の処理により、情報処理装置11は図7の一連の処理を終了する。
The process of step S706 is a process for avoiding unnecessary use of the storage capacity of the
上述した撮影システム1によれば、検査員は移動体の移動経路の周辺に散在するインフラ設備の検査を、現場に赴くことを要することなく行うことができる。その際、検査員は、検索画面に表示される全体画像を閲覧し検査対象のインフラ設備を検索した後、検索されたインフラ設備の鮮明な画像を詳細表示画面において観察することにより、インフラ設備の状態を、現場で実物を目視する場合と同様の精度で検査することができる。
According to the above-mentioned
また、上述した撮影システム1においては、検査対象のインフラ設備が写っていない部分画像は記憶部に保持されないため、記憶部の記憶容量が不要なデータにより占有されるという不都合が生じない。
Further, in the above-mentioned photographing
[変形例]
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態および以下に示す変形例は適宜組み合わされてもよい。
[Modification example]
The embodiments described above can be variously modified. An example of these variations is shown below. The above-described embodiment and the modifications shown below may be combined as appropriate.
(1)上述の実施形態では、各フレームの画像について、全体画像に検査対象のインフラ設備4が含まれていないと判断された場合は、対応する部分画像を記憶部112から削除する。これに変えて、部分画像のデータ量を落として記憶してもよい。
(1) In the above-described embodiment, when it is determined that the entire image of the image of each frame does not include the
例えば、対象物検知部1113は、検査対象のインフラ設備4が写っていない部分画像に関しては、ビットレートを落とす変換処理を行い、変換後の部分画像の画像データを記憶部112に記憶する。ビットレートを落とす変換処理としては、フレームレートを落とす処理(例えば、1秒間に30フレームの部分画像を含む動画を、1秒間に10フレームの部分画像を含む動画に変換する処理)、解像度を落とす処理(例えば、5,000万画素の部分画像を500万画素の部分画像に変換する処理)、階調数を落とす処理(例えば、24ビットで表現される階調の部分画像を、8ビットで表現される階調の部分画像に変換する処理)等が挙げられる。
For example, the
(2)上述した実施形態において、撮影システム1の全体撮影用カメラ12と部分撮影用カメラ13とは、同じ列車2に搭載するものとしたが、全体撮影用カメラ12と部分撮影用カメラ13が異なる列車に搭載されてもよい。
(2) In the above-described embodiment, the full-shooting
例えば、全体撮影用カメラ12が列車2Aに搭載され、部分撮影用カメラ13が列車2Bに搭載されているとする。列車2Aが運行され、撮影システム1は、運行中に全体撮影用カメラ12で全体画像を撮影し、画像データファイルを記憶部112に記憶し、画像DBに全体画像の各々についてデータレコードを生成する。情報処理装置11の対象物検知部1113は、全体画像に対して画像認識処理を行い、全体画像から検査対象のインフラ設備4を検知し、検知したインフラ設備4が写っている範囲を撮影範囲に含む部分撮影用カメラ13に応じた「部分画像1」~「部分画像12」欄に対応付けて、検査対象のインフラ設備4がある旨を示すフラグを記憶する。
For example, it is assumed that the
次に、部分撮影用カメラ13が搭載された列車2Bが運行される。情報処理装置11は、画像DBから、検査対象のインフラ設備4がある旨のフラグを含むデータレコードを抽出し、抽出したデータレコードに含まれる位置情報が示す位置を列車2Bが通過するときに、検査対象のインフラ設備4がある旨のフラグが対応付けられている「部分画像1」~「部分画像12」欄に対応する部分撮影用カメラ13に撮影を指示する。この指示に応じて部分撮影用カメラ13により撮影された画像を示す画像データが部分画像取得部1112により取得される。部分画像取得部1112により取得された画像データは記憶部112に記憶され、それらの画像データのファイル名が画像DBに記憶される。
Next, the train 2B equipped with the partial photographing
このように、本変形例に係る撮影システムは、列車2Aに搭載された全体撮影用カメラ12により撮影された全体画像のうち、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときに、列車2Bに搭載された部分撮影用カメラ13により部分画像を撮影して記憶し、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには、部分撮影用カメラ13による部分画像の撮影は行われない。
As described above, in the photographing system according to the present modification, the photographing position of the entire image in which the
上記の変形例をさらに変形し、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときよりも少ないデータ量の部分画像を取得し記憶する構成が採用されてもよい。
Further modifying the above modification, when the train 2B passes through the shooting position of the entire image in which the
この変形例においては、対象物検知部1113は、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには部分撮影用カメラ13に低いビットレートで撮影を行うことを指示し、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときには部分撮影用カメラ13に高いビットレートで撮影を行うことを指示する。
In this modification, the
(3)検索画面の領域Pにおいて、検査対象のインフラ設備4が認識された全体画像を表示する際に、認識されたインフラ設備4の画像を検査員が容易に認識できるようにマーキング等を付して強調表示してもよい。この場合、対象物検知部1113が全体画像から検査対象のインフラ設備4を検知した際、検知したインフラ設備4の画像の範囲を示す情報を画像DBに記憶しておき、検索画面において全体画像を表示する際、画像DBを参照して、例えば、検知したインフラ設備4の画像の周りを囲む線を全体画像に重畳する。
(3) In the area P of the search screen, when displaying the recognized whole image of the
(4)上述した実施形態において、撮影システム1は、全体撮影用カメラ12と部分撮影用カメラ13とを備えるものとしたが、全体撮影用カメラ12により撮影される全体画像の解像度等が十分に高い場合には、部分撮影用カメラ13は備えなくてもよい。この場合、撮影システム1は、全体撮影用カメラ12で撮影した画像を分割して部分画像を生成する。
(4) In the above-described embodiment, the photographing
(5)上述した実施形態において、撮影システム1は、全体撮影用カメラ12と部分撮影用カメラ13とを備えるものとしたが、撮影システム1が全体撮影用カメラ12は備えず、複数の部分撮影用カメラ13で撮影した部分画像を連結して全体画像を生成してもよい。
(5) In the above-described embodiment, the photographing
(6)上述した実施形態において、移動体は列車2であるものとしたが、道路上を走行する自動車、水上を航行する船舶、ドローン等の飛行体等、列車以外の移動体に撮影システム1が搭載されてもよい。
(6) In the above-described embodiment, the moving object is the
移動体が自動車である場合、撮影システム1は、道路の表面の劣化(ひび割れ等)、道路標識の劣化、その他道路の周辺設備の検査等に用いることができる。移動体が船舶である場合、撮影システム1は、河川に架かっている橋梁、河川の周辺設備等の検査に用いることができる。移動体がドローン等の飛行体である場合、撮影システム1は、空港の滑走路の表面の状態等の検査に用いることができる。
When the moving body is an automobile, the photographing
(7)上述した実施形態においては、全体画像に対して画像認識を行い、全体画像中から検査対象のインフラ設備4を検知するものとしたが、部分画像に対して画像認識を行い、部分画像中から検査対象のインフラ設備4を検知することとしてもよい。この場合、フレームの各々において得られる複数の部分画像すべてに対して画像認識処理を行う。また、この場合、全体画像は検査対象のインフラ設備4を検知する処理時には不要となるが、表示部113に画像を表示する処理時には、全体画像を表示することにより検査員による検査対象のインフラ設備の検索の利便性を高めることができる。
(7) In the above-described embodiment, the image is recognized for the entire image and the
(8)上述した実施形態においては、位置情報の取得のためにGNSSユニット14を備えるものとしたが、鉄道の運行システムにより列車2の線路3上における位置(例えば、基準点からの距離)が継続的に計測されている場合には、GNSSユニット14により計測される列車2の位置に代えて、運行システムにより計測される列車2の位置が用いられてもよい。
(8) In the above-described embodiment, the
(9)上述した実施形態においては、全体画像及び部分画像を表示することにより、検査員(人間)が画像に写っている検査対象のインフラ設備4の状態を検査するものとしたが、人間に代わり、人工知能(AI)等の装置が撮影システム1を用いてインフラ設備4の検査を行ってもよい。この場合、撮影システム1は表示部113を備えなくてもよい。
(9) In the above-described embodiment, the inspector (human) inspects the state of the
(10)上述した実施形態の説明において用いた撮影システム1の具体的な数値、配置、形状、データ構成等は例示であって、様々に変更されてよい。例えば、上述した実施形態において、撮影システム1は部分撮影用カメラ13を12個備えるものとしたが、部分撮影用カメラ13の個数は12個に限られない。
(10) The specific numerical values, arrangements, shapes, data configurations, etc. of the photographing
(11)上述した実施形態において、情報処理装置11は1つの装置として構成されるものとしたが、情報処理装置11が複数の装置を含むシステムとして構成されてもよい。例えば、情報処理装置11を画像登録用の情報処理装置と、画像閲覧用の情報処理装置と、これらの情報処理装置により共用される記憶装置により構成し、画像登録用の情報処理装置は、全体画像取得部1111、部分画像取得部1112、対象物検知部1113を備え、画像DBの更新を行い、画像閲覧用の情報処理装置は表示制御部1114、操作検知部1115、表示部113、操作部114を備え、画像DBを参照し記憶部112に記憶されている画像データを用いて検索画面及び詳細表示画面を表示するようにしてもよい。
(11) In the above-described embodiment, the
(12)上述した実施形態においては、情報処理装置11のハードウェアはコンピュータであり、プロセッサ111がプログラムに従う処理を実行することにより、図5に示される構成を備える装置が実現されるものとした。これに代えて、情報処理装置11が、図5に示される構成を備える専用装置であってもよい。
(12) In the above-described embodiment, the hardware of the
1…撮影システム、2…列車、3…線路、4…インフラ設備、11…情報処理装置、12…全体撮影用カメラ、13…部分撮影用カメラ、14…GNSSユニット、111…プロセッサ、112…記憶部、113…表示部、114…操作部、115…インタフェース、1111…全体画像取得部、1112…部分画像取得部、1113…対象物検知部、1114…表示制御部、1115…操作検知部 1 ... Shooting system, 2 ... Train, 3 ... Line, 4 ... Infrastructure equipment, 11 ... Information processing device, 12 ... Camera for whole shooting, 13 ... Camera for partial shooting, 14 ... GNSS unit, 111 ... Processor, 112 ... Memory Unit, 113 ... Display unit, 114 ... Operation unit, 115 ... Interface, 1111 ... Overall image acquisition unit, 1112 ... Partial image acquisition unit, 1113 ... Object detection unit, 1114 ... Display control unit, 1115 ... Operation detection unit
Claims (8)
請求項1に記載の撮影システム。 The imaging system according to claim 1 , wherein an object is detected from the entire image, and the partial image captured during a period in which the object is not detected from the entire image is deleted.
請求項1に記載の撮影システム。 The imaging system according to claim 1 , wherein an object is detected from the entire image, and the amount of data of the partial image captured during the period when the object is not detected from the entire image is reduced.
請求項1に記載の撮影システム。 The imaging system according to claim 1, wherein an object is detected from the entire image, and the partial image is captured by a camera when the moving body passes the photographing position of the entire image in which the object is detected.
請求項1に記載の撮影システム。 When the moving object passes the shooting position of the whole image in which the object is detected from the whole image and the object is not detected, the moving body passes through the shooting position of the whole image in which the object is detected. The imaging system according to claim 1 , wherein the partial image is obtained with a small amount of data.
請求項1乃至5のいずれか1項に記載の撮影システム。 The photographing system according to any one of claims 1 to 5 , which displays the whole image, accepts designation of a position in the displayed whole image, and displays the partial image according to the designated position.
請求項1乃至6のいずれか1項に記載の撮影システム。 The photographing system according to any one of claims 1 to 6 , which detects an object from the whole image and stores the result of the detection of the object.
請求項1乃至7のいずれか1項に記載の撮影システム。 The photographing system according to any one of claims 1 to 7 , which provides information for searching the infrastructure equipment which is an object by the whole image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017253253A JP7089364B2 (en) | 2017-12-28 | 2017-12-28 | Shooting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017253253A JP7089364B2 (en) | 2017-12-28 | 2017-12-28 | Shooting system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121821A JP2019121821A (en) | 2019-07-22 |
JP7089364B2 true JP7089364B2 (en) | 2022-06-22 |
Family
ID=67307989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017253253A Active JP7089364B2 (en) | 2017-12-28 | 2017-12-28 | Shooting system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7089364B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7480072B2 (en) * | 2021-01-20 | 2024-05-09 | 株式会社東芝 | Information processing device, information processing program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001292439A (en) | 2000-04-06 | 2001-10-19 | Mitsubishi Heavy Ind Ltd | Supervisory system |
JP2002032879A (en) | 2000-07-13 | 2002-01-31 | Yuasa Trading Co Ltd | Monitoring system |
JP2007036615A (en) | 2005-07-26 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Camera control device and monitoring system |
JP2008502538A (en) | 2004-06-11 | 2008-01-31 | ストラテック システムズ リミテッド | Railway track scanning system and method |
JP2009200757A (en) | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | Video data processing apparatus, program, and method |
JP2010003110A (en) | 2008-06-20 | 2010-01-07 | Panasonic Corp | On-vehicle moving image data recording device |
JP2012142809A (en) | 2010-12-28 | 2012-07-26 | Techno Scope:Kk | Image processing device, and image processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342497A (en) * | 1992-06-09 | 1993-12-24 | Mazda Motor Corp | Fault detecting device for vehicle |
JPH08275043A (en) * | 1995-04-03 | 1996-10-18 | Canon Inc | Camera control system |
JPH1153551A (en) * | 1997-08-04 | 1999-02-26 | Toyota Motor Corp | Line detector |
JPH11259775A (en) * | 1998-03-09 | 1999-09-24 | Piimakku Japan:Kk | Monitoring system |
-
2017
- 2017-12-28 JP JP2017253253A patent/JP7089364B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001292439A (en) | 2000-04-06 | 2001-10-19 | Mitsubishi Heavy Ind Ltd | Supervisory system |
JP2002032879A (en) | 2000-07-13 | 2002-01-31 | Yuasa Trading Co Ltd | Monitoring system |
JP2008502538A (en) | 2004-06-11 | 2008-01-31 | ストラテック システムズ リミテッド | Railway track scanning system and method |
JP2007036615A (en) | 2005-07-26 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Camera control device and monitoring system |
JP2009200757A (en) | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | Video data processing apparatus, program, and method |
JP2010003110A (en) | 2008-06-20 | 2010-01-07 | Panasonic Corp | On-vehicle moving image data recording device |
JP2012142809A (en) | 2010-12-28 | 2012-07-26 | Techno Scope:Kk | Image processing device, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2019121821A (en) | 2019-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5948465B1 (en) | Video processing system and video processing method | |
US20020126913A1 (en) | Image processing apparatus and method | |
JP5517683B2 (en) | Image processing apparatus and control method thereof | |
EP3161412B1 (en) | Indexing method and system | |
JP5901825B1 (en) | Video processing apparatus and video processing method | |
CN108028881A (en) | Camera auxiliary system, device and method and camera shooting terminal | |
JP6704134B1 (en) | Information processing apparatus and method | |
JP7089364B2 (en) | Shooting system | |
Kahramаnovich | Inspection of the scene of the incident using advanced technologies | |
JP6509546B2 (en) | Image search system and image search method | |
JP7589858B1 (en) | Display device, photographing system, display control method and program | |
Jiao et al. | A virtual reality method for digitally reconstructing traffic accidents from videos or still images | |
JP6721915B1 (en) | Video processing apparatus and video processing method | |
JP7377089B2 (en) | Information processing device, information processing method | |
RU2258204C1 (en) | Method of remote inspection of electric circuits by means of thermal-videocamera | |
JP5176605B2 (en) | Video search device | |
JP7154720B2 (en) | Road surface inspection work support system | |
JP2011082864A (en) | Image data management device, method and program | |
JP7515805B1 (en) | Inspection support system, photography position identification system, and program | |
Nishimura et al. | Development of a hybrid camera system for bridge inspection | |
JP2022108617A (en) | Display control device, display control method and monitoring system | |
JP2020119368A (en) | Video information management system and video information management method | |
JP7661072B2 (en) | Field survey support device and program | |
JP2012015698A (en) | Pantograph detection device and method thereof | |
JP2010016668A (en) | Photography recording system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |