Nothing Special   »   [go: up one dir, main page]

JP7089364B2 - Shooting system - Google Patents

Shooting system Download PDF

Info

Publication number
JP7089364B2
JP7089364B2 JP2017253253A JP2017253253A JP7089364B2 JP 7089364 B2 JP7089364 B2 JP 7089364B2 JP 2017253253 A JP2017253253 A JP 2017253253A JP 2017253253 A JP2017253253 A JP 2017253253A JP 7089364 B2 JP7089364 B2 JP 7089364B2
Authority
JP
Japan
Prior art keywords
image
partial
whole
detected
infrastructure equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017253253A
Other languages
Japanese (ja)
Other versions
JP2019121821A (en
Inventor
博一 松尾
栄嗣 川崎
朝靖 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2017253253A priority Critical patent/JP7089364B2/en
Publication of JP2019121821A publication Critical patent/JP2019121821A/en
Application granted granted Critical
Publication of JP7089364B2 publication Critical patent/JP7089364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物を撮影した画像に基づき対象物の検査を行う技術に関する。 The present invention relates to a technique for inspecting an object based on a photographed image of the object.

従来、鉄道、道路等のインフラ設備の検査は、検査員が移動しながら目視により行う場合が多く、多大な労力を要している。そこで、検査員の労力を軽減するため、自動車、列車等の移動体に搭載されたカメラにより継続的に撮影された画像を用いて、インフラ設備の検査を行う技術が提案されている。 Conventionally, inspecting infrastructure equipment such as railroads and roads is often performed visually while the inspector is moving, which requires a great deal of labor. Therefore, in order to reduce the labor of inspectors, a technique for inspecting infrastructure equipment has been proposed using images continuously taken by cameras mounted on moving objects such as automobiles and trains.

例えば特許文献1には、巡回車に搭載されたカメラにより撮影された道路周辺の映像に基づき、道路や周辺施設の異常を検出するシステムが提案されている。 For example, Patent Document 1 proposes a system for detecting an abnormality in a road or surrounding facilities based on an image of the road surroundings taken by a camera mounted on a patrol vehicle.

特開2002-357557号公報Japanese Unexamined Patent Publication No. 2002-357557

移動体で移動しながら周辺の広い範囲に散在する様々なインフラ設備を撮影したい場合、広い画角で撮影を行う必要がある。そのような場合、検査対象のインフラ設備の各々は撮影された画像内において小さく写ることになり、詳細な検査を行うことができない。 If you want to shoot various infrastructure equipment scattered over a wide area around you while moving with a moving object, you need to shoot with a wide angle of view. In such a case, each of the infrastructure equipment to be inspected will appear small in the captured image, and detailed inspection cannot be performed.

本発明は、上記の事情に鑑み、広い範囲に散在する対象物を、それらの対象物を撮影した画像により検査可能とする手段を提供する。 In view of the above circumstances, the present invention provides a means for inspecting objects scattered in a wide range by means of images taken of those objects.

上述した課題を解決するために、本発明は、移動体に搭載され所定の画角の全範囲を撮影して全体画像を生成する全体撮影用カメラと、前記移動体に搭載され前記所定の画角の全範囲を分割した複数の範囲の各々に関し当該範囲を撮影して部分画像を生成する複数の部分撮影用カメラとを備え、同時期に撮影した全体画像と部分画像を対応付けたデータを生成する撮影システムを第1の態様として提供する。 In order to solve the above-mentioned problems, the present invention comprises a whole camera for photographing, which is mounted on a moving body and captures the entire range of a predetermined angle of view to generate an entire image, and a camera mounted on the moving body to capture the predetermined image. It is equipped with a plurality of cameras for partial photography that capture a partial image for each of a plurality of ranges obtained by dividing the entire range of the angle, and data in which the entire image and the partial image taken at the same time are associated with each other. The imaging system to be generated is provided as the first aspect.

第1の態様の撮影システムによれば、検査の対象物が広い範囲に散在している場合であっても、全体画像により対象物を検知し、部分画像により対象物の検査を行うことができる。また、第1の態様の撮影システムによれば、広い範囲を高画質で撮影可能な高性能なカメラを要することなく、対象物の検査を行うことができる。 According to the imaging system of the first aspect, even when the objects to be inspected are scattered over a wide range, the objects can be detected by the whole image and the objects can be inspected by the partial image. .. Further, according to the photographing system of the first aspect, it is possible to inspect an object without requiring a high-performance camera capable of photographing a wide range with high image quality.

の態様の撮影システムにおいて、前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像を削除する、という構成が第の態様として採用されてもよい。 In the photographing system of the first aspect, the configuration of detecting an object from the whole image and deleting the partial image taken during the period when the object is not detected from the whole image is adopted as the second aspect. May be good.

の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫しない。 According to the imaging system of the second aspect, the partial image unnecessary for the inspection does not put pressure on the storage capacity.

の態様の撮影システムにおいて、前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像のデータ量を落とす、という構成が第の態様として採用されてもよい。 In the photographing system of the first aspect, the configuration of detecting an object from the whole image and reducing the amount of data of the partial image taken during the period when the object is not detected from the whole image is adopted as the third aspect. May be done.

の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫する不都合が軽減される。 According to the imaging system of the third aspect, the inconvenience that the partial image unnecessary for the inspection presses the storage capacity is reduced.

第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物が検知された前記全体画像の撮影位置を移動体が通過するときにカメラにより前記部分画像を撮影する、という構成が第の態様として採用されてもよい。 In the photographing system of the first aspect, the object is detected from the whole image, and the partial image is taken by the camera when the moving body passes the shooting position of the whole image in which the object is detected. The configuration may be adopted as the fourth aspect.

の態様の撮影システムによれば、検査に不要な部分画像の撮影を要さない。 According to the imaging system of the fourth aspect, it is not necessary to capture a partial image unnecessary for inspection.

第1の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物が検知されない前記全体画像の撮影位置を移動体が通過するときに、対象物が検知された前記全体画像の撮影位置を移動体が通過するときよりも少ないデータ量の前記部分画像を得る、という構成が第の態様として採用されてもよい。 In the photographing system of the first aspect, when the moving body passes the photographing position of the whole image in which the object is detected from the whole image and the object is not detected, the object is detected in the whole image. A configuration in which the partial image having a smaller amount of data than when the moving object passes through the shooting position may be obtained may be adopted as the fifth aspect.

の態様の撮影システムによれば、検査に不要な部分画像が記憶容量を圧迫する不都合が軽減される。 According to the imaging system of the fifth aspect, the inconvenience that the partial image unnecessary for the inspection presses the storage capacity is reduced.

第1の態様乃至第の態様の撮影システムにおいて、前記全体画像を表示し、表示した前記全体画像内の位置の指定を受け付け、指定された位置に応じた前記部分画像を表示する、という構成が第の態様として採用されてもよい。 In the photographing system of the first to fifth aspects, the whole image is displayed, the designation of the position in the displayed whole image is accepted, and the partial image corresponding to the designated position is displayed. May be adopted as the sixth aspect.

の態様の撮影システムによれば、全体画像により検知した対象物の部分画像が容易に表示されるため、対象物の検査が容易となる。 According to the photographing system of the sixth aspect, the partial image of the object detected by the whole image is easily displayed, so that the inspection of the object becomes easy.

第1の態様乃至第の態様の撮影システムにおいて、前記全体画像から対象物を検知し、対象物の検知の結果を記憶する、という構成が第の態様として採用されてもよい。 In the photographing system of the first aspect to the sixth aspect, the configuration of detecting an object from the whole image and storing the detection result of the object may be adopted as the seventh aspect.

の態様の撮影システムによれば、検査時に全体画像から対象物を検知する必要がない。 According to the imaging system of the seventh aspect, it is not necessary to detect the object from the whole image at the time of inspection.

第1の態様乃至第の態様の撮影システムにおいて、前記全体画像により対象物であるインフラ設備を検索するための情報を提供する、という構成が第の態様として採用さてもよい。 In the photographing system of the first aspect to the seventh aspect, the configuration of providing the information for searching the infrastructure equipment which is the object by the whole image may be adopted as the eighth aspect.

の態様の撮影システムによれば、検査対象のインフラ設備が広い範囲に散在している場合であっても、全体画像により検査対象のインフラ設備を検知し、部分画像によりインフラ設備の検査を行うことができる。 According to the photographing system of the eighth aspect, even when the infrastructure equipment to be inspected is scattered over a wide range, the infrastructure equipment to be inspected is detected by the whole image, and the infrastructure equipment is inspected by the partial image. It can be carried out.

一実施形態に係る撮影システムがインフラ設備の検査に用いられる画像の撮影を行う状況を模式的に示した図。The figure which showed typically the situation which the photography system which concerns on one Embodiment takes an image used for inspection of infrastructure equipment. 一実施形態に係る撮影システムのハードウェア構成を示したブロック図。The block diagram which showed the hardware composition of the photographing system which concerns on one Embodiment. 一実施形態に係る全体撮影用カメラの画角と部分撮影用カメラの画角の関係を示した図。The figure which showed the relationship between the angle of view of the whole camera and the angle of view of a partial camera which concerns on one Embodiment. 一実施形態に係る画像DBの構成を示した図。The figure which showed the structure of the image DB which concerns on one Embodiment. 一実施形態に係る撮影システムの機能的構成を示したブロック図。The block diagram which showed the functional structure of the photographing system which concerns on one Embodiment. 一実施形態に係る表示部が表示する画面を模式的に示した図。The figure which shows typically the screen which the display part which concerns on one Embodiment displays. 一実施形態に係る情報処理装置による画像登録処理のフローを示した図。The figure which showed the flow of the image registration processing by the information processing apparatus which concerns on one Embodiment.

[実施形態]
以下に本発明の一実施形態に係る撮影システム1を説明する。撮影システム1は移動体の移動経路の周辺のインフラ設備を撮影し、検査員又は検査装置により行われるインフラ設備の検査を支援するシステムである。以下に、鉄道に関連するインフラ設備の検査を支援するために撮影システム1が用いられる場合を例として、撮影システム1を説明する。
[Embodiment]
The photographing system 1 according to the embodiment of the present invention will be described below. The photographing system 1 is a system that photographs the infrastructure equipment around the moving path of the moving body and supports the inspection of the infrastructure equipment performed by the inspector or the inspection device. The photography system 1 will be described below by taking as an example the case where the photography system 1 is used to support the inspection of infrastructure equipment related to railways.

図1は、撮影システム1が鉄道に関連するインフラ設備の検査に用いられる画像の撮影を行う状況を模式的に示した図である。撮影システム1は、移動体である列車2に搭載されている。撮影システム1は、線路3上を列車2が移動中に、画角Aで示される撮影範囲の動画を撮影することができる。列車2が移動中に、画角A内に線路3の周辺に設置された検査対象のインフラ設備4が入った場合、その際に撮影システム1によって撮影された画像にインフラ設備4が写し込まれる。 FIG. 1 is a diagram schematically showing a situation in which an imaging system 1 captures an image used for inspection of infrastructure equipment related to a railway. The photographing system 1 is mounted on a moving train 2. The shooting system 1 can shoot a moving image in the shooting range indicated by the angle of view A while the train 2 is moving on the railroad track 3. If the infrastructure equipment 4 to be inspected installed around the track 3 enters the angle of view A while the train 2 is moving, the infrastructure equipment 4 is copied to the image taken by the photographing system 1 at that time. ..

インフラ設備4は定期的に状態の検査が必要な設備である。インフラ設備4は線路3に沿って複数設置されている。また、インフラ設備4の種類は1つに限られず、複数の異なる種類のインフラ設備4があってもよい。 Infrastructure equipment 4 is equipment that requires periodic inspection of its condition. A plurality of infrastructure facilities 4 are installed along the track 3. Further, the type of infrastructure equipment 4 is not limited to one, and there may be a plurality of different types of infrastructure equipment 4.

図2は、撮影システム1のハードウェア構成を示したブロック図である。撮影システム1は、情報処理装置11と、全体撮影用カメラ12と、部分撮影用カメラ13(1)、部分撮影用カメラ13(2)、・・・、部分撮影用カメラ13(12)(以下、これらの部分撮影用カメラを「部分撮影用カメラ13」と総称する)と、GNSS(Global Navigation Satellite System、全球測位衛星システム)ユニット14とを備える。 FIG. 2 is a block diagram showing the hardware configuration of the photographing system 1. The photographing system 1 includes an information processing device 11, a camera for whole photography 12, a camera for partial photography 13 (1), a camera for partial photography 13 (2), ..., A camera for partial photography 13 (12) (hereinafter referred to as). , These partial imaging cameras are collectively referred to as "partial imaging camera 13"), and a GNSS (Global Navigation Satellite System) unit 14.

情報処理装置11はコンピュータであり、プロセッサ111と、記憶部112と、表示部113と、操作部114と、インタフェース115を備える。 The information processing device 11 is a computer, and includes a processor 111, a storage unit 112, a display unit 113, an operation unit 114, and an interface 115.

プロセッサ111は、記憶部112に記憶されているプログラムに従った処理を実行することによって、情報処理装置11の各部の動作を制御する。記憶部112は、全体撮影用カメラ12及び部分撮影用カメラ13から取得された画像データを記憶する。また、記憶部112には、画像データを検索して読み出すためのデータベースである画像DBが記憶されている。 The processor 111 controls the operation of each unit of the information processing apparatus 11 by executing processing according to the program stored in the storage unit 112. The storage unit 112 stores image data acquired from the whole shooting camera 12 and the partial shooting camera 13. Further, the storage unit 112 stores an image DB, which is a database for searching and reading image data.

表示部113は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等であり、画像を表示する。操作部114は、例えば表示部113と積層配置されたタッチパネル等で構成され、ユーザの入力操作を受け付ける。インタフェース115は、外部機器とデータの入出力を行う。本実施形態では、インタフェース115に全体撮影用カメラ12と、部分撮影用カメラ13と、GNSSユニット14が接続されている。 The display unit 113 is a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like, and displays an image. The operation unit 114 is composed of, for example, a touch panel or the like stacked with the display unit 113, and accepts a user's input operation. The interface 115 inputs / outputs data to / from an external device. In the present embodiment, the interface 115 is connected to the whole shooting camera 12, the partial shooting camera 13, and the GNSS unit 14.

GNSSユニット14は、人工衛星から送信される航法信号を受信し、自装置の地球上の位置を測定する。 The GNSS unit 14 receives the navigation signal transmitted from the artificial satellite and measures the position of the own device on the earth.

全体撮影用カメラ12は、図1に示される画角Aの全範囲を撮影する。12個の部分撮影用カメラ13の各々は、図1に示される画角Aの全範囲を12個に分割した範囲のいずれかを撮影する。すなわち、12個の部分撮影用カメラ13により撮影される画像を繋ぎ合わせると、画角Aの全範囲の画像となるように、12個の部分撮影用カメラ13が配置されている。以下、全体撮影用カメラ12により撮影される画像を「全体画像」と呼び、12個の部分撮影用カメラ13の各々により撮影される画像を「部分画像」と呼ぶ。 The whole camera 12 captures the entire range of the angle of view A shown in FIG. Each of the twelve partial photographing cameras 13 photographs one of the ranges obtained by dividing the entire range of the angle of view A shown in FIG. 1 into twelve. That is, the twelve partial photographing cameras 13 are arranged so that the images captured by the twelve partial photographing cameras 13 are joined together to form an image in the entire range of the angle of view A. Hereinafter, the image taken by the whole shooting camera 12 is referred to as a "whole image", and the image taken by each of the twelve partial shooting cameras 13 is referred to as a "partial image".

図3は、全体撮影用カメラ12の画角と部分撮影用カメラ13の画角の関係を示した図である。画角Aは画角A1~A12に分割されている。画角A1~A12は各々、部分撮影用カメラ13(1)~13(12)の画角である。列車2が線路3を走行する際に、線路3の周辺にあるインフラ設備4は画角Aに入り、全体撮影用カメラ12と、1以上の部分撮影用カメラ13により撮影される。 FIG. 3 is a diagram showing the relationship between the angle of view of the whole camera 12 and the angle of view of the partial camera 13. The angle of view A is divided into angles of view A1 to A12. The angles of view A1 to A12 are the angles of view of the partial photographing cameras 13 (1) to 13 (12), respectively. When the train 2 travels on the railroad track 3, the infrastructure equipment 4 around the railroad track 3 enters the angle of view A and is photographed by the entire photographing camera 12 and one or more partial photographing cameras 13.

本実施形態において、全体撮影用カメラ12と部分撮影用カメラ13の各々の解像度等の性能は同じものとするが、例えば、部分撮影用カメラ13の解像度が全体撮影用カメラ12の解像度より高い等、それらの性能が異なっていてもよい。いずれの場合であっても、全体撮影用カメラ12が撮影した全体画像に含まれるインフラ設備4の画像からよりも、部分撮影用カメラ13が撮影した部分画像に含まれるインフラ設備4の画像からの方が、解像度が高いインフラ設備像が得られる。 In the present embodiment, the performance such as the resolution of each of the whole shooting camera 12 and the partial shooting camera 13 is the same, but for example, the resolution of the partial shooting camera 13 is higher than the resolution of the whole shooting camera 12. , Their performance may be different. In any case, from the image of the infrastructure equipment 4 included in the partial image taken by the partial shooting camera 13 rather than from the image of the infrastructure equipment 4 included in the whole image taken by the whole shooting camera 12. The better the image of infrastructure equipment with higher resolution can be obtained.

図4は、画像DBの構成を示した図である。画像DBは、全体撮影用カメラ12及び部分撮影用カメラ13が撮影により生成した画像データの各々に応じたデータレコードの集まりである。 FIG. 4 is a diagram showing the configuration of the image DB. The image DB is a collection of data records corresponding to each of the image data generated by the whole shooting camera 12 and the partial shooting camera 13.

画像DBの各データレコードは、「日時」欄、「位置」欄、「全体画像」欄、「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄、「検査結果」欄、「コメント」欄を有している。 Each data record of the image DB has a "date and time" column, a "position" column, an "overall image" column, a "partial image 1" column, a "partial image 2" column, ..., a "partial image 12" column, and a "partial image 12" column. It has a "test result" column and a "comment" column.

「日時」欄には、画像を撮影した日時を示す日時情報が記憶される。「位置」欄には、画像を取得した時点でGNSSユニット14が計測した位置を示す日時情報が記憶される。 In the "date and time" column, date and time information indicating the date and time when the image was taken is stored. In the "position" column, date and time information indicating the position measured by the GNSS unit 14 at the time of acquiring the image is stored.

「全体画像」欄には、日時情報が示す日時に全体撮影用カメラ12が生成した全体画像の画像データファイル名が記憶される。全体画像の画像データファイルは記憶部112に記憶され、データレコードの「全体画像」欄に記憶された画像データファイル名により識別される。 In the "whole image" column, the image data file name of the whole image generated by the whole shooting camera 12 is stored at the date and time indicated by the date and time information. The image data file of the whole image is stored in the storage unit 112, and is identified by the image data file name stored in the "whole image" column of the data record.

「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄の各々には、日時情報が示す日時に部分撮影用カメラ13(1)、部分撮影用カメラ13(2)、・・・、部分撮影用カメラ13(12)が生成した部分画像の画像データファイル名が記憶される。各々の部分画像の画像データファイルは記憶部112に記憶され、データレコードの「部分画像1」欄、「部分画像2」欄、・・・、「部分画像12」欄に記憶された画像データファイル名により識別される。 In each of the "partial image 1" column, the "partial image 2" column, ..., The "partial image 12" column, the partial imaging camera 13 (1) and the partial imaging camera 13 ( 2), ..., The image data file name of the partial image generated by the partial photographing camera 13 (12) is stored. The image data file of each partial image is stored in the storage unit 112, and the image data file stored in the "partial image 1" column, the "partial image 2" column, ..., The "partial image 12" column of the data record. Identified by name.

「検査結果」欄には、検査員が部分画像を閲覧して行った検査の結果を示す「正常」、「要点検」等の情報が格納される。「コメント」欄には、検査員が部分画像を閲覧して行った検査に関するコメント(例えば、「○○に変色が認められる」等の判断の根拠を示す情報)が格納される。 In the "inspection result" column, information such as "normal" and "inspection required" indicating the result of the inspection performed by the inspector by browsing the partial image is stored. In the "comment" column, a comment regarding the inspection performed by the inspector by browsing the partial image (for example, information indicating the basis of the judgment such as "discoloration is recognized in XX") is stored.

図5は、撮影システム1の機能的構成を示したブロック図である。情報処理装置11のプロセッサ111が本実施形態に係るプログラムに従った処理をすることにより、プロセッサ111は、全体画像取得部1111、部分画像取得部1112、対象物検知部1113、表示制御部1114、及び操作検知部1115として機能する。なお、図5において、インタフェース115の記載は省略している。 FIG. 5 is a block diagram showing a functional configuration of the photographing system 1. When the processor 111 of the information processing apparatus 11 performs processing according to the program according to the present embodiment, the processor 111 includes a whole image acquisition unit 1111, a partial image acquisition unit 1112, an object detection unit 1113, and a display control unit 1114. And functions as an operation detection unit 1115. In FIG. 5, the description of the interface 115 is omitted.

全体画像取得部1111は、全体撮影用カメラ12から全体画像を表す画像データを取得する。部分画像取得部1112は、12個の部分撮影用カメラ13の各々から部分画像を表す画像データを取得する。全体画像取得部1111及び部分撮影用カメラ13により取得された画像データは画像データファイルとして記憶部112に記憶され、それらのファイル名は画像DBに登録される。 The whole image acquisition unit 1111 acquires image data representing the whole image from the whole shooting camera 12. The partial image acquisition unit 1112 acquires image data representing a partial image from each of the 12 partial photographing cameras 13. The image data acquired by the whole image acquisition unit 1111 and the partial photographing camera 13 is stored in the storage unit 112 as an image data file, and their file names are registered in the image DB.

対象物検知部1113は、記憶部112に記憶された全体画像の画像データを読み出し、読み出した画像データが表す全体画像に対して画像認識処理を行い、全体画像に検査対象のインフラ設備4の画像が含まれているか否かを判断する。検査対象のインフラ設備4の画像が含まれていなければ、当該全体画像と同じ日時に撮影された部分画像は不要であるので、当該部分画像の画像データファイルを記憶部112から削除するとともに、削除した画像データファイルのファイル名を画像DBから削除する。 The object detection unit 1113 reads out the image data of the whole image stored in the storage unit 112, performs image recognition processing on the whole image represented by the read image data, and makes the whole image the image of the infrastructure equipment 4 to be inspected. To determine if is included. If the image of the infrastructure equipment 4 to be inspected is not included, the partial image taken at the same date and time as the whole image is unnecessary, so the image data file of the partial image is deleted from the storage unit 112 and deleted. Delete the file name of the created image data file from the image DB.

表示制御部1114は、表示部113による画像の表示を制御する。本実施形態において、表示部113により表示される画面には、検査員が全体画像を順次閲覧しながら検査対象のインフラ設備4の画像を検索するための画面である「検索画面」と、検査員が全体画像に含まれるインフラ設備4の詳細な画像を閲覧しながらインフラ設備4の状態を検査するための画面である「詳細表示画面」がある。 The display control unit 1114 controls the display of the image by the display unit 113. In the present embodiment, the screen displayed by the display unit 113 includes a "search screen" which is a screen for the inspector to search for an image of the infrastructure equipment 4 to be inspected while sequentially browsing the entire image, and an inspector. There is a "detailed display screen" which is a screen for inspecting the state of the infrastructure equipment 4 while viewing the detailed image of the infrastructure equipment 4 included in the whole image.

図6は、表示部113が表示する画面を模式的に示した図である。図6(a)は検索画面を示し、図6(b)は詳細表示画面を示している。検索画面の領域Pには、全体画面が時系列順に順次、動画として表示される。なお、図6(a)において、領域Pには破線及び「A1」~「A12」で部分画像に対応する範囲が示されているが、実際の詳細表示画面においてそれらの表示はなくてよい。 FIG. 6 is a diagram schematically showing a screen displayed by the display unit 113. FIG. 6A shows a search screen, and FIG. 6B shows a detailed display screen. In the area P of the search screen, the entire screen is sequentially displayed as a moving image in chronological order. In FIG. 6A, a broken line and a range corresponding to the partial image are shown in the area P by “A1” to “A12”, but they may not be displayed on the actual detailed display screen.

詳細表示画面において、検査員は、領域Qに配置されているボタンをタッチして、領域Pに表示される動画の再生、一時停止、早送り、早戻しを行うことができる。検査員は、領域Pに表示される動画を見ながら検査対象のインフラ設備4を検索し、インフラ設備4の出現を検知すると、動画を一時停止した後、全体画像に含まれるインフラ設備4の画像内の位置をタッチ操作により指定する。その操作に応じて、表示部113には図6(b)に示すような詳細表示画面が表示される。 On the detail display screen, the inspector can touch the button arranged in the area Q to play, pause, fast forward, and fast rewind the moving image displayed in the area P. The inspector searches for the infrastructure equipment 4 to be inspected while watching the video displayed in the area P, and when the appearance of the infrastructure equipment 4 is detected, the video is paused and then the image of the infrastructure equipment 4 included in the whole image. Specify the position inside by touch operation. In response to the operation, the display unit 113 displays a detailed display screen as shown in FIG. 6B.

詳細表示画面の領域Rには、詳細表示画面に切り替わる直前の検索画面に表示されていた全体画像の撮影日時と同じ撮影日時の部分画像のうち、検査員により指定された位置を含む撮影範囲の部分画像(静止画像)が表示される。検査員は、領域Rに表示されるインフラ設備4の画像を観察し、その状態を検査した後、検査の結果及びコメントを領域Sに入力する。領域Sに入力された検査結果及びコメントは、領域Rに表示されている部分画像に応じた画像DBのデータレコードに登録される。 In the area R of the detail display screen, the shooting range including the position specified by the inspector among the partial images with the same shooting date and time as the shooting date and time of the entire image displayed on the search screen immediately before switching to the detail display screen. A partial image (still image) is displayed. The inspector observes the image of the infrastructure equipment 4 displayed in the area R, inspects the state, and then inputs the inspection result and the comment in the area S. The inspection results and comments input to the area S are registered in the data record of the image DB corresponding to the partial image displayed in the area R.

なお、詳細表示画面の領域Rにおいて検査員はピンチアウト、ピンチインの操作を行うことにより、部分画像の拡大表示、縮小表示を行わせることができる。 In the area R of the detailed display screen, the inspector can perform the pinch-out and pinch-in operations to enlarge and reduce the partial image.

検査員は、検索画面に動画表示される全体画像によりインフラ設備4の検索を行い、インフラ設備4の出現を検知すると、検索画面から詳細表示画面へ表示を切り替えて、インフラ設備4の状態を詳細に示す部分画像(静止画像)を観察して、インフラ設備4の検査を行う。これらの作業を繰り返すことにより、線路3の周辺の様々なインフラ設備4の検査を効率的に行うことができる。 The inspector searches for the infrastructure equipment 4 based on the entire image displayed as a moving image on the search screen, and when the appearance of the infrastructure equipment 4 is detected, the display is switched from the search screen to the detailed display screen to detail the status of the infrastructure equipment 4. The infrastructure equipment 4 is inspected by observing the partial image (still image) shown in. By repeating these operations, it is possible to efficiently inspect various infrastructure facilities 4 around the track 3.

図5を参照し、情報処理装置11の機能的構成の説明を続ける。表示制御部1114は、検索画面を表示部113に表示させる場合には、記憶部112から時系列で全体画像の画像データを順次読み出し、読み出した画像データが表す画像を順次、表示部113に表示させる。 The description of the functional configuration of the information processing apparatus 11 will be continued with reference to FIG. When displaying the search screen on the display unit 113, the display control unit 1114 sequentially reads the image data of the entire image from the storage unit 112 in chronological order, and sequentially displays the images represented by the read image data on the display unit 113. Let me.

また、表示制御部1114は、詳細表示画面を表示部113に表示させる場合には、画像DBを参照して、検査員による操作が行われた時点で検索画面に表示されていた全体画像と同じ日時情報に対応付けられた部分画像のうち、検査員により指定された位置を含む撮影範囲の部分画像の画像データを記憶部112から読み出し、読み出した画像データが表す画像を表示部113に表示させる。 Further, when the display control unit 1114 displays the detailed display screen on the display unit 113, the display control unit 1114 refers to the image DB and is the same as the entire image displayed on the search screen when the operation by the inspector is performed. Of the partial images associated with the date and time information, the image data of the partial image of the shooting range including the position specified by the inspector is read from the storage unit 112, and the image represented by the read image data is displayed on the display unit 113. ..

操作検知部1115は、検査員が操作部114を用いて行う操作を検知する。操作検知部1115による検知の結果は表示制御部1114に通知される。 The operation detection unit 1115 detects the operation performed by the inspector using the operation unit 114. The result of detection by the operation detection unit 1115 is notified to the display control unit 1114.

図7は、情報処理装置11による画像登録処理のフローを示した図である。情報処理装置11は、図7に示した処理を、全体撮影用カメラ12及び部分撮影用カメラ13におけるフレームレート毎(例えば1/30秒毎)に行う。 FIG. 7 is a diagram showing a flow of image registration processing by the information processing apparatus 11. The information processing apparatus 11 performs the processing shown in FIG. 7 at each frame rate (for example, every 1/30 second) in the whole shooting camera 12 and the partial shooting camera 13.

まず、全体画像取得部1111は全体撮影用カメラ12から全体画像の画像データを取得し、記憶部112に記憶する(ステップS701)。ステップS701の処理と並行して、部分画像取得部1112は、部分撮影用カメラ13の各々から部分画像の画像データを取得し、記憶部112に記憶する(ステップS702)。 First, the whole image acquisition unit 1111 acquires the image data of the whole image from the whole image shooting camera 12 and stores it in the storage unit 112 (step S701). In parallel with the process of step S701, the partial image acquisition unit 1112 acquires the image data of the partial image from each of the partial photographing cameras 13 and stores it in the storage unit 112 (step S702).

なお、ステップS701及びS702において、画像DBには新たなデータレコードが追加され、全体画像及び部分画像の画像データファイル名と、その時点の日時を示す日時情報と、その時点でGNSSユニット14により計測されている位置を示す位置情報が、新たに追加されたデータレコードに登録される。 In steps S701 and S702, a new data record is added to the image DB, the image data file names of the whole image and the partial image, the date and time information indicating the date and time at that time, and the measurement by the GNSS unit 14 at that time. The position information indicating the position is registered in the newly added data record.

続いて、対象物検知部1113は、ステップS701において記憶部112に記憶された全体画像に対して画像認識処理を行う(ステップS703)。続いて、対象物検知部1113は、画像認識処理の結果に基づき、全体画像に検査対象のインフラ設備4が含まれているか否かを判断する(ステップS704)。 Subsequently, the object detection unit 1113 performs image recognition processing on the entire image stored in the storage unit 112 in step S701 (step S703). Subsequently, the object detection unit 1113 determines whether or not the infrastructure equipment 4 to be inspected is included in the entire image based on the result of the image recognition process (step S704).

全体画像に検査対象のインフラ設備4が含まれていると判断した場合(ステップS704;YES)、対象物検知部1113は検査対象のインフラ設備4の画像が全体画像に占める範囲に基づき、そのインフラ設備4の画像を含む部分画像を特定する(ステップS705)。例えば、ステップS701において図6(a)に例示の全体画像が取得された場合、対象物検知部1113はステップS703の画像認識処理において、画角A1、A5、A9の撮影範囲に写っているインフラ設備4を認識する。この場合、対象物検知部1113は、ステップS705において、画角A1、A5、A9の部分画像を、インフラ設備4の画像を含む部分画像として特定する。 When it is determined that the infrastructure equipment 4 to be inspected is included in the entire image (step S704; YES), the object detection unit 1113 is based on the range occupied by the image of the infrastructure equipment 4 to be inspected in the entire image, and the infrastructure thereof. A partial image including the image of the equipment 4 is specified (step S705). For example, when the entire image illustrated in FIG. 6A is acquired in step S701, the object detection unit 1113 is an infrastructure that is captured in the shooting range of the angles of view A1, A5, and A9 in the image recognition process of step S703. Recognize equipment 4. In this case, the object detection unit 1113 specifies the partial images of the angles of view A1, A5, and A9 as the partial images including the image of the infrastructure equipment 4 in step S705.

続いて、対象物検知部1113は、ステップS702において記憶部112に記憶された部分画像の画像データのうち、ステップS705において特定した部分画像以外の部分画像の画像データを記憶部112から削除するとともに、それらの画像データのファイル名を画像DBから削除する(ステップS706)。 Subsequently, the object detection unit 1113 deletes from the storage unit 112 the image data of the partial image other than the partial image specified in step S705 among the image data of the partial image stored in the storage unit 112 in step S702. , Delete the file names of those image data from the image DB (step S706).

ステップS704の判断において、全体画像に検査対象のインフラ設備4が含まれていないと判断した場合(ステップS704;NO)、対象物検知部1113は、ステップS702において記憶部112に記憶された全ての部分画像の画像データを記憶部112から削除するとともに、それらの画像データのファイル名を画像DBから削除する(ステップS706)。 If it is determined in step S704 that the entire image does not include the infrastructure equipment 4 to be inspected (step S704; NO), the object detection unit 1113 has all the data stored in the storage unit 112 in step S702. The image data of the partial image is deleted from the storage unit 112, and the file name of the image data is deleted from the image DB (step S706).

なお、ステップS706の処理は、インフラ設備4が写っていない不要な部分画像を記憶部112に保持しないことにより、記憶部112の記憶容量の無駄な使用を回避するための処理である。ステップS706の処理により、情報処理装置11は図7の一連の処理を終了する。 The process of step S706 is a process for avoiding unnecessary use of the storage capacity of the storage unit 112 by not holding an unnecessary partial image in which the infrastructure equipment 4 is not shown in the storage unit 112. By the process of step S706, the information processing apparatus 11 ends the series of processes of FIG. 7.

上述した撮影システム1によれば、検査員は移動体の移動経路の周辺に散在するインフラ設備の検査を、現場に赴くことを要することなく行うことができる。その際、検査員は、検索画面に表示される全体画像を閲覧し検査対象のインフラ設備を検索した後、検索されたインフラ設備の鮮明な画像を詳細表示画面において観察することにより、インフラ設備の状態を、現場で実物を目視する場合と同様の精度で検査することができる。 According to the above-mentioned imaging system 1, the inspector can inspect the infrastructure equipment scattered around the moving path of the moving body without having to go to the site. At that time, the inspector browses the entire image displayed on the search screen, searches for the infrastructure equipment to be inspected, and then observes a clear image of the searched infrastructure equipment on the detailed display screen to display the infrastructure equipment. The condition can be inspected with the same accuracy as when visually inspecting the real thing in the field.

また、上述した撮影システム1においては、検査対象のインフラ設備が写っていない部分画像は記憶部に保持されないため、記憶部の記憶容量が不要なデータにより占有されるという不都合が生じない。 Further, in the above-mentioned photographing system 1, since the partial image in which the infrastructure equipment to be inspected is not captured is not held in the storage unit, the inconvenience that the storage capacity of the storage unit is occupied by unnecessary data does not occur.

[変形例]
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態および以下に示す変形例は適宜組み合わされてもよい。
[Modification example]
The embodiments described above can be variously modified. An example of these variations is shown below. The above-described embodiment and the modifications shown below may be combined as appropriate.

(1)上述の実施形態では、各フレームの画像について、全体画像に検査対象のインフラ設備4が含まれていないと判断された場合は、対応する部分画像を記憶部112から削除する。これに変えて、部分画像のデータ量を落として記憶してもよい。 (1) In the above-described embodiment, when it is determined that the entire image of the image of each frame does not include the infrastructure equipment 4 to be inspected, the corresponding partial image is deleted from the storage unit 112. Instead of this, the amount of data of the partial image may be reduced and stored.

例えば、対象物検知部1113は、検査対象のインフラ設備4が写っていない部分画像に関しては、ビットレートを落とす変換処理を行い、変換後の部分画像の画像データを記憶部112に記憶する。ビットレートを落とす変換処理としては、フレームレートを落とす処理(例えば、1秒間に30フレームの部分画像を含む動画を、1秒間に10フレームの部分画像を含む動画に変換する処理)、解像度を落とす処理(例えば、5,000万画素の部分画像を500万画素の部分画像に変換する処理)、階調数を落とす処理(例えば、24ビットで表現される階調の部分画像を、8ビットで表現される階調の部分画像に変換する処理)等が挙げられる。 For example, the object detection unit 1113 performs a conversion process for reducing the bit rate for a partial image in which the infrastructure equipment 4 to be inspected is not shown, and stores the image data of the converted partial image in the storage unit 112. The conversion process for reducing the bit rate includes a process for reducing the frame rate (for example, a process for converting a moving image containing a partial image of 30 frames per second into a moving image containing a partial image of 10 frames per second) and a process for reducing the resolution. Processing (for example, processing for converting a partial image of 50 million pixels to a partial image of 5 million pixels), processing for reducing the number of gradations (for example, a partial image of gradation expressed by 24 bits, with 8 bits Processing to convert to a partial image of the gradation to be expressed) and the like.

(2)上述した実施形態において、撮影システム1の全体撮影用カメラ12と部分撮影用カメラ13とは、同じ列車2に搭載するものとしたが、全体撮影用カメラ12と部分撮影用カメラ13が異なる列車に搭載されてもよい。 (2) In the above-described embodiment, the full-shooting camera 12 and the partial shooting camera 13 of the shooting system 1 are mounted on the same train 2, but the full-shooting camera 12 and the partial shooting camera 13 are used. It may be mounted on different trains.

例えば、全体撮影用カメラ12が列車2Aに搭載され、部分撮影用カメラ13が列車2Bに搭載されているとする。列車2Aが運行され、撮影システム1は、運行中に全体撮影用カメラ12で全体画像を撮影し、画像データファイルを記憶部112に記憶し、画像DBに全体画像の各々についてデータレコードを生成する。情報処理装置11の対象物検知部1113は、全体画像に対して画像認識処理を行い、全体画像から検査対象のインフラ設備4を検知し、検知したインフラ設備4が写っている範囲を撮影範囲に含む部分撮影用カメラ13に応じた「部分画像1」~「部分画像12」欄に対応付けて、検査対象のインフラ設備4がある旨を示すフラグを記憶する。 For example, it is assumed that the camera 12 for whole photography is mounted on the train 2A and the camera 13 for partial photography is mounted on the train 2B. The train 2A is operated, and the photographing system 1 captures the entire image with the overall imaging camera 12 during operation, stores the image data file in the storage unit 112, and generates a data record for each of the entire images in the image DB. .. The object detection unit 1113 of the information processing apparatus 11 performs image recognition processing on the entire image, detects the infrastructure equipment 4 to be inspected from the entire image, and sets the range in which the detected infrastructure equipment 4 is shown as the shooting range. A flag indicating that there is an infrastructure facility 4 to be inspected is stored in association with the "partial image 1" to "partial image 12" columns corresponding to the partial photographing camera 13.

次に、部分撮影用カメラ13が搭載された列車2Bが運行される。情報処理装置11は、画像DBから、検査対象のインフラ設備4がある旨のフラグを含むデータレコードを抽出し、抽出したデータレコードに含まれる位置情報が示す位置を列車2Bが通過するときに、検査対象のインフラ設備4がある旨のフラグが対応付けられている「部分画像1」~「部分画像12」欄に対応する部分撮影用カメラ13に撮影を指示する。この指示に応じて部分撮影用カメラ13により撮影された画像を示す画像データが部分画像取得部1112により取得される。部分画像取得部1112により取得された画像データは記憶部112に記憶され、それらの画像データのファイル名が画像DBに記憶される。 Next, the train 2B equipped with the partial photographing camera 13 is operated. The information processing apparatus 11 extracts a data record including a flag indicating that the infrastructure equipment 4 to be inspected exists from the image DB, and when the train 2B passes through the position indicated by the position information included in the extracted data record. The partial photographing camera 13 corresponding to the "partial image 1" to "partial image 12" columns associated with the flag indicating that there is the infrastructure equipment 4 to be inspected is instructed to take a picture. In response to this instruction, image data indicating an image taken by the partial photographing camera 13 is acquired by the partial image acquisition unit 1112. The image data acquired by the partial image acquisition unit 1112 is stored in the storage unit 112, and the file names of the image data are stored in the image DB.

このように、本変形例に係る撮影システムは、列車2Aに搭載された全体撮影用カメラ12により撮影された全体画像のうち、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときに、列車2Bに搭載された部分撮影用カメラ13により部分画像を撮影して記憶し、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには、部分撮影用カメラ13による部分画像の撮影は行われない。 As described above, in the photographing system according to the present modification, the photographing position of the entire image in which the infrastructure equipment 4 to be inspected is detected among the entire images taken by the overall photographing camera 12 mounted on the train 2A is set as the train. When 2B passes, a partial image is captured and stored by the partial imaging camera 13 mounted on the train 2B, and the train 2B passes through the capture position of the entire image in which the infrastructure equipment 4 to be inspected is not detected. Occasionally, the partial image is not captured by the partial photographing camera 13.

上記の変形例をさらに変形し、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときよりも少ないデータ量の部分画像を取得し記憶する構成が採用されてもよい。 Further modifying the above modification, when the train 2B passes through the shooting position of the entire image in which the infrastructure equipment 4 to be inspected is not detected, the train takes the shooting position of the entire image in which the infrastructure equipment 4 to be inspected is detected. A configuration may be adopted in which a partial image having a smaller amount of data than when 2B passes is acquired and stored.

この変形例においては、対象物検知部1113は、検査対象のインフラ設備4が検知されなかった全体画像の撮影位置を列車2Bが通過するときには部分撮影用カメラ13に低いビットレートで撮影を行うことを指示し、検査対象のインフラ設備4が検知された全体画像の撮影位置を列車2Bが通過するときには部分撮影用カメラ13に高いビットレートで撮影を行うことを指示する。 In this modification, the object detection unit 1113 shoots the partial shooting camera 13 at a low bit rate when the train 2B passes the shooting position of the entire image in which the infrastructure equipment 4 to be inspected is not detected. When the train 2B passes the shooting position of the whole image detected by the infrastructure equipment 4 to be inspected, the partial shooting camera 13 is instructed to shoot at a high bit rate.

(3)検索画面の領域Pにおいて、検査対象のインフラ設備4が認識された全体画像を表示する際に、認識されたインフラ設備4の画像を検査員が容易に認識できるようにマーキング等を付して強調表示してもよい。この場合、対象物検知部1113が全体画像から検査対象のインフラ設備4を検知した際、検知したインフラ設備4の画像の範囲を示す情報を画像DBに記憶しておき、検索画面において全体画像を表示する際、画像DBを参照して、例えば、検知したインフラ設備4の画像の周りを囲む線を全体画像に重畳する。 (3) In the area P of the search screen, when displaying the recognized whole image of the infrastructure equipment 4 to be inspected, marking or the like is added so that the inspector can easily recognize the recognized image of the infrastructure equipment 4. And highlight it. In this case, when the object detection unit 1113 detects the infrastructure equipment 4 to be inspected from the whole image, the information indicating the range of the detected image of the infrastructure equipment 4 is stored in the image DB, and the whole image is displayed on the search screen. When displaying, the image DB is referred to, and for example, a line surrounding the detected image of the infrastructure equipment 4 is superimposed on the entire image.

(4)上述した実施形態において、撮影システム1は、全体撮影用カメラ12と部分撮影用カメラ13とを備えるものとしたが、全体撮影用カメラ12により撮影される全体画像の解像度等が十分に高い場合には、部分撮影用カメラ13は備えなくてもよい。この場合、撮影システム1は、全体撮影用カメラ12で撮影した画像を分割して部分画像を生成する。 (4) In the above-described embodiment, the photographing system 1 includes the whole shooting camera 12 and the partial shooting camera 13, but the resolution and the like of the whole image shot by the whole shooting camera 12 are sufficiently high. If it is high, the partial photographing camera 13 may not be provided. In this case, the shooting system 1 divides the image shot by the whole shooting camera 12 to generate a partial image.

(5)上述した実施形態において、撮影システム1は、全体撮影用カメラ12と部分撮影用カメラ13とを備えるものとしたが、撮影システム1が全体撮影用カメラ12は備えず、複数の部分撮影用カメラ13で撮影した部分画像を連結して全体画像を生成してもよい。 (5) In the above-described embodiment, the photographing system 1 includes a full-shooting camera 12 and a partial shooting camera 13, but the shooting system 1 does not include the full-shooting camera 12, and a plurality of partial shootings are performed. Partial images taken by the camera 13 may be concatenated to generate an entire image.

(6)上述した実施形態において、移動体は列車2であるものとしたが、道路上を走行する自動車、水上を航行する船舶、ドローン等の飛行体等、列車以外の移動体に撮影システム1が搭載されてもよい。 (6) In the above-described embodiment, the moving object is the train 2, but the photographing system 1 is used for moving objects other than trains, such as automobiles traveling on the road, ships navigating on the water, and flying objects such as drones. May be installed.

移動体が自動車である場合、撮影システム1は、道路の表面の劣化(ひび割れ等)、道路標識の劣化、その他道路の周辺設備の検査等に用いることができる。移動体が船舶である場合、撮影システム1は、河川に架かっている橋梁、河川の周辺設備等の検査に用いることができる。移動体がドローン等の飛行体である場合、撮影システム1は、空港の滑走路の表面の状態等の検査に用いることができる。 When the moving body is an automobile, the photographing system 1 can be used for deterioration of the surface of the road (cracking, etc.), deterioration of road signs, inspection of other equipment around the road, and the like. When the moving body is a ship, the photographing system 1 can be used for inspecting bridges over rivers, facilities around rivers, and the like. When the moving object is a flying object such as a drone, the photographing system 1 can be used for inspecting the condition of the surface of the runway of the airport.

(7)上述した実施形態においては、全体画像に対して画像認識を行い、全体画像中から検査対象のインフラ設備4を検知するものとしたが、部分画像に対して画像認識を行い、部分画像中から検査対象のインフラ設備4を検知することとしてもよい。この場合、フレームの各々において得られる複数の部分画像すべてに対して画像認識処理を行う。また、この場合、全体画像は検査対象のインフラ設備4を検知する処理時には不要となるが、表示部113に画像を表示する処理時には、全体画像を表示することにより検査員による検査対象のインフラ設備の検索の利便性を高めることができる。 (7) In the above-described embodiment, the image is recognized for the entire image and the infrastructure equipment 4 to be inspected is detected from the entire image. However, the image is recognized for the partial image and the partial image is detected. The infrastructure equipment 4 to be inspected may be detected from the inside. In this case, image recognition processing is performed on all of the plurality of partial images obtained in each of the frames. Further, in this case, the entire image is unnecessary during the process of detecting the infrastructure equipment 4 to be inspected, but the infrastructure equipment to be inspected by the inspector by displaying the entire image during the process of displaying the image on the display unit 113. It is possible to improve the convenience of searching.

(8)上述した実施形態においては、位置情報の取得のためにGNSSユニット14を備えるものとしたが、鉄道の運行システムにより列車2の線路3上における位置(例えば、基準点からの距離)が継続的に計測されている場合には、GNSSユニット14により計測される列車2の位置に代えて、運行システムにより計測される列車2の位置が用いられてもよい。 (8) In the above-described embodiment, the GNSS unit 14 is provided for acquiring the position information, but the position (for example, the distance from the reference point) of the train 2 on the track 3 is determined by the railway operation system. When continuously measured, the position of the train 2 measured by the operation system may be used instead of the position of the train 2 measured by the GNSS unit 14.

(9)上述した実施形態においては、全体画像及び部分画像を表示することにより、検査員(人間)が画像に写っている検査対象のインフラ設備4の状態を検査するものとしたが、人間に代わり、人工知能(AI)等の装置が撮影システム1を用いてインフラ設備4の検査を行ってもよい。この場合、撮影システム1は表示部113を備えなくてもよい。 (9) In the above-described embodiment, the inspector (human) inspects the state of the infrastructure equipment 4 to be inspected in the image by displaying the whole image and the partial image. Alternatively, a device such as artificial intelligence (AI) may inspect the infrastructure equipment 4 using the imaging system 1. In this case, the photographing system 1 does not have to include the display unit 113.

(10)上述した実施形態の説明において用いた撮影システム1の具体的な数値、配置、形状、データ構成等は例示であって、様々に変更されてよい。例えば、上述した実施形態において、撮影システム1は部分撮影用カメラ13を12個備えるものとしたが、部分撮影用カメラ13の個数は12個に限られない。 (10) The specific numerical values, arrangements, shapes, data configurations, etc. of the photographing system 1 used in the above-described description of the embodiment are examples and may be changed in various ways. For example, in the above-described embodiment, the photographing system 1 includes twelve partial photographing cameras 13, but the number of partial photographing cameras 13 is not limited to twelve.

(11)上述した実施形態において、情報処理装置11は1つの装置として構成されるものとしたが、情報処理装置11が複数の装置を含むシステムとして構成されてもよい。例えば、情報処理装置11を画像登録用の情報処理装置と、画像閲覧用の情報処理装置と、これらの情報処理装置により共用される記憶装置により構成し、画像登録用の情報処理装置は、全体画像取得部1111、部分画像取得部1112、対象物検知部1113を備え、画像DBの更新を行い、画像閲覧用の情報処理装置は表示制御部1114、操作検知部1115、表示部113、操作部114を備え、画像DBを参照し記憶部112に記憶されている画像データを用いて検索画面及び詳細表示画面を表示するようにしてもよい。 (11) In the above-described embodiment, the information processing device 11 is configured as one device, but the information processing device 11 may be configured as a system including a plurality of devices. For example, the information processing device 11 is composed of an information processing device for image registration, an information processing device for viewing images, and a storage device shared by these information processing devices, and the information processing device for image registration is as a whole. The image acquisition unit 1111, the partial image acquisition unit 1112, and the object detection unit 1113 are provided, and the image DB is updated. The 114 may be provided, and the search screen and the detailed display screen may be displayed by referring to the image DB and using the image data stored in the storage unit 112.

(12)上述した実施形態においては、情報処理装置11のハードウェアはコンピュータであり、プロセッサ111がプログラムに従う処理を実行することにより、図5に示される構成を備える装置が実現されるものとした。これに代えて、情報処理装置11が、図5に示される構成を備える専用装置であってもよい。 (12) In the above-described embodiment, the hardware of the information processing apparatus 11 is a computer, and the processor 111 executes a process according to the program to realize an apparatus having the configuration shown in FIG. .. Instead of this, the information processing device 11 may be a dedicated device having the configuration shown in FIG.

1…撮影システム、2…列車、3…線路、4…インフラ設備、11…情報処理装置、12…全体撮影用カメラ、13…部分撮影用カメラ、14…GNSSユニット、111…プロセッサ、112…記憶部、113…表示部、114…操作部、115…インタフェース、1111…全体画像取得部、1112…部分画像取得部、1113…対象物検知部、1114…表示制御部、1115…操作検知部 1 ... Shooting system, 2 ... Train, 3 ... Line, 4 ... Infrastructure equipment, 11 ... Information processing device, 12 ... Camera for whole shooting, 13 ... Camera for partial shooting, 14 ... GNSS unit, 111 ... Processor, 112 ... Memory Unit, 113 ... Display unit, 114 ... Operation unit, 115 ... Interface, 1111 ... Overall image acquisition unit, 1112 ... Partial image acquisition unit, 1113 ... Object detection unit, 1114 ... Display control unit, 1115 ... Operation detection unit

Claims (8)

移動体に搭載され所定の画角の全範囲を撮影して全体画像を生成する全体撮影用カメラと、前記移動体に搭載され前記所定の画角の全範囲を分割した複数の範囲の各々に関し当該範囲を撮影して部分画像を生成する複数の部分撮影用カメラとを備え、同時期に撮影した全体画像と部分画像を対応付けたデータを生成する撮影システム。 With respect to each of a camera for whole photography mounted on a moving body to capture the entire range of a predetermined angle of view and generate an entire image, and a plurality of ranges mounted on the moving body and divided over the entire range of the predetermined angle of view. A shooting system equipped with a plurality of cameras for partial shooting that shoots the range and generates partial images, and generates data in which the entire image and the partial image taken at the same time are associated with each other . 前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像を削除する
請求項に記載の撮影システム。
The imaging system according to claim 1 , wherein an object is detected from the entire image, and the partial image captured during a period in which the object is not detected from the entire image is deleted.
前記全体画像から対象物を検知し、前記全体画像から対象物が検知されない期間に撮影した前記部分画像のデータ量を落とす
請求項に記載の撮影システム。
The imaging system according to claim 1 , wherein an object is detected from the entire image, and the amount of data of the partial image captured during the period when the object is not detected from the entire image is reduced.
前記全体画像から対象物を検知し、対象物が検知された前記全体画像の撮影位置を移動体が通過するときにカメラにより前記部分画像を撮影する
請求項1に記載の撮影システム。
The imaging system according to claim 1, wherein an object is detected from the entire image, and the partial image is captured by a camera when the moving body passes the photographing position of the entire image in which the object is detected.
前記全体画像から対象物を検知し、対象物が検知されない前記全体画像の撮影位置を移動体が通過するときに、対象物が検知された前記全体画像の撮影位置を移動体が通過するときよりも少ないデータ量の前記部分画像を得る
請求項1に記載の撮影システム。
When the moving object passes the shooting position of the whole image in which the object is detected from the whole image and the object is not detected, the moving body passes through the shooting position of the whole image in which the object is detected. The imaging system according to claim 1 , wherein the partial image is obtained with a small amount of data.
前記全体画像を表示し、表示した前記全体画像内の位置の指定を受け付け、指定された位置に応じた前記部分画像を表示する
請求項1乃至のいずれか1項に記載の撮影システム。
The photographing system according to any one of claims 1 to 5 , which displays the whole image, accepts designation of a position in the displayed whole image, and displays the partial image according to the designated position.
前記全体画像から対象物を検知し、対象物の検知の結果を記憶する
請求項1乃至のいずれか1項に記載の撮影システム。
The photographing system according to any one of claims 1 to 6 , which detects an object from the whole image and stores the result of the detection of the object.
前記全体画像により対象物であるインフラ設備を検索するための情報を提供する
請求項1乃至のいずれか1項に記載の撮影システム。
The photographing system according to any one of claims 1 to 7 , which provides information for searching the infrastructure equipment which is an object by the whole image.
JP2017253253A 2017-12-28 2017-12-28 Shooting system Active JP7089364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017253253A JP7089364B2 (en) 2017-12-28 2017-12-28 Shooting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017253253A JP7089364B2 (en) 2017-12-28 2017-12-28 Shooting system

Publications (2)

Publication Number Publication Date
JP2019121821A JP2019121821A (en) 2019-07-22
JP7089364B2 true JP7089364B2 (en) 2022-06-22

Family

ID=67307989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017253253A Active JP7089364B2 (en) 2017-12-28 2017-12-28 Shooting system

Country Status (1)

Country Link
JP (1) JP7089364B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480072B2 (en) * 2021-01-20 2024-05-09 株式会社東芝 Information processing device, information processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (en) 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd Supervisory system
JP2002032879A (en) 2000-07-13 2002-01-31 Yuasa Trading Co Ltd Monitoring system
JP2007036615A (en) 2005-07-26 2007-02-08 Matsushita Electric Ind Co Ltd Camera control device and monitoring system
JP2008502538A (en) 2004-06-11 2008-01-31 ストラテック システムズ リミテッド Railway track scanning system and method
JP2009200757A (en) 2008-02-21 2009-09-03 Fujitsu Ltd Video data processing apparatus, program, and method
JP2010003110A (en) 2008-06-20 2010-01-07 Panasonic Corp On-vehicle moving image data recording device
JP2012142809A (en) 2010-12-28 2012-07-26 Techno Scope:Kk Image processing device, and image processing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342497A (en) * 1992-06-09 1993-12-24 Mazda Motor Corp Fault detecting device for vehicle
JPH08275043A (en) * 1995-04-03 1996-10-18 Canon Inc Camera control system
JPH1153551A (en) * 1997-08-04 1999-02-26 Toyota Motor Corp Line detector
JPH11259775A (en) * 1998-03-09 1999-09-24 Piimakku Japan:Kk Monitoring system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (en) 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd Supervisory system
JP2002032879A (en) 2000-07-13 2002-01-31 Yuasa Trading Co Ltd Monitoring system
JP2008502538A (en) 2004-06-11 2008-01-31 ストラテック システムズ リミテッド Railway track scanning system and method
JP2007036615A (en) 2005-07-26 2007-02-08 Matsushita Electric Ind Co Ltd Camera control device and monitoring system
JP2009200757A (en) 2008-02-21 2009-09-03 Fujitsu Ltd Video data processing apparatus, program, and method
JP2010003110A (en) 2008-06-20 2010-01-07 Panasonic Corp On-vehicle moving image data recording device
JP2012142809A (en) 2010-12-28 2012-07-26 Techno Scope:Kk Image processing device, and image processing method

Also Published As

Publication number Publication date
JP2019121821A (en) 2019-07-22

Similar Documents

Publication Publication Date Title
JP5948465B1 (en) Video processing system and video processing method
US20020126913A1 (en) Image processing apparatus and method
JP5517683B2 (en) Image processing apparatus and control method thereof
EP3161412B1 (en) Indexing method and system
JP5901825B1 (en) Video processing apparatus and video processing method
CN108028881A (en) Camera auxiliary system, device and method and camera shooting terminal
JP6704134B1 (en) Information processing apparatus and method
JP7089364B2 (en) Shooting system
Kahramаnovich Inspection of the scene of the incident using advanced technologies
JP6509546B2 (en) Image search system and image search method
JP7589858B1 (en) Display device, photographing system, display control method and program
Jiao et al. A virtual reality method for digitally reconstructing traffic accidents from videos or still images
JP6721915B1 (en) Video processing apparatus and video processing method
JP7377089B2 (en) Information processing device, information processing method
RU2258204C1 (en) Method of remote inspection of electric circuits by means of thermal-videocamera
JP5176605B2 (en) Video search device
JP7154720B2 (en) Road surface inspection work support system
JP2011082864A (en) Image data management device, method and program
JP7515805B1 (en) Inspection support system, photography position identification system, and program
Nishimura et al. Development of a hybrid camera system for bridge inspection
JP2022108617A (en) Display control device, display control method and monitoring system
JP2020119368A (en) Video information management system and video information management method
JP7661072B2 (en) Field survey support device and program
JP2012015698A (en) Pantograph detection device and method thereof
JP2010016668A (en) Photography recording system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220610

R150 Certificate of patent or registration of utility model

Ref document number: 7089364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150