Nothing Special   »   [go: up one dir, main page]

WO2023047859A1 - 情報処理装置、方法及びプログラム、並びに、画像データ構造 - Google Patents

情報処理装置、方法及びプログラム、並びに、画像データ構造 Download PDF

Info

Publication number
WO2023047859A1
WO2023047859A1 PCT/JP2022/031372 JP2022031372W WO2023047859A1 WO 2023047859 A1 WO2023047859 A1 WO 2023047859A1 JP 2022031372 W JP2022031372 W JP 2022031372W WO 2023047859 A1 WO2023047859 A1 WO 2023047859A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
identification
images
result
Prior art date
Application number
PCT/JP2022/031372
Other languages
English (en)
French (fr)
Inventor
誠 與那覇
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023549417A priority Critical patent/JPWO2023047859A1/ja
Priority to CN202280061698.0A priority patent/CN117940950A/zh
Priority to EP22872615.4A priority patent/EP4407552A1/en
Publication of WO2023047859A1 publication Critical patent/WO2023047859A1/ja
Priority to US18/601,950 priority patent/US20240257315A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an information processing device, method, program, and image data structure, and in particular, to an information processing device, method, program, and processing a group of images taken of a structure composed of a plurality of members. , on the image data structure.
  • a report (eg, inspection report) showing the results is created.
  • a report may be created by exemplifying appropriate images (photographs) for each member.
  • Patent Document 1 describes a technique for generating a 3D model of a structure from a group of images obtained by separately capturing the structure, and using the 3D model to select images to be used in a report.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an information processing apparatus, method, program, and image data structure that can easily search for a desired image.
  • An information processing apparatus including a processor, wherein the processor acquires a group of images captured with overlapping shooting ranges, synthesizes the acquired image group, and from the result of the synthesis process, images of the same shooting target are obtained.
  • An information processing device that assigns the same identification information and attaches it to an image as supplementary information.
  • the processor performs three-dimensional synthesis processing on the acquired image group, extracts regions that form the same surface of the object from the results of the three-dimensional synthesis processing, and assigns the same identification information to the images that form the extracted regions. and attached to the image as additional information.
  • the processor performs three-dimensional synthesis processing on the obtained image group, extracts the same member region of the target object from the result of the three-dimensional synthesis processing, gives the same identification information to the images constituting the extracted region,
  • the information processing apparatus according to (1) which is added to an image as additional information.
  • One information processing device One information processing device.
  • the image analysis result information includes at least one of detection result information by image analysis, type determination result information by image analysis, and measurement result information by image analysis.
  • Information on measurement results by image analysis includes at least measurement result information on defect size, measurement result information on damage size, measurement result information on defect shape, and measurement result information on damage shape.
  • the information processing device according to any one of (8) to (10), including one.
  • An image data structure including an image and supplementary information, the supplementary information including identification information for identifying a photographing target.
  • desired images can be easily retrieved.
  • a diagram showing an example of a hardware configuration of an inspection support device Block diagram of the main functions of the inspection support device Conceptual diagram of the data structure of an image file with an identification ID Diagram showing the schematic structure of the floor slab A diagram showing an example of the photographing procedure of a coffer Flowchart showing procedures for creating a damage diagram, assigning an identification ID, and recording A diagram showing an example of an image that has undergone panorama synthesis processing A diagram showing an example of a damage diagram Conceptual diagram of assignment of identification ID A block diagram of the main functions of the inspection support device when the user inputs the information of the identification ID to be assigned to the image.
  • Block diagram of the main functions of the inspection support device Block diagram of functions possessed by the 3D synthesis processing unit A diagram showing an example of a three-dimensional model A diagram showing an example of the extraction result of regions that form the same surface
  • Conceptual diagram of assignment of identification ID Flowchart showing procedures for generating a three-dimensional model, assigning an identification ID, and recording
  • Block diagram of the main functions of the inspection support device A diagram showing an example of a member identification result
  • Conceptual diagram of assignment of identification ID Flowchart showing procedures for generating a three-dimensional model, assigning an identification ID, and recording
  • the information processing apparatus assigns the same identification ID (identity/identification) to images of the same shooting target, and uses the identification ID to search for a desired image.
  • the information processing device assigns the same identification ID to images of the same member, thereby enabling image retrieval for each member.
  • the information processing apparatus assigns the same identification ID to the images forming the combined area when acquiring a group of images obtained by dividing and photographing one plane of a structure and performing panorama synthesis.
  • the information processing apparatus regards the images forming the combined area as images of the same surface of the same member, and assigns the same identification ID to the images.
  • the inspection support device acquires a group of images obtained by dividing and photographing one plane of the structure to be inspected, performs panorama synthesis processing on the acquired image group, and analyzes individual images to automatically extract damage. Then, the inspection support device automatically creates a damage diagram based on the extracted damage information and the panoramically synthesized image.
  • a damage diagram is a diagram describing the state of damage to a structure.
  • division photography means that the object is divided into a plurality of regions and photographed. In split shooting, shooting is performed with the shooting ranges overlapping between adjacent images so that images after shooting can be combined.
  • the inspection support device of the present embodiment is configured as a device that acquires a group of images obtained by separately photographing one plane of a structure, and automatically generates a damage diagram based on the acquired image group.
  • FIG. 1 is a diagram showing an example of the hardware configuration of the inspection support device.
  • the inspection support device 10 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, an auxiliary storage device 14, an input device 15, a display device 16 and It is composed of a computer having an input/output interface (I/F) 17 and the like.
  • the inspection support device 10 is an example of an information processing device.
  • the auxiliary storage device 14 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • a program (information processing program) executed by the CPU 11 and data necessary for processing are stored in the auxiliary storage device 14 .
  • the input device 15 is composed of, for example, a keyboard, mouse, touch panel, and the like.
  • the display device 16 is configured by, for example, a display such as a liquid crystal display (Liquid Crystal Display) or an organic EL display (Organic Light Emitting Diode display).
  • a group of divided images of the structure to be inspected are captured by the inspection support device 10 via the input/output interface 17 .
  • a structure to be inspected is an example of an object.
  • Fig. 2 is a block diagram of the main functions of the inspection support device.
  • the inspection support device 10 includes an image acquisition unit 10A, a damage detection unit 10B, a panoramic synthesis processing unit 10C, a damage diagram generation unit 10D, an identification ID assigning unit 10E, an identification ID recording control unit 10F, and other functions. have These functions are realized by the CPU 11 executing a predetermined program (information processing program).
  • the image acquisition unit 10A performs processing for acquiring a group of images obtained by dividing and photographing the structure. As described above, the group of images obtained by dividing and photographing the structure is captured by the inspection support device 10 via the input/output interface 17 .
  • the damage detection unit 10B analyzes each image acquired by the image acquisition unit 10A and detects damage.
  • a known method can be adopted for detecting damage by image analysis.
  • a method of detecting damage using a trained model (recognizer) can be adopted.
  • a machine learning algorithm for generating a recognizer is not particularly limited.
  • algorithms using neural networks such as RNN (Recurrent Neural Network), CNN (Convolutional Neural Network) or MLP (Multilayer Perceptron) can be employed.
  • Information about the detected damage is stored in association with the image from which it was detected.
  • cracks marking if cracks are marked
  • the panorama synthesis processing unit 10C performs processing for panorama synthesis of a group of dividedly photographed images. Since panorama synthesis itself is a well-known technology, detailed description thereof will be omitted.
  • the panorama synthesis processing unit 10C detects corresponding points between images, and synthesizes a group of images that have been divided and photographed. At this time, the panorama synthesis processing unit 10C performs correction such as scaling correction, tilt correction, and rotation correction on each image as necessary.
  • the damage diagram generation unit 10D performs processing for creating a damage diagram.
  • the damage diagram generation unit 10D generates, as a damage diagram, an image obtained by tracing the damage on the panorama-combined image.
  • the damage diagram generation unit 10D generates a damage diagram based on the panorama synthesis process result and the damage detection result. Note that the technique itself for automatically generating a damage diagram is a known technique, so detailed description thereof will be omitted.
  • the generated damage diagram is output to the display device 16.
  • the generated damage diagram is stored in the auxiliary storage device 14 according to instructions from the user.
  • the identification ID assigning unit 10E performs a process of assigning an identification ID to the group of images acquired by the image acquiring unit 10A based on the panorama synthesis processing result. Specifically, the identification ID assigning unit 10E assigns the same identification ID to the images forming the combined area. The images forming the synthesized area are considered to be images of the same surface of the same member. Therefore, the same identification ID is assigned to images of the same imaging target.
  • the identification ID is an example of identification information.
  • the identification ID assigning unit 10E generates and assigns an identification ID according to a predetermined generation rule. For example, the identification ID assigning unit 10E configures an identification ID with a four-digit number, and generates and assigns an identification ID by sequentially incrementing the numbers from "0001".
  • an identification ID is not assigned to images that have not been synthesized. Predetermined information may be added to the image that has not been synthesized so that it can be distinguished from other images.
  • the identification ID recording control unit 10F attaches the identification ID assigned to each image by the identification ID assigning unit 10E to the image as additional information (metadata). Specifically, the identification ID recording control unit 10F adds the assigned identification ID to the image data of each image as supplementary information, and shapes the image data according to the format of the image file. For example, Exif (Exchangeable Image File Format) can be adopted as the image file format.
  • FIG. 3 is a conceptual diagram of the data structure of an image file attached with an identification ID.
  • the image file includes image data and supplementary information.
  • the incidental information includes identification ID information.
  • the identification ID is recorded in MakerNotes, for example.
  • a bridge consists of parts such as superstructure, substructure, bearings, roads, drainage facilities, inspection facilities, attachments, and wing retaining walls.
  • Each part is composed of a plurality of members.
  • the superstructure consists of members such as main girders, main girder gel bar sections, horizontal girders, vertical girders, floor slabs, opposing grooves, horizontal grooves, outer cables, PC (Prestressed Concrete) anchorages, and the like.
  • the lower structure consists of members such as piers (pillars, walls, beams, corners, joints), abutments (parapet walls, vertical walls, wing walls), and foundations.
  • the bearing part consists of a bearing body, anchor bolts, a bridge fall prevention system, mortar mortar, and concrete pedestal.
  • Roads are composed of balustrades, protective fences, ground guards, median strips, expansion devices, sound insulation facilities, lighting facilities, signage facilities, curbs, pavements, and other members. Drainage facilities are composed of members such as drainage basins
  • a bridge is an example of an object in this embodiment.
  • a floor slab is an example of a member.
  • the inspection target (floor slab) is photographed on site. Then, a diagram of damage is created based on the group of images obtained by the imaging. In this embodiment, an identification ID is further assigned to each image obtained by photographing.
  • FIG. 4 is a diagram showing a schematic configuration of a floor slab.
  • floor slabs 1 are inspected every coffer 2.
  • the coffer 2 is one section of the floor slab 1 separated by the main girder 3 and the cross girder 4 .
  • the floor slab 1 and the coffer 2 are examples of areas that form the same surface.
  • the number (Ds001) attached to the floor slab 1 is information for identifying the floor slab 1.
  • the numbers (0101, 0102, . . . ) attached to each case 2 are information for identifying each case 2.
  • the coffer 2 is photographed separately. That is, the coffer 2 is divided into a plurality of areas, and photographed in a plurality of times.
  • FIG. 5 is a diagram showing an example of the procedure for photographing a coffer.
  • reference character F is a frame indicating the shooting range.
  • a photographer inspection engineer faces the floor slab, which is the surface to be inspected, and takes an image from a fixed distance. Also, the photographer shoots adjacent shooting areas so that they partially overlap each other (for example, shoot with an overlap of 30% or more).
  • the panorama synthesis processing unit 10C can perform panorama synthesis of the captured images with high accuracy.
  • FIG. 6 is a flow chart showing the procedure for creating a damage diagram, assigning an identification ID, and recording.
  • an image of the object to be inspected is acquired (step S1).
  • a group of images obtained by dividing and photographing one coffer 2 of the floor slab 1 is acquired.
  • each acquired image is analyzed to detect damage that appears on the surface of the object (step S2).
  • cracks are detected as damage.
  • FIG. 7 is a diagram showing an example of an image subjected to panorama synthesis processing. As shown in FIG. 7, an image I showing the entire coffer is generated by panorama synthesis processing.
  • FIG. 8 is a diagram showing an example of a damage diagram.
  • a damage diagram D is generated as a diagram tracing the damage from the panorama-synthesized image I.
  • FIG. The generated damage diagram D is stored in the auxiliary storage device 14 . Further, the generated damage diagram D is displayed on the display device 16 as required.
  • FIG. 9 is a conceptual diagram of assigning an identification ID. As shown in FIG. 9, the same identification ID is given to each image i that constitutes an image of one coffer. The example shown in FIG. 9 shows an example in which "0001" is assigned as the identification ID.
  • an image file attached with the assigned identification ID is generated (step S6).
  • an image file is generated that includes identification ID information in additional information (metadata) (see FIG. 3).
  • the generated image file is stored in the auxiliary storage device 14 .
  • an identification ID is assigned to each image.
  • the identification ID is assigned using the result of panorama synthesis processing, and the same identification ID is assigned to images of the same shooting target.
  • the assigned identification ID is added to the image as additional information. This makes it possible to search for images using only the incidental information. In other words, it is possible to extract images of the same object by using only the incidental information. As a result, when an inspection engineer prepares a report or the like to which an image is attached, the work can be facilitated.
  • the identification ID is automatically generated according to a predetermined generation rule, but the method of generating the identification ID to be assigned to the image is not limited to this.
  • a user inspection engineer
  • FIG. 10 is a block diagram of the main functions of the inspection support device when the user inputs the identification ID information to be assigned to the image.
  • the inspection support device 10 of this example further has the function of an identification ID input reception section 10G.
  • the identification ID input reception unit 10G performs processing for receiving input of an identification ID to be assigned to an image.
  • the identification ID input reception unit 10G receives input of identification ID information from the input device 15 .
  • the user inputs a group of images to be processed into the inspection support device 10
  • the user inputs information of an identification ID to be assigned from the input device 15 .
  • the acquired identification ID information is added to the identification ID assigning unit 10E.
  • the identification ID assigning unit 10E assigns the identification ID input by the user when assigning the identification ID.
  • the user may input the identification ID to be given to the image.
  • the identification ID given to the image it is preferable to use, for example, identification information given to each member. This allows the user to search for images for each member.
  • identification information For example, in the case of floor slabs, information obtained by combining identification information given to each floor slab and identification information given to a coffer constituting each floor slab can be used as identification information.
  • identification information For example, in the floor slab with the identification information "Ds001”, if the coffer with the identification information "0202" is targeted, "Ds001-0202" is assigned as the identification ID.
  • the target image group can be extracted more easily. For example, it is possible to perform a search in units of floor slabs using floor slab identification information and a search in units of spaces using space identification information.
  • the identification information is attached, but it is also possible to attach other information.
  • the result of image analysis can be attached.
  • information on the detection result of damage can be added.
  • information on the presence or absence of damage is attached.
  • the image analysis performed on the acquired image includes not only damage detection but also defect detection. Further, when detecting damage and/or defects, the type of damage and/or defects may be determined by image analysis. Further, image analysis may be used to measure the size (length, width, area, etc.) of damage and/or defects. Further, image analysis may be used to measure the shape of damage and/or defects. It should be noted that performing these processes by image analysis is a well-known technique per se, so detailed description thereof will be omitted.
  • information on the determination result may be attached to the image.
  • the information of the measurement results may be attached to the image.
  • damage includes, for example, cracks, delamination, exposure of reinforcing bars, water leakage, free lime, falling off, floor slab cracks, floats, and the like.
  • corrosion, cracks, loosening, falling off, breakage, deterioration of anticorrosion function, etc. are included.
  • damage to repair and reinforcement materials abnormality of anchorage, discoloration, deterioration, water leakage, water retention, abnormal deflection, deformation, loss, clogging with earth and sand, subsidence, movement, inclination, scouring etc. are exemplified.
  • the damage includes irregularities in clearance, irregularities in the road surface, irregularities in pavement, functional failure of bearings, and the like.
  • FIG. 11 is a conceptual diagram of the data structure of an image file with analysis results attached.
  • the incidental information attached to the image data includes the identification ID and the analysis result information.
  • the analysis results include damage detection results (presence or absence of damage), types of damage (for example, cracks, delamination, exposure of reinforcing bars, water leakage, free lime, floating and discoloration, etc.), size of damage (for example, , width and length in the case of a crack), and information on the shape of the damage (for example, in the case of a crack, the crack pattern, etc.).
  • the inspection support device of the present embodiment uses the result of the three-dimensional synthesis process to assign an identification ID to the image.
  • the hardware configuration is the same as that of the inspection support device of the first embodiment. Therefore, only functions related to assigning an identification ID will be described here.
  • FIG. 12 is a block diagram of the main functions of the inspection support device of this embodiment.
  • the inspection support device 20 of the present embodiment has functions such as an image acquisition section 20A, a three-dimensional synthesis processing section 20B, a same plane area extraction section 20C, an identification ID provision section 20D and an identification ID recording control section 20E. Each function is realized by the CPU executing a predetermined program.
  • the image acquisition unit 20A performs processing for acquiring a group of images obtained by dividing and photographing the structure.
  • the inspection support device generates a three-dimensional model of an object from an image.
  • images are acquired from which a three-dimensional model of the object can be generated.
  • the inspection support device uses SfM (Structure from Motion) technology to generate a three-dimensional model of an object.
  • SfM Structure from Motion
  • multi-viewpoint images are required.
  • a multi-viewpoint image is a group of images obtained by photographing an object from a plurality of viewpoints with overlapping photographing ranges.
  • the 3D synthesis processing unit 20B performs 3D synthesis processing using the acquired image group, and performs processing for generating a 3D model of the target object.
  • FIG. 13 is a block diagram of functions possessed by the three-dimensional synthesis processing unit.
  • the 3D synthesis processing unit 20B has the functions of a point cloud data generation unit 20B1, a 3D patch model generation unit 20B2, and a 3D model generation unit 20B3.
  • the point cloud data generation unit 20B1 analyzes the image group acquired by the image acquisition unit 20A and performs processing for generating three-dimensional point cloud data of feature points.
  • the point cloud data generator 20B1 performs this process using SfM and MVS (Multi-View Stereo) techniques.
  • SfM is a technology that performs "estimation of captured position and posture" and "three-dimensional reconstruction of feature points" from multiple images captured by a camera.
  • SfM itself is a known technology.
  • the outline of the processing is roughly as follows. First, a plurality of images (image group) to be processed are acquired. Next, feature points are detected from each acquired image. Matching feature points are then detected as corresponding points by comparing each feature point of the two image pairs. That is, feature point matching is performed. Then, from the detected corresponding points, the camera parameters (eg, fundamental matrix, fundamental matrix, intrinsic parameters, etc.) of the camera that captured the two image pairs are estimated. Next, the shooting position and orientation are estimated based on the estimated camera parameters.
  • image group image group
  • feature points are detected from each acquired image. Matching feature points are then detected as corresponding points by comparing each feature point of the two image pairs. That is, feature point matching is performed.
  • the camera parameters eg, fundamental matrix, fundamental matrix, intrinsic parameters, etc.
  • the three-dimensional positions of the feature points of the object are obtained. That is, three-dimensional restoration of feature points is performed. After this, bundle adjustment is performed as necessary. That is, in order to minimize the reprojection error of the point cloud, which is a set of the feature points in the three-dimensional coordinates, to the camera, the coordinates of the three-dimensional point cloud, the camera internal parameters (focal length, principal point) , the camera extrinsic parameters (position, rotation) are adjusted.
  • the 3D points restored by SfM are specific 3D points and sparse.
  • a general three-dimensional model is mostly composed of textures with low feature amounts (for example, walls).
  • MVS attempts to restore 3D textures with low feature amounts that account for the majority.
  • MVS uses the "shooting position and orientation" estimated by SfM to generate a dense point cloud.
  • MVS itself is a known technology. Therefore, detailed description thereof is omitted.
  • the restored shape and imaging position obtained by SfM are a point group represented by dimensionless coordinate values. Therefore, the shape cannot be quantitatively grasped from the obtained restored shape as it is. Therefore, it is necessary to give physical dimensions (actual dimensions).
  • a known technique is adopted for this processing. For example, techniques such as extracting reference points (eg, ground control points) from an image and assigning physical dimensions can be employed.
  • GCP Ground Control Point
  • a Ground Control Point (GCP) is a landmark containing geospatial information (latitude, longitude, altitude) that is visible in a captured image. Therefore, in this case, it is necessary to set a reference point at the stage of photographing.
  • the physical dimensions can be assigned using the distance measurement information.
  • LIDAR Light Detection and Ranging or Laser Imaging Detection and Ranging
  • SfM Sensor Detection and Ranging
  • the 3D patch model generation unit 20B2 performs processing for generating a 3D patch model of the object based on the 3D point cloud data of the object generated by the point cloud data generation unit 20B1. Specifically, the 3D patch model generation unit 20B2 generates a patch (mesh) from the generated 3D point group to generate a 3D patch model. This makes it possible to express surface undulations with a small number of points. This processing is performed using a known technique such as, for example, three-dimensional Delaunay triangulation. Therefore, detailed description thereof will be omitted.
  • the three-dimensional patch model generation unit 20B2 uses three-dimensional Delaunay triangulation to generate a TIN (Trainangular Irregular Network) model.
  • TIN Trainangular Irregular Network
  • a surface is represented by a set of triangles. That is, a patch is generated using a triangular mesh.
  • the 3D model generation unit 20B3 generates a textured 3D model by performing texture mapping on the 3D patch model generated by the 3D patch model generation unit 20B2. This processing is performed by interpolating the space within each patch of the three-dimensional patch model with the captured image.
  • the point cloud data generation unit 20B1 performs SfM and MVS processing. By this SfM and MVS processing, an image obtained by photographing an area corresponding to each patch and a corresponding position within the image can be obtained. Therefore, if the vertex of the generated surface can be observed, it is possible to associate the texture to be applied to that surface.
  • the three-dimensional model generation unit 20B3 selects an image corresponding to each patch, and extracts an image of an area corresponding to the patch from the selected image as a texture. Specifically, the three-dimensional model generation unit 20B3 projects the vertices of the patch onto the selected image, and extracts the image of the area surrounded by the projected vertices as a texture. The 3D model generation unit 20B3 applies the extracted texture to the patch to generate a 3D model. That is, the 3D model generation unit 20B3 interpolates the space in the patch with the extracted texture to generate a 3D model. Color information is added to each patch by adding a texture to each patch. If the object has damage such as cracks, the damage is displayed at the corresponding position.
  • FIG. 14 is a diagram showing an example of a three-dimensional model.
  • Fig. 14 shows an example of a 3D model for a bridge.
  • the generated three-dimensional model is stored in the auxiliary storage device 14 . Also, the three-dimensional model is displayed on the display device 16 as necessary.
  • the coplanar area extraction unit 20C performs a process of extracting an area forming the same surface of the object from the results of the three-dimensional synthesis process.
  • the “same plane” here means a plane that is recognized as the same plane when classified from the viewpoint of identifying the members of the structure.
  • the same-plane region extracting unit 20C uses point cloud data acquired in the process of generating a three-dimensional model to perform a process of estimating a plane and extract regions forming the same plane. to extract In the process of estimating a plane, the coplanar area extraction unit 20C performs a process of estimating an approximate plane using, for example, the RANSAC (RANdom SAmple Consensus) method.
  • RANSAC Random SAmple Consensus
  • FIG. 15 is a diagram showing an example of the extraction result of the regions forming the same plane.
  • the regions extracted as regions forming the same plane are given the same pattern.
  • the identification ID assigning unit 20D performs a process of assigning an identification ID to each image based on the extraction result of the regions forming the same surface. Specifically, the identification ID assigning section 20D assigns the same identification ID to the images forming the extracted area.
  • the image forming the extracted area is the image used for synthesis in the area.
  • the image forming the extracted region is the image used for texture mapping.
  • the regions extracted by the coplanar region extraction unit 20C are regions forming the same plane. Therefore, the same identification ID is given to the images forming the same surface.
  • the images forming the same surface are images of the same surface, the same identification ID is given to the images of the same surface.
  • the identification ID assigning unit 20D generates and assigns an identification ID according to a predetermined generation rule. For example, the identification ID assigning section 20D configures an identification ID with a four-digit number, and generates and assigns an identification ID by sequentially incrementing the numbers from "0001".
  • FIG. 16 is a conceptual diagram of assigning an identification ID.
  • the same identification ID is given to the images forming the regions extracted as the regions forming the same surface.
  • the identification ID assigning unit 20D assigns an identification ID of 0001 to the group of images forming the pavement (road surface).
  • an identification ID is not assigned to images that have not been used for synthesis. Predetermined information may be added to the image that has not been used for synthesis so that the image can be distinguished from other images.
  • the identification ID recording control unit 20E appends the identification ID given to each image by the identification ID adding unit 20D to the image as additional information (metadata). Specifically, the identification ID recording control unit 20E adds the assigned identification ID as additional information to the image data of each image, and shapes the image data according to the format of the image file.
  • FIG. 17 is a flow chart showing the procedure for generating a three-dimensional model, assigning an identification ID, and recording.
  • an image of the object is acquired (step S11).
  • this image is a multi-viewpoint image, and is an image obtained by photographing an object from a plurality of viewpoints with overlapping photographing ranges.
  • step S12 three-dimensional synthesis processing is performed on the acquired image group.
  • a three-dimensional model of the target is generated (see FIG. 14).
  • the generated three-dimensional model is stored in the auxiliary storage device 14 .
  • step S13 extraction processing of the coplanar region is performed from the result of the three-dimensional synthesis processing. That is, in the generated three-dimensional model, a process of extracting regions forming the same surface is performed (see FIG. 15).
  • an identification ID is given to each image based on the extraction result of the coplanar area (step S14).
  • the same identification ID is assigned to images forming the same surface (see FIG. 16).
  • the same identification ID is assigned to images of the same surface.
  • an image file attached with the assigned identification ID is generated (step S15).
  • an image file is generated that includes identification ID information in additional information (metadata) (see FIG. 3).
  • the generated image file is stored in the auxiliary storage device 14 .
  • an identification ID is assigned to each image.
  • the identification ID is assigned using the result of the three-dimensional synthesis processing, and the same identification ID is assigned to images obtained by photographing the same surface.
  • the assigned identification ID is attached to the image as additional information. This makes it possible to search for images using only the incidental information. That is, the inspection support device 20 can extract a group of images of a specific surface by using only the incidental information. As a result, when an inspection engineer prepares a report or the like to which an image is attached, the work can be facilitated.
  • the user can input an identification ID to be assigned to an image.
  • FIG. 18 is a block diagram of the main functions of the inspection support device when the user inputs the identification ID information to be assigned to the image.
  • the inspection support device 20 of this example further has the function of an identification ID input receiving section 20F.
  • the identification ID input reception unit 20F performs processing for receiving input of identification IDs to be assigned to images.
  • the identification ID input reception unit 20F receives input of identification ID via the display device 16 and the input device 15 .
  • the inspection support device 20 causes the display device 16 to display the generated three-dimensional model, and the identification ID input reception unit 20F receives designation of an area to which an identification ID is assigned on the screen.
  • the specifiable area is an area extracted as an area forming the same plane.
  • the identification ID input reception unit 20F receives from the input device 15 an input of an identification ID to be assigned to the specified area.
  • the identification ID input reception unit 20F receives input of an identification ID to be assigned to each region extracted by the same plane region extraction unit 20C.
  • information other than the identification ID can be attached to the image.
  • information on the result may be included in additional information.
  • the hardware configuration is the same as that of the inspection support device of the first embodiment. Therefore, only functions related to assigning an identification ID will be described here.
  • FIG. 19 is a block diagram of the main functions of the inspection support device of this embodiment.
  • the inspection support device 30 of the present embodiment has functions such as an image acquisition section 30A, a three-dimensional synthesis processing section 30B, a member identification section 30C, an identification ID provision section 30D, and an identification ID recording control section 30E. Each function is realized by the CPU executing a predetermined program.
  • the image acquisition unit 30A performs processing for acquiring a group of images obtained by dividing and photographing the structure.
  • a multi-viewpoint image is obtained by photographing an object from a plurality of viewpoints with overlapping photographing ranges.
  • the 3D synthesis processing unit 30B performs 3D synthesis processing using the acquired image group, and performs processing for generating a 3D model of the target.
  • the function of the three-dimensional synthesis processing section 30B is the same as that of the second embodiment. Therefore, description thereof is omitted.
  • the member identification unit 30C identifies the members that make up the structure from the results of the three-dimensional synthesis processing, and performs processing to extract regions that make up the same members.
  • the member identification unit 30C uses a learned model to perform processing for identifying members from the point cloud data of the target object.
  • the member identification unit 30C identifies the members that make up the object using a trained image recognition model from images (point cloud projection images) obtained by projecting the point cloud data of the object from various viewpoints. . That is, the member identification unit 30C identifies members such as main girders, floor slabs, and piers that constitute the bridge.
  • a point cloud projection image is generated, for example, by projecting point cloud data onto a plane from viewpoints at various angles.
  • an image segmentation CNN eg, SegNet model
  • point cloud data to which member information is added is learned as teacher data.
  • the teacher data is generated according to the type of member to be identified.
  • FIG. 20 is a diagram showing an example of the member identification result.
  • FIG. 20 shows an example in which a pavement (road surface) Pm, a main girder Mg, and a bridge pier P are identified as members constituting a bridge.
  • the identification ID assigning unit 30D performs a process of assigning an identification ID to each image based on the member identification result. Specifically, the identification ID assigning section 30D assigns the same identification ID to the images forming the extracted area.
  • the image forming the extracted area is the image used for synthesis in the area.
  • the image forming the extracted region is the image used for texture mapping.
  • the regions extracted by the member identification unit 30C are regions that constitute the same member. Therefore, the same identification ID is assigned to the images forming the same member.
  • the same identification ID is given to the images of the same member.
  • the identification ID assigning unit 30D generates and assigns a different identification ID for each member. For example, the identification ID assigning section 30D generates and assigns an identification ID by combining a symbol identifying a member and a four-digit number. Symbols identifying members are used to distinguish between different members. A four-digit number is used to distinguish between identical members.
  • FIG. 21 is a conceptual diagram of assigning an identification ID.
  • FIG. 21 shows an example in which identification IDs of "Pm0001" are given to the pavement (road surface), "Mg0001" to the main girder, and "P0001", “P0002", and “P0003” to the three piers, respectively. showing.
  • the pavement identification ID is formed by combining the pavement identification symbol "Pm” and a four-digit number.
  • the identification ID of the main girder is formed by combining "Mg", which is the identification symbol of the main girder, and a 4-digit number.
  • the pier identification ID is formed by combining a pier identification symbol "P” and a four-digit number. In this way, by forming the identification ID of each member by combining the identification symbols assigned to each member, subsequent retrieval can be facilitated.
  • predetermined information is added to images that have not been used for synthesis so that they can be distinguished from other images.
  • the identification ID recording control unit 30E appends the identification ID given to each image by the identification ID adding unit 30D to the image as additional information (metadata). Specifically, the identification ID recording control unit 30E adds the assigned identification ID to the image data of each image as supplementary information, and shapes the image data according to the format of the image file.
  • FIG. 22 is a flow chart showing the procedure for generating a three-dimensional model, assigning an identification ID, and recording.
  • an image of the object is acquired (step S21).
  • this image is a multi-viewpoint image, and is an image obtained by photographing an object from a plurality of viewpoints with overlapping photographing ranges.
  • step S22 three-dimensional synthesis processing is performed on the acquired image group.
  • a three-dimensional model of the target is generated (see FIG. 14).
  • the generated three-dimensional model is stored in the auxiliary storage device 14 .
  • step S23 member identification processing is performed based on the results of the three-dimensional synthesis processing (step S23). That is, the members are identified in the generated three-dimensional model, and the regions forming each member are extracted (see FIG. 20).
  • an identification ID is given to each image based on the identification result of the member (step S24). That is, the same identification ID is given to the images constituting the same member (see FIG. 21). As a result, the same identification ID is assigned to images of the same member.
  • an image file attached with the assigned identification ID is generated (step S25).
  • an image file is generated that includes identification ID information in additional information (metadata) (see FIG. 3).
  • the generated image file is stored in the auxiliary storage device 14 .
  • an identification ID is assigned to each image.
  • the identification ID is assigned using the result of the three-dimensional synthesis processing, and the same identification ID is assigned to images of the same member.
  • the assigned identification ID is attached to the image as additional information. This makes it possible to search for images using only the incidental information. That is, the inspection support device 30 can extract a group of images of a specific member using only the incidental information. As a result, when an inspection engineer prepares a report or the like to which an image is attached, the work can be facilitated.
  • [Member identification processing] a trained model (image recognition model) is used to identify members from point cloud data, but the method for identifying members is not limited to this. It is also possible to adopt a configuration in which members are identified from a three-dimensional model.
  • information other than the identification ID can be attached to the image.
  • information on the result may be included in additional information.
  • the identification ID may be attached to the image data, and its specific data structure is not particularly limited.
  • the identification ID since the identification ID is used for searching, it must be attached to the image data in a searchable state. In particular, it is preferable to have a structure that can be searched with commercially available software or the like.
  • Hardware that implements the information processing apparatus can be configured with various processors.
  • the various processors include CPUs (Central Processing Units), which are general-purpose processors that execute programs and function as various processing units, and FPGAs (Field Programmable Gate Arrays), which are processors whose circuit configuration can be changed after manufacturing.
  • Programmable Logic Devices (PLDs), ASICs (Application Specific Integrated Circuits), and other dedicated electric circuits, which are processors having circuit configurations specially designed to execute specific processing, are included.
  • One processing unit that constitutes the inspection support device may be configured by one of the various processors described above, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit combining circuit elements such as semiconductor elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

所望の画像を簡単に抽出できる情報処理装置、方法及びプログラム、並びに、画像データ構造を提供する。撮影範囲を重複させて対象物を撮影した画像群を取得する。取得した画像群を合成処理する。合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与する。付与した識別情報を付帯情報として画像に付帯させる。これにより、付帯情報を検索キーとした画像の検索が可能になる。

Description

情報処理装置、方法及びプログラム、並びに、画像データ構造
　本発明は、情報処理装置、方法及びプログラム、並びに、画像データ構造に係り、特に、複数の部材から構成される構造物を対象として撮影した画像群を処理する情報処理装置、方法及びプログラム、並びに、画像データ構造に関する。
　橋梁、トンネル等の構造物は、定期的に点検が行われる。点検が行われると、その結果を示すレポート（たとえば、点検調書）が作成される。橋梁等の複数の部材から構成される構造物の場合、部材ごとに適切な画像（写真）を例示して、レポートを作成する場合がある。
　特許文献１には、構造物を分割撮影した画像群から構造物の３次元モデルを生成し、その３次元モデルを利用して、レポートに使用する画像を選択する技術が記載されている。
特開2020-160944号公報
　しかしながら、特許文献１のように、３次元モデルを利用して画像の選択を行う構成の場合、画像へのリンク情報を持つ３次元モデルデータが必要となり、かつ、独自のデータフォーマットの定義が必要になるという欠点がある。
　本発明は、このような事情に鑑みてなされたもので、所望の画像を簡単に検索できる情報処理装置、方法及びプログラム、並びに、画像データ構造を提供することを目的とする。
　（１）プロセッサを備える情報処理装置であって、プロセッサは、撮影範囲を重複させて撮影した画像群を取得し、取得した画像群を合成処理し、合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、情報処理装置。
　（２）プロセッサは、取得した画像群をパノラマ合成処理し、合成された領域を構成する画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、（１）の情報処理装置。
　（３）プロセッサは、更に、領域の情報を取得し、領域を特定する情報を識別情報として付与する、（２）の情報処理装置。
　（４）プロセッサは、取得した画像群を３次元合成処理し、３次元合成処理の結果から対象物の同じ面を構成する領域を抽出し、抽出した領域を構成する画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、（１）の情報処理装置。
　（５）プロセッサは、更に、領域の情報を取得し、領域を特定する情報を識別情報として付与する、（４）の情報処理装置。
　（６）プロセッサは、取得した画像群を３次元合成処理し、３次元合成処理の結果から対象物の同じ部材の領域を抽出し、抽出した領域を構成する画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、（１）の情報処理装置。
　（７）プロセッサは、更に、画像に対する画像解析の結果の情報を取得し、取得した画像解析の結果の情報を付帯情報に含めて、画像に付帯させる、（１）から（６）のいずれか一の情報処理装置。
　（８）画像解析の結果の情報は、画像解析による検出結果の情報、画像解析による種別判定結果の情報、及び、画像解析による計測結果の情報の少なくとも１つを含む、（７）の情報処理装置。
　（９）画像解析による検出結果の情報は、欠陥の検出結果の情報及び損傷の検出結果の情報の少なくとも１つを含む、（８）の情報処理装置。
　（１０）画像解析による種別判定結果の情報は、欠陥の種類の判定結果の情報及び損傷の種類の判定結果の情報の少なくとも１つを含む、（８）又は（９）の情報処理装置。
　（１１）画像解析による計測結果の情報は、欠陥のサイズに関する計測結果の情報、損傷のサイズに関する計測結果の情報、欠陥の形状に関する計測結果の情報、及び損傷の形状に関する計測結果の情報の少なくとも１つを含む、（８）から（１０）のいずれか一の情報処理装置。
　（１２）付帯情報が、画像の検索に用いられる、（１）から（１１）のいずれか一の情報処理装置。
　（１３）撮影範囲を重複させて撮影した画像群を取得し、取得した画像群を合成処理し、合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、情報処理方法。
　（１４）撮影範囲を重複させて撮影した画像群を取得し、取得した画像群を合成処理し、合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として画像に付帯させる、ことをコンピュータに実現させる情報処理プログラム。
　（１５）画像データ構造であって、画像と、付帯情報と、を含み、付帯情報は、撮影対象を識別する識別情報を含む、画像データ構造。
　（１６）付帯情報は、更に、画像に対する画像解析の結果の情報を含む、（１５）の画像データ構造。
　（１７）付帯情報が、画像の検索に用いられる、（１５）又は（１６）の画像データ構造。
　本発明によれば、所望の画像を簡単に検索できる。
点検支援装置のハードウェア構成の一例を示す図 点検支援装置が有する主な機能のブロック図 識別ＩＤが付帯された画像ファイルのデータ構造の概念図 床版の概略構成を示す図 格間の撮影手順の一例を示す図 損傷図の作成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャート パノラマ合成処理された画像の一例を示す図 損傷図の一例を示す図 識別ＩＤの付与の概念図 画像に付与する識別ＩＤの情報をユーザが入力する場合に点検支援装置が有する主な機能のブロック図 解析結果を付帯させた画像ファイルのデータ構造の概念図 点検支援装置が有する主な機能のブロック図 ３次元合成処理部が有する機能のブロック図 ３次元モデルの一例を示す図 同じ面を構成する領域の抽出結果の一例を示す図 識別ＩＤの付与の概念図 ３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャート 画像に付与する識別ＩＤの情報をユーザが入力する場合に点検支援装置が有する主な機能のブロック図 点検支援装置が有する主な機能のブロック図 部材の識別結果の一例を示す図 識別ＩＤの付与の概念図 ３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャート
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［第１の実施の形態］
　［概要］
　本実施形態における情報処理装置は、画像が多数存在する場合において、撮影対象が同じ画像に同じ識別ＩＤ（identity／identification）を付与し、その識別ＩＤを利用して、所望の画像の検索を可能にする。たとえば、情報処理装置は、同じ部材を撮影した画像に同じ識別ＩＤを付与し、部材単位で画像の検索を可能にする。
　本実施の形態では、情報処理装置は、構造物の一平面を分割撮影した画像群を取得してパノラマ合成する場合に、合成された領域を構成する画像に同じ識別ＩＤを付与する。すなわち、情報処理装置は、合成された領域を構成する画像は、同じ部材の同じ面を撮影した画像とみなして、同じ識別ＩＤを付与する。
　以下においては、本発明を点検支援装置に適用した場合を例に説明する。点検支援装置は、点検対象である構造物の一平面を分割撮影した画像群を取得し、取得した画像群をパノラマ合成処理し、かつ、個々の画像を解析して損傷を自動抽出する。そして、点検支援装置は、抽出した損傷の情報とパノラマ合成した画像とに基づいて、損傷図を自動で作成する。損傷図とは、構造物の損傷状態を記した図である。また、分割撮影とは、対象を複数の領域に分割して撮影することをいう。分割撮影では、撮影後の画像を合成できるように、隣接する画像間で撮影範囲を重複させて撮影が行われる。
　［点検支援装置の構成］
　上記のように、本実施の形態の点検支援装置は、構造物の一平面を分割撮影した画像群を取得し、取得した画像群に基づいて、損傷図を自動生成する装置として構成される。
　図１は、点検支援装置のハードウェア構成の一例を示す図である。
　図１に示すように、点検支援装置１０は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、補助記憶装置１４、入力装置１５、表示装置１６及び入出力インターフェース（Interface：Ｉ／Ｆ）１７等を備えたコンピュータで構成される。点検支援装置１０は、情報処理装置の一例である。
　補助記憶装置１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。ＣＰＵ１１が実行するプログラム（情報処理プログラム）及び処理に必要なデータ等は、補助記憶装置１４に記憶される。入力装置１５は、たとえば、キーボード、マウス、タッチパネル等で構成される。表示装置１６は、たとえば、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬディスプレイ（Organic Light Emitting Diode display）等のディスプレイ等で構成される。
　点検対象の構造物を分割撮影した画像群は、入出力インターフェース１７を介して点検支援装置１０に取り込まれる。点検対象の構造物は、対象物の一例である。
　図２は、点検支援装置が有する主な機能のブロック図である。
　図２に示すように、点検支援装置１０は、画像取得部１０Ａ、損傷検出部１０Ｂ、パノラマ合成処理部１０Ｃ、損傷図生成部１０Ｄ、識別ＩＤ付与部１０Ｅ及び識別ＩＤ記録制御部１０Ｆ等の機能を有する。これらの機能は、ＣＰＵ１１は、所定のプログラム（情報処理プログラム）を実行することにより実現される。
　画像取得部１０Ａは、構造物を分割撮影した画像群を取得する処理を行う。上記のように、構造物を分割撮影した画像群は、入出力インターフェース１７を介して点検支援装置１０に取り込まれる。
　損傷検出部１０Ｂは、画像取得部１０Ａで取得した個々の画像を解析し、損傷を検出する。画像解析による損傷の検出には、公知の手法を採用できる。たとえば、学習済みモデル（認識器）を用いて、損傷を検出する手法を採用できる。認識器を生成するための機械学習のアルゴリズムについては、特に限定されない。たとえば、ＲＮＮ（Recurrent Neural Network；再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）又はＭＬＰ（Multilayer Perceptron；多層パーセプトロン）等のニューラルネットワークを用いたアルゴリズムを採用できる。検出された損傷の情報は、検出元の画像に関連付けられて記憶される。一例として、本実施の形態では、損傷として、ひび割れ（ひび割れをマーキングしている場合は、マーキング）を検出する。
　パノラマ合成処理部１０Ｃは、分割撮影された画像群をパノラマ合成する処理を行う。パノラマ合成自体は、公知の技術であるので、その詳細についての説明は省略する。パノラマ合成処理部１０Ｃは、たとえば、画像同士の対応点を検出して、分割撮影された画像群を合成する。この際、パノラマ合成処理部１０Ｃは、必要に応じて、各画像に拡縮補正、あおり補正及び回転補正等の補正を施す。
　なお、点検箇所を分割して撮影する場合、撮影者（点検技術者）は、隣接する画像が互いに重複するように撮影する。撮影手法については、後述する。
　損傷図生成部１０Ｄは、損傷図を作成する処理を行う。本実施の形態では、損傷図生成部１０Ｄは、パノラマ合成された画像上で損傷をトレースした画像を損傷図として生成する。損傷図生成部１０Ｄは、パノラマ合成の処理結果及び損傷の検出結果に基づいて、損傷図を生成する。なお、損傷図を自動生成する技術自体は、公知の技術であるので、その詳細についての説明は省略する。
　生成された損傷図は、表示装置１６に出力される。また、ユーザからの指示に応じて、生成された損傷図は、補助記憶装置１４に記憶される。
　識別ＩＤ付与部１０Ｅは、画像取得部１０Ａで取得した画像群に対し、パノラマ合成の処理結果に基づいて、識別ＩＤを付与する処理を行う。具体的には、識別ＩＤ付与部１０Ｅは、合成された領域を構成する画像に対し、同じ識別ＩＤを付与する。合成された領域を構成する画像は、同じ部材の同じ面を撮影した画像と考えられる。よって、撮影対象が同じ画像として、同じ識別ＩＤを付与する。識別ＩＤは、識別情報の一例である。識別ＩＤ付与部１０Ｅは、あらかじめ定められた生成規則に従って識別ＩＤを生成し、付与する。たとえば、識別ＩＤ付与部１０Ｅは、４桁の数字で識別ＩＤを構成し、「０００１」から順に数字をインクリメントして識別ＩＤを生成し、付与する。
　なお、上記のように、識別ＩＤは、合成された領域を構成する画像に対し、同じ識別ＩＤが付与される。よって、合成されなかった画像には、識別ＩＤは付与されない。なお、合成されなかった画像に対し、所定の情報を付与して、他の画像と区別できるようにしてもよい。
　識別ＩＤ記録制御部１０Ｆは、識別ＩＤ付与部１０Ｅで各画像に付与された識別ＩＤを付帯情報（メタデータ）として画像に付帯させる。具体的には、識別ＩＤ記録制御部１０Ｆは、各画像の画像データに対し、付与された識別ＩＤを付帯情報として付加し、画像ファイルのフォーマットに沿って整形する。画像ファイルのフォーマットには、たとえば、Ｅｘｉｆ（Exchangeable Image File Format）を採用できる。
　図３は、識別ＩＤが付帯された画像ファイルのデータ構造の概念図である。
　図３に示すように、画像ファイルは、画像データ及び付帯情報を含む。付帯情報は、識別ＩＤの情報を含む。
　ファイルフォーマットとしてＥｘｉｆを採用した場合、識別ＩＤは、たとえば、ＭａｋｅｒＮｏｔｅｓに記録される。
　［点検支援装置の作用］
　次に、本実施の形態の点検支援装置１０を使用した損傷図の作成方法、並びに、識別ＩＤの付与及び記録方法（情報処理方法）について説明する。
　ここでは、橋梁、特に床版を点検する場合を例に説明する。
　橋梁は、上部構造、下部構造、支承部、路上、排水施設、点検施設、添架物及び袖擁壁等の部位で構成される。各部位は、複数の部材で構成される。たとえば、上部構造は、主桁、主桁ゲルバー部、横桁、縦桁、床版、対傾溝、横溝、外ケーブル、ＰＣ（Prestressed Concrete）定着部等の部材で構成される。下部構造は、橋脚（柱部、壁部、梁部、隅角部、接合部）、橋台（胸壁、竪壁、翼壁）、基礎等の部材で構成される。支承部は、支承本体、アンカーボルト、落橋防止システム、沓座モルタル、台座コンクリート等で構成される。路上は、高欄、防護柵、地覆、中央分離帯、伸縮装置、遮音施設、照明施設、標識施設、縁石、舗装等の部材で構成される。排水施設は、排水ます、排水管等の部材で構成される。
　本実施の形態において、橋梁は対象物の一例である。また、床版は、部材の一例である。
　［床版の点検］
　まず、現地で点検対象（床版）の撮影が行われる。そして、その撮影で得られた画像群を基に損傷図が作成される。本実施の形態では、更に、撮影により得られた個々の画像に対し識別ＩＤが付与される。
　［床版］
　図４は、床版の概略構成を示す図である。
　一般に床版１の点検は、格間２ごとに行われる。格間２は、床版１において、主桁３及び横桁４によって区切られる１つの区画である。本実施の形態において、床版１及び格間２は、同じ面を構成する領域の一例である。
　なお、図４において、床版１に付した番号（Ｄｓ００１）は、床版１を識別する情報である。また、各格間２に付した番号（０１０１、０１０２、…）は、各格間２を識別する情報である。
　［撮影］
　本実施の形態では、格間２が分割撮影される。すなわち、格間２が複数の領域に分割され、複数回に分けて撮影される。
　図５は、格間の撮影手順の一例を示す図である。
　図５において、符号Ｆは、撮影範囲を示す枠である。撮影者（点検技術者）は、点検対象の面である床版に対して正対し、一定距離から撮影を行う。また、撮影者は、隣り合う撮影領域において、互いに一部が重なり合うように撮影する（たとえば、３０％以上重複させて撮影する。）。これにより、パノラマ合成処理部１０Ｃは、撮影した画像をパノラマ合成する際に高精度に合成できる。
　［損傷図の作成、並びに、識別ＩＤの付与及び記録］
　ここでは、１つの格間について、損傷図を作成する場合を例に説明する。
　図６は、損傷図の作成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャートである。
　まず、点検の対象物を撮影した画像が取得される（ステップＳ１）。本実施の形態では、床版１の１つの格間２を分割撮影した画像群が取得される。
　次に、取得した個々の画像が解析され、対象物の表面に現れた損傷が検出される（ステップＳ２）。本実施の形態では、損傷としてひび割れが検出される。
　次に、取得した画像群がパノラマ合成処理される（ステップＳ３）。図７は、パノラマ合成処理された画像の一例を示す図である。図７に示すように、パノラマ合成処理により、格間全体を写した画像Ｉが生成される。
　次に、パノラマ合成された画像Ｉ及び各画像に対する損傷の検出結果に基づいて、損傷図が作成される（ステップＳ４）。図８は、損傷図の一例を示す図である。図８に示すように、本実施の形態では、パノラマ合成された画像Ｉから損傷をトレースした図として損傷図Ｄが生成される。生成された損傷図Ｄは、補助記憶装置１４に記憶される。また、生成された損傷図Ｄは、必要に応じて表示装置１６に表示される。
　次に、パノラマ合成処理の結果に基づいて、各画像に識別ＩＤが付与される（ステップＳ５）。図９は、識別ＩＤの付与の概念図である。図９に示すように、１つの格間の画像を構成する個々の画像ｉに同じ識別ＩＤが付与される。図９に示す例では、識別ＩＤとして「０００１」を付与した場合の例を示している。
　次に、付与された識別ＩＤが付帯した画像ファイルが生成される（ステップＳ６）。すなわち、付帯情報（メタデータ）に識別ＩＤの情報を含んだ画像ファイルが生成される（図３参照）。生成された画像ファイルは、補助記憶装置１４に記憶される。
　以上説明したように、本実施の形態の点検支援装置１０によれば、各画像に識別ＩＤが付与される。識別ＩＤは、パノラマ合成処理の結果を利用して付与され、撮影対象が同じ画像に同じ識別ＩＤが付与される。そして、付与された識別ＩＤは、付帯情報として、画像に付帯される。これにより、付帯情報のみを利用した画像の検索が可能になる。すなわち、付帯情報のみを利用して、撮影対象が同じ画像を抽出できる。これにより、点検技術者が画像を添付したレポート等を作成等する場合に、その作業を容易にできる。
　［変形例］
　［識別ＩＤの生成］
　上記実施の形態では、あらかじめ定められた生成規則に従って識別ＩＤを自動生成する構成としているが、画像に付与する識別ＩＤを生成する方法は、これに限定されるものではない。たとえば、画像に付与する識別ＩＤをユーザ（点検技術者）が入力する構成とすることもできる。
　図１０は、画像に付与する識別ＩＤの情報をユーザが入力する場合に点検支援装置が有する主な機能のブロック図である。
　図１０に示すように、本例の点検支援装置１０は、識別ＩＤ入力受付部１０Ｇの機能を更に有する。識別ＩＤ入力受付部１０Ｇは、画像に付与する識別ＩＤの入力を受け付ける処理を行う。一例として、識別ＩＤ入力受付部１０Ｇは、入力装置１５から識別ＩＤの情報の入力を受け付ける。ユーザは、処理対象の画像群を点検支援装置１０に入力する際、付与する識別ＩＤの情報を入力装置１５から入力する。取得された識別ＩＤの情報は、識別ＩＤ付与部１０Ｅに加えられる。識別ＩＤ付与部１０Ｅは、識別ＩＤを付与する際、ユーザによって入力された識別ＩＤを付与する。
　このように、画像に付与する識別ＩＤをユーザが入力する構成とすることもできる。画像に付与する識別ＩＤは、たとえば、部材ごとに付与した識別情報を使用することが好ましい。これにより、ユーザは、部材ごとに画像を検索できる。たとえば、床版の場合、各床版に付与された識別情報と、各床版を構成する格間に付与された識別情報とを組み合わせた情報を識別情報として使用できる。たとえば、識別情報「Ｄｓ００１」の床版において、識別情報「０２０２」の格間を対象とした場合、識別ＩＤとして、「Ｄｓ００１－０２０２」を付与する。これより、目的とする画像群をより簡便に抽出できる。たとえば、床版の識別情報を利用した床版単位での検索、及び、格間の識別情報を利用した格間単位での検索が可能になる。
　［画像に付帯させる情報］
　上記実施の形態では、識別情報のみ付帯させる構成としているが、その他の情報を付帯させる構成とすることもできる。たとえば、画像解析の結果を付帯させることもできる。たとえば、上記実施の形態の場合、損傷（ひび割れ）の検出結果の情報を付帯させることができる。この場合、たとえば、損傷の有無の情報を付帯させる。
　ここで、取得した画像に対して行う画像解析には、損傷の検出の他、欠陥の検出等が含まれる。また、損傷及び／又は欠陥の検出を行う場合、更に、画像解析により、損傷及び／又は欠陥の種別を判定する構成としてもよい。また、画像解析により、損傷及び／又は欠陥のサイズ（長さ、幅、面積等）を計測する構成としてもよい。更に、画像解析により、損傷及び／又は欠陥の形状を計測する構成としてもよい。なお、画像解析により、これらの処理を行うこと自体は公知の技術であるので、その詳細についての説明は省略する。
　画像解析により、損傷及び／又は欠陥の種別を判定する処理を行った場合、その判定結果（種別判定結果）の情報を画像に付帯させてもよい。
　同様に、画像解析により、損傷及び／又は欠陥のサイズを計測した場合、その計測結果の情報を画像に付帯させてもよい。
　また、画像解析により、損傷及び／又は欠陥の形状を計測した場合、その計測結果の情報を画像に付帯させてもよい。
　なお、損傷には、たとえば、コンクリート部材の場合、ひび割れ、剥離、鉄筋露出、漏水、遊離石灰、抜け落ち、床版ひび割れ、浮き等が含まれる。また、鋼部材の場合、腐食、亀裂、ゆるみ、脱落、破断、防食機能の劣化等が含まれる。また、各部材に共通の損傷として、補修及び補強材の損傷、定着部の異常、変色、劣化、漏水、滞水、異常な撓み、変形、欠損、土砂詰まり、沈下、移動、傾斜、洗掘等が例示される。その他、損傷には、遊間の異常、路面の凹凸、舗装の異常、支承部の機能障害等が含まれる。
　図１１は、解析結果を付帯させた画像ファイルのデータ構造の概念図である。
　図１１に示すように、画像データに付帯する付帯情報に識別ＩＤ及び解析結果の情報が含まれる。図１１に示す例では、解析結果として、損傷の検出結果（損傷の有無）、損傷の種別（たとえば、ひび割れ、剥離、鉄筋露出、漏水、遊離石灰、浮き及び変色等）、損傷のサイズ（たとえば、ひび割れの場合、その幅及び長さ等）、及び、損傷の形状（たとえば、ひび割れの場合、ひび割れのパターン等）の情報が付帯された場合の例を示している。
　このように、解析結果の情報を付帯させることにより、解析結果の情報を検索キーとした画像検索が可能になる。これにより、より簡便に目的の画像を抽出できる。
　［第２の実施の形態］
　近年、構造物の点検等に関して、対象物の３次元モデルを生成し、損傷の位置等を３次元的に記録する試みがなされている。画像を利用した点検等では、対象物を撮影した画像を３次元合成処理して、３次元モデルが生成される。
　本実施の形態の点検支援装置では、３次元合成処理の結果を利用して、画像に識別ＩＤを付与する。なお、ハードウェア構成は、上記第１の実施の形態の点検支援装置と同じである。よって、ここでは、識別ＩＤの付与に関わる機能についてのみ説明する。
　図１２は、本実施の形態の点検支援装置が有する主な機能のブロック図である。
　本実施の形態の点検支援装置２０は、画像取得部２０Ａ、３次元合成処理部２０Ｂ、同一平面領域抽出部２０Ｃ、識別ＩＤ付与部２０Ｄ及び識別ＩＤ記録制御部２０Ｅ等の機能を有する。各機能は、ＣＰＵが所定のプログラムを実行することで実現される。
　画像取得部２０Ａは、構造物を分割撮影した画像群を取得する処理を行う。ここで、上記のように、本実施の形態では、点検支援装置は、画像から対象物の３次元モデルを生成する。よって、対象物の３次元モデルを生成可能な画像群が取得される。後述するように、本実施の形態では、点検支援装置は、ＳｆＭ（Structure from Motion）の技術を利用して、対象物の３次元モデルを生成する。この場合、いわゆる多視点画像が必要とされる。多視点画像とは、対象物を複数の視点から撮影範囲を重複させて撮影した画像群である。
　３次元合成処理部２０Ｂは、取得した画像群を用いて３次元合成処理を行い、対象物の３次元モデルを生成する処理を行う。
　図１３は、３次元合成処理部が有する機能のブロック図である。
　図１３に示すように、３次元合成処理部２０Ｂは、点群データ生成部２０Ｂ１、３次元パッチモデル生成部２０Ｂ２及び３次元モデル生成部２０Ｂ３の機能を有する。
　点群データ生成部２０Ｂ１は、画像取得部２０Ａで取得された画像群を解析し、特徴点の３次元の点群データを生成する処理を行う。本実施の形態では、点群データ生成部２０Ｂ１は、この処理をＳｆＭ及びＭＶＳ（Multi-View Stereo）の技術を利用して行う。
　ＳｆＭは、カメラで撮影した複数の画像から「撮影した位置及び姿勢の推定」、並びに、「特徴点の３次元復元」を行う技術である。ＳｆＭ自体は、公知の技術である。その処理の概要は、おおよそ次のとおりである。まず、処理対象とする複数の画像（画像群）が取得される。次に、取得した各画像から特徴点が検出される。次に、２枚の画像ペアの各特徴点を比較することにより、一致する特徴点が対応点として検出される。すなわち、特徴点のマッチングが行われる。次に、検出された対応点から、２枚の画像ペアを撮影したカメラのカメラパラメータ（たとえば、基礎行列、基本行列及び内部パラメータ等）が推定される。次に、推定されたカメラパラメータに基づいて、撮影位置及び姿勢が推定される。また、対象物の特徴点の３次元位置が求められる。すなわち、特徴点の３次元復元が行われる。この後、必要に応じてバンドル調整が行われる。すなわち、３次元座標における上記特徴点の集合である点群（ポイントクラウド）のカメラへの再投影誤差が最小になるように３次元点群の座用、カメラ内部パラメータ（焦点距離、主点）、カメラ外部パラメータ（位置、回転）が調整される。
　ＳｆＭで復元される３次元点は、特異的な３次元点であり、疎である。一般的な３次元モデルは低特徴量のテクスチャが大部分を占めている（たとえば、壁など）。この大部分を占める低特徴量の３次元テクスチャの復元を試みるのがＭＶＳである。ＭＶＳは、ＳｆＭで推定された「撮影位置及び姿勢」を利用して、密な点群を生成するものである。ＭＶＳ自体は、公知の技術である。よって、その詳細についての説明は省略する。
　また、ＳｆＭにより得られる復元形状及び撮影位置は、無次元の座標値で表される点群である。したがって、得られた復元形状のままでは、形状を定量的に把握することはできない。そこで、物理寸法（実寸法）を与える必要がある。この処理には、公知の技術が採用される。たとえば、画像から基準点（たとえば、地上基準点）を抽出し、物理寸法を付与する技術等を採用できる。地上基準点（Ground Control Point、ＧＣＰ）は、撮影された画像内において視認できる地理空間情報（緯度、経度、高度）が含められている目印である。したがって、この場合、撮影の段階で基準点の設定が必要となる。また、撮影された画像に測距情報が関連付けられている場合には、その測距情報を利用して、物理寸法を付与することができる。たとえば、ドローン等の無人航空機（Unmanned Aerial Vehicle、ＵＡＶ）を利用して対象物を撮影する場合において、カメラと共にＬＩＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）を無人航空機に搭載して撮影する場合、画像と共にＬＩＤＡＲによる測距情報も取得できる。この測距情報を利用することで、ＳｆＭで得られる３次元の点群データに物理寸法の情報を付与できる。この他、画像から物理寸法が既知の物体を抽出して、物理寸法を与えることもできる。
　３次元パッチモデル生成部２０Ｂ２は、点群データ生成部２０Ｂ１で生成された対象物の３次元の点群データに基づいて、対象物の３次元パッチモデルを生成する処理を行う。具体的には、３次元パッチモデル生成部２０Ｂ２は、生成された３次元の点群からパッチ（メッシュ）を生成し、３次元パッチモデルを生成する。これにより、少ない点数で表面の起伏を表現できるようになる。本処理は、たとえば、３次元ドロネー三角形分割等の公知の技術を用いて行われる。したがって、その詳細についての説明は省略する。一例として、本実施の形態では、３次元パッチモデル生成部２０Ｂ２は、３次元ドロネー三角形分割を用いて、ＴＩＮ（Traiangular Irregular Network）モデルを生成する。ＴＩＮモデルでは、表面が三角形の集合で表現される。すなわち、三角メッシュによりパッチが生成される。
　３次元モデル生成部２０Ｂ３は、３次元パッチモデル生成部２０Ｂ２で生成された３次元パッチモデルに対し、テクスチャマッピングを行うことにより、テクスチャが付与された３次元モデルを生成する処理を行う。この処理は、３次元パッチモデルの各パッチ内の空間を撮影画像で補間することにより行われる。上記のように、本実施の形態の点検支援装置２０では、点群データ生成部２０Ｂ１において、ＳｆＭ及びＭＶＳの処理が行われる。このＳｆＭ及びＭＶＳの処理により、各パッチに対応する領域を撮影した画像及びその画像内での対応位置が分かる。したがって、生成面の頂点が観測できれば、その面に付与するテクスチャを対応付けることができる。３次元モデル生成部２０Ｂ３は、各パッチに対応する画像を選出し、選出した画像からパッチに対応する領域の画像をテクスチャとして抽出する。具体的には、３次元モデル生成部２０Ｂ３は、選出した画像に対してパッチの頂点を投影し、投影した頂点により囲まれた領域の画像をテクスチャとして抽出する。３次元モデル生成部２０Ｂ３は、抽出したテクスチャをパッチに付与して、３次元モデルを生成する。すなわち、３次元モデル生成部２０Ｂ３は、抽出したテクスチャでパッチ内の空間を補間して、３次元モデルを生成する。各パッチにテクスチャを付与することで、各パッチに色情報が付加される。対象物にひび割れ等の損傷が存在している場合は、対応する位置に損傷が表示される。
　図１４は、３次元モデルの一例を示す図である。
　図１４は、橋梁を対象とした３次元モデルの一例を示している。生成された３次元モデルは、補助記憶装置１４に記憶される。また、３次元モデルは、必要に応じて、表示装置１６に表示される。
　同一平面領域抽出部２０Ｃは、３次元合成処理の結果から対象物の同じ面を構成する領域を抽出する処理を行う。なお、ここでの「同じ面」とは、構造物の部材を識別する観点から分類した場合に、同じ平面と認められる面である。
　一例として、本実施の形態では、同一平面領域抽出部２０Ｃは、３次元モデルを生成する過程で取得される点群データを利用して、平面を推定する処理を行い、同じ面を構成する領域を抽出する。同一平面領域抽出部２０Ｃは、平面を推定する処理では、たとえば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用いて、近似平面を推定する処理を行う。
　図１５は、同じ面を構成する領域の抽出結果の一例を示す図である。図１５では、同じ面を構成する領域として抽出された領域に同じ模様を付している。
　識別ＩＤ付与部２０Ｄは、同じ面を構成する領域の抽出結果に基づいて、各画像に識別ＩＤを付与する処理を行う。具体的には、識別ＩＤ付与部２０Ｄは、抽出された領域を構成する画像に対し、同じ識別ＩＤを付与する。ここで、抽出された領域を構成する画像とは、当該領域において合成に用いられた画像のことである。具体的には、抽出された領域を構成する画像は、テクスチャマッピングに使用された画像である。上記のように、同一平面領域抽出部２０Ｃで抽出される領域は、同じ面を構成する領域である。したがって、同じ面を構成する画像に同じ識別ＩＤが付与される。また、同じ面を構成する画像は、同じ面を撮影した画像であるので、同じ面を撮影した画像に同じ識別ＩＤが付与される。
　識別ＩＤ付与部２０Ｄは、あらかじめ定められた生成規則に従って識別ＩＤを生成し、付与する。たとえば、識別ＩＤ付与部２０Ｄは、４桁の数字で識別ＩＤを構成し、「０００１」から順に数字をインクリメントして識別ＩＤを生成し、付与する。
　図１６は、識別ＩＤの付与の概念図である。
　図１６に示すように、同じ面を構成する領域として抽出された領域を構成する画像に同じ識別ＩＤが付与される。たとえば、図１６に示す例では、識別ＩＤ付与部２０Ｄは、舗装（路面）を構成する画像群に対し、０００１の識別ＩＤを付与している。
　なお、上記のように、識別ＩＤは、合成に用いられた画像に対し、同じ識別ＩＤが付与される。よって、合成に用いられなかった画像には、識別ＩＤは付与されない。なお、合成に用いられなかった画像に対し、所定の情報を付与して、他の画像と区別できるようにしてもよい。
　識別ＩＤ記録制御部２０Ｅは、識別ＩＤ付与部２０Ｄで各画像に付与された識別ＩＤを付帯情報（メタデータ）として画像に付帯させる。具体的には、識別ＩＤ記録制御部２０Ｅは、各画像の画像データに対し、付与された識別ＩＤを付帯情報として付加し、画像ファイルのフォーマットに沿って整形する。
　図１７は、３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャートである。
　まず、対象物を撮影した画像が取得される（ステップＳ１１）。上記のように、この画像は、多視点画像であり、対象を複数の視点から撮影範囲を重複させて撮影した画像である。
　次に、取得した画像群に対し３次元合成処理が行われる（ステップＳ１２）。本処理により、対象の３次元モデルが生成される（図１４参照）。生成された３次元モデルは、補助記憶装置１４に記憶される。
　次に、３次元合成処理の結果から同一平面領域の抽出処理が行われる（ステップＳ１３）。すなわち、生成された３次元モデルにおいて、同じ面を構成する領域を抽出する処理が行われる（図１５参照）。
　次に、同一平面領域の抽出結果に基づいて、各画像に識別ＩＤが付与される（ステップＳ１４）。すなわち、同じ面を構成する画像に同じ識別ＩＤが付与される（図１６参照）。これにより、同じ面を撮影した画像に同じ識別ＩＤが付与される。
　次に、付与された識別ＩＤを付帯させた画像ファイルが生成される（ステップＳ１５）。すなわち、付帯情報（メタデータ）に識別ＩＤの情報を含んだ画像ファイルが生成される（図３参照）。生成された画像ファイルは、補助記憶装置１４に記憶される。
　以上説明したように、本実施の形態の点検支援装置２０によれば、各画像に識別ＩＤが付与される。識別ＩＤは、３次元合成処理の結果を利用して付与され、同じ面を撮影した画像に同じ識別ＩＤが付与される。付与された識別ＩＤは、付帯情報として、画像に付帯される。これにより、付帯情報のみを利用した画像の検索が可能になる。すなわち、点検支援装置２０は、付帯情報のみを利用して、特定の面を撮影した画像群を抽出できる。これにより、点検技術者が画像を添付したレポート等を作成等する場合に、その作業を容易にできる。
　［変形例］
　［同じ面を構成する領域の抽出処理］
　上記実施の形態では、点群データを利用して、平面を推定する処理を行い、同じ面を構成する領域を抽出する構成としているが、同じ面を構成する領域を抽出する方法は、これに限定されるものではない。たとえば、学習済みモデルを用いて、３次元モデルないし点群データから同じ面を構成する領域を認識し、抽出する方法等を採用することもできる。
　［識別ＩＤの生成］
　本実施の形態においても、画像に付与する識別ＩＤをユーザが入力する構成とすることができる。
　図１８は、画像に付与する識別ＩＤの情報をユーザが入力する場合に点検支援装置が有する主な機能のブロック図である。
　図１８に示すように、本例の点検支援装置２０は、識別ＩＤ入力受付部２０Ｆの機能を更に有する。識別ＩＤ入力受付部２０Ｆは、画像に付与する識別ＩＤの入力を受け付ける処理を行う。一例として、識別ＩＤ入力受付部２０Ｆは、表示装置１６及び入力装置１５を介して、識別ＩＤの入力を受け付ける。具体的には、点検支援装置２０は、生成された３次元モデルを表示装置１６に表示させ、識別ＩＤ入力受付部２０Ｆは、画面上で識別ＩＤを付与する領域の指定を受け付ける。指定可能な領域は、同じ面を構成する領域として抽出された領域である。識別ＩＤ入力受付部２０Ｆは、指定された領域に対して付与する識別ＩＤの入力を入力装置１５から受け付ける。識別ＩＤ入力受付部２０Ｆは、同一平面領域抽出部２０Ｃで抽出された各領域について、付与する識別ＩＤの入力を受け付ける。
　［画像に付帯させる情報］
　本実施の形態においても、識別ＩＤ以外の情報を画像に付帯させることができる。たとえば、第１の実施の形態と同様に、画像に対し画像解析を行った場合、その結果の情報を付帯情報に含めて付帯させてもよい。
　［第３の実施の形態］
　本実施の形態の点検支援装置では、撮影により得られた画像群を３次元合成処理し、その結果から対象物の同じ部材の領域を抽出し、抽出した領域を構成する画像に同じ識別ＩＤを付与する。
　なお、ハードウェア構成は、上記第１の実施の形態の点検支援装置と同じである。よって、ここでは、識別ＩＤの付与に関わる機能についてのみ説明する。
　図１９は、本実施の形態の点検支援装置が有する主な機能のブロック図である。
　本実施の形態の点検支援装置３０は、画像取得部３０Ａ、３次元合成処理部３０Ｂ、部材識別部３０Ｃ、識別ＩＤ付与部３０Ｄ及び識別ＩＤ記録制御部３０Ｅ等の機能を有する。各機能は、ＣＰＵが所定のプログラムを実行することで実現される。
　画像取得部３０Ａは、構造物を分割撮影した画像群を取得する処理を行う。対象物を複数の視点から撮影範囲を重複させて撮影した多視点画像が取得される。
　３次元合成処理部３０Ｂは、取得した画像群を用いて３次元合成処理を行い、対象の３次元モデルを生成する処理を行う。３次元合成処理部３０Ｂの機能は、上記第２の実施の形態と同じである。よって、その説明は省略する。
　部材識別部３０Ｃは、３次元合成処理の結果から構造物を構成する部材を識別し、同じ部材を構成する領域を抽出する処理を行う。一例として、本実施の形態では、部材識別部３０Ｃは、学習済みモデルを用いて、対象物の点群データから部材を識別する処理を行う。具体的には、部材識別部３０Ｃは、対象物の点群データを様々な視点で投影した画像（点群投影画像）から学習済みの画像認識モデルを用いて対象物を構成する部材を識別する。すなわち、部材識別部３０Ｃは、橋梁を構成する主桁、床版、橋脚等の部材を識別する。点群投影画像は、たとえば、様々な角度の視点から平面上に点群データを投影して生成する。画像認識モデルは、たとえば、画像セグメンテーションＣＮＮ（たとえば、ＳｅｇＮｅｔモデル）を用いることができ、部材情報を付与した点群データを教師データとして学習させる。教師データは、識別する部材の種類等に応じて生成する。
　図２０は、部材の識別結果の一例を示す図である。図２０では、橋梁を構成する部材として、舗装（路面）Ｐｍ、主桁Ｍｇ、橋脚Ｐが識別された場合の例を示している。
　識別ＩＤ付与部３０Ｄは、部材の識別結果に基づいて、各画像に識別ＩＤを付与する処理を行う。具体的には、識別ＩＤ付与部３０Ｄは、抽出された領域を構成する画像に対し、同じ識別ＩＤを付与する。ここで、抽出された領域を構成する画像とは、当該領域において合成に用いられた画像のことである。具体的には、抽出された領域を構成する画像は、テクスチャマッピングに使用された画像である。部材識別部３０Ｃで抽出される領域は、同じ部材を構成する領域である。したがって、同じ部材を構成する画像に同じ識別ＩＤが付与される。また、同じ部材を構成する画像は、同じ部材を撮影した画像であるので、同じ部材を撮影した画像に同じ識別ＩＤが付与される。
　識別ＩＤ付与部３０Ｄは、部材ごとに異なる識別ＩＤを生成し、付与する。たとえば、識別ＩＤ付与部３０Ｄは、部材を識別する記号と、４桁の数字を組み合わせて識別ＩＤを生成し、付与する。部材を識別する記号は、異なる部材同士を区別するのに用いられる。４桁の数字は、同じ部材同士を区別するのに用いられる。
　図２１は、識別ＩＤの付与の概念図である。図２１は、舗装（路面）に対し、「Ｐｍ０００１」、主桁に対し、「Ｍｇ０００１」、３つの橋脚に対し、それぞれ「Ｐ０００１」、「Ｐ０００２」、「Ｐ０００３」の識別ＩＤを付与した例を示している。なお、舗装の識別ＩＤは、舗装を識別記号である「Ｐｍ」と、４桁の数字を組み合わせて構成している。また、主桁の識別ＩＤは、主桁の識別記号である「Ｍｇ」と、４桁の数字を組み合わせて構成している。また、橋脚の識別ＩＤは、橋脚の識別記号である「Ｐ」と、４桁の数字を組み合わせて構成している。このように、部材ごとに割り当てられた識別記号を組み合わせて各部材の識別ＩＤを構成することで、後の検索を容易にできる。
　なお、上記第２の実施の形態と同様に、合成に用いられなかった画像には、所定の情報を付与して、他の画像と区別できるようにする。
　識別ＩＤ記録制御部３０Ｅは、識別ＩＤ付与部３０Ｄで各画像に付与された識別ＩＤを付帯情報（メタデータ）として画像に付帯させる。具体的には、識別ＩＤ記録制御部３０Ｅは、各画像の画像データに対し、付与された識別ＩＤを付帯情報として付加し、画像ファイルのフォーマットに沿って整形する。
　図２２は、３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順を示すフローチャートである。
　まず、対象物を撮影した画像が取得される（ステップＳ２１）。上記のように、この画像は、多視点画像であり、対象物を複数の視点から撮影範囲を重複させて撮影した画像である。
　次に、取得した画像群に対し３次元合成処理が行われる（ステップＳ２２）。本処理により、対象の３次元モデルが生成される（図１４参照）。生成された３次元モデルは、補助記憶装置１４に記憶される。
　次に、３次元合成処理の結果から部材の識別処理が行われる（ステップＳ２３）。すなわち、生成された３次元モデルにおいて部材が識別され、各部材を構成する領域が抽出される（図２０参照）。
　次に、部材の識別結果に基づいて、各画像に識別ＩＤが付与される（ステップＳ２４）。すなわち、同じ部材を構成する画像に同じ識別ＩＤが付与される（図２１参照）。これにより、同じ部材を撮影した画像に同じ識別ＩＤが付与される。
　次に、付与された識別ＩＤを付帯させた画像ファイルが生成される（ステップＳ２５）。すなわち、付帯情報（メタデータ）に識別ＩＤの情報を含んだ画像ファイルが生成される（図３参照）。生成された画像ファイルは、補助記憶装置１４に記憶される。
　以上説明したように、本実施の形態の点検支援装置３０によれば、各画像に識別ＩＤが付与される。識別ＩＤは、３次元合成処理の結果を利用して付与され、同じ部材を撮影した画像に同じ識別ＩＤが付与される。付与された識別ＩＤは、付帯情報として、画像に付帯される。これにより、付帯情報のみを利用した画像の検索が可能になる。すなわち、点検支援装置３０は、付帯情報のみを利用して、特定の部材を撮影した画像群を抽出できる。これにより、点検技術者が画像を添付したレポート等を作成等する場合に、その作業を容易にできる。
　［変形例］
　［部材の識別処理］
　上記実施の形態では、学習済みモデル（画像認識モデル）を利用して、点群データから部材を識別する構成としているが、部材を識別する方法は、これに限定されるものではない。３次元モデルから部材を識別する構成とすることもできる。
　［画像に付帯させる情報］
　本実施の形態においても、識別ＩＤ以外の情報を画像に付帯させることができる。たとえば、第１の実施の形態と同様に、画像に対し画像解析を行った場合、その結果の情報を付帯情報に含めて付帯させてもよい。
　［その他の実施の形態］
　［対象物等］
　上記実施の形態では、橋梁を対象とした場合を例に説明したが、本発明の適用は、これに限定されるものではない。その他の構造物に対しても同様に適用できる。
　また、上記実施の形態では、橋梁等の構造物の点検を支援する場合を例に説明した、本発明の適用は、これに限定されるものではない。構造物を対象とした診断、補修設計、補修前点検等の各種業務を支援する技術にも適用できる。
　［画像データ構造］
　識別ＩＤについては、画像データに付帯されていればよく、その具体的なデータ構造については特に限定されない。
　ただし、識別ＩＤは、検索に用いられることから、検索可能な状態で画像データに付帯させる必要がある。特に、市販のソフトウェア等で検索できる構造であることが好ましい。
　［ハードウェア構成］
　情報処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
１　床版
２　格間
３　主桁
４　横桁
１０　点検支援装置
１０Ａ　画像取得部
１０Ｂ　損傷検出部
１０Ｃ　パノラマ合成処理部
１０Ｄ　損傷図生成部
１０Ｅ　識別ＩＤ付与部
１０Ｆ　識別ＩＤ記録制御部
１０Ｇ　識別ＩＤ入力受付部
１１　ＣＰＵ
１２　ＲＡＭ
１３　ＲＯＭ
１４　補助記憶装置
１５　入力装置
１６　表示装置
１７　入出力インターフェース
２０　点検支援装置
２０Ａ　画像取得部
２０Ｂ　３次元合成処理部
２０Ｂ１　点群データ生成部
２０Ｂ２　３次元パッチモデル生成部
２０Ｂ３　３次元モデル生成部
２０Ｃ　同一平面領域抽出部
２０Ｄ　識別ＩＤ付与部
２０Ｅ　識別ＩＤ記録制御部
２０Ｆ　識別ＩＤ入力受付部
３０　点検支援装置
３０Ａ　画像取得部
３０Ｂ　３次元合成処理部
３０Ｃ　部材識別部
３０Ｄ　識別ＩＤ付与部
３０Ｅ　識別ＩＤ記録制御部
Ｄ　損傷図
Ｉ　格間全体を写した画像
ｉ　画像
Ｍｇ　主桁
Ｐ　橋脚
Ｐｍ　舗装（路面）
Ｓ１～Ｓ６　損傷図の作成、並びに、識別ＩＤの付与及び記録の処理の手順
Ｓ１１～Ｓ１５　３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順
Ｓ２１～Ｓ２５　３次元モデルの生成、並びに、識別ＩＤの付与及び記録の処理の手順

Claims (17)

  1. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　撮影範囲を重複させて撮影した画像群を取得し、
    　取得した前記画像群を合成処理し、
    　前記合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として前記画像に付帯させる、
    　情報処理装置。
  2. 　前記プロセッサは、
    　取得した前記画像群をパノラマ合成処理し、
    　合成された領域を構成する画像に同じ前記識別情報を付与し、前記付帯情報として前記画像に付帯させる、
    　請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、更に、
    　前記領域の情報を取得し、
    　前記領域を特定する情報を前記識別情報として付与する、
    　請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、
    　取得した前記画像群を３次元合成処理し、
    　前記３次元合成処理の結果から対象物の同じ面を構成する領域を抽出し、
    　抽出した前記領域を構成する画像に同じ前記識別情報を付与し、前記付帯情報として前記画像に付帯させる、
    　請求項１に記載の情報処理装置。
  5. 　前記プロセッサは、更に、
    　前記領域の情報を取得し、
    　前記領域を特定する情報を前記識別情報として付与する、
    　請求項４に記載の情報処理装置。
  6. 　前記プロセッサは、
    　取得した前記画像群を３次元合成処理し、
    　前記３次元合成処理の結果から対象物の同じ部材の領域を抽出し、
    　抽出した前記領域を構成する画像に同じ前記識別情報を付与し、前記付帯情報として前記画像に付帯させる、
    　請求項１に記載の情報処理装置。
  7. 　前記プロセッサは、更に、
    　前記画像に対する画像解析の結果の情報を取得し、
    　取得した前記画像解析の結果の情報を前記付帯情報に含めて、前記画像に付帯させる、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記画像解析の結果の情報は、画像解析による検出結果の情報、画像解析による種別判定結果の情報、及び、画像解析による計測結果の情報の少なくとも１つを含む、
    　請求項７に記載の情報処理装置。
  9. 　前記画像解析による検出結果の情報は、欠陥の検出結果の情報及び損傷の検出結果の情報の少なくとも１つを含む、
    　請求項８に記載の情報処理装置。
  10. 　前記画像解析による種別判定結果の情報は、欠陥の種類の判定結果の情報及び損傷の種類の判定結果の情報の少なくとも１つを含む、
    　請求項８又は９に記載の情報処理装置。
  11. 　前記画像解析による計測結果の情報は、欠陥のサイズに関する計測結果の情報、損傷のサイズに関する計測結果の情報、欠陥の形状に関する計測結果の情報、及び損傷の形状に関する計測結果の情報の少なくとも１つを含む、
    　請求項８から１０のいずれか１項に記載の情報処理装置。
  12. 　前記付帯情報が、前記画像の検索に用いられる、
    　請求項１から１１のいずれか１項に記載の情報処理装置。
  13. 　撮影範囲を重複させて撮影した画像群を取得し、
    　取得した前記画像群を合成処理し、
    　前記合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として前記画像に付帯させる、
    　情報処理方法。
  14. 　撮影範囲を重複させて撮影した画像群を取得し、
    　取得した前記画像群を合成処理し、
    　前記合成処理の結果から撮影対象が同じ画像に同じ識別情報を付与し、付帯情報として前記画像に付帯させる、
    　ことをコンピュータに実現させる情報処理プログラム。
  15. 　画像データ構造であって、
    　画像と、
    　付帯情報と、
    　を含み、
    　前記付帯情報は、撮影対象を識別する識別情報を含む、
    　画像データ構造。
  16. 　前記付帯情報は、更に、前記画像に対する画像解析の結果の情報を含む、
    　請求項１５に記載の画像データ構造。
  17. 　前記付帯情報が、前記画像の検索に用いられる、
    　請求項１５又は１６に記載の画像データ構造。
PCT/JP2022/031372 2021-09-22 2022-08-19 情報処理装置、方法及びプログラム、並びに、画像データ構造 WO2023047859A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023549417A JPWO2023047859A1 (ja) 2021-09-22 2022-08-19
CN202280061698.0A CN117940950A (zh) 2021-09-22 2022-08-19 信息处理装置、方法及程序、以及图像数据结构
EP22872615.4A EP4407552A1 (en) 2021-09-22 2022-08-19 Information processing device, method and program, and image data structure
US18/601,950 US20240257315A1 (en) 2021-09-22 2024-03-11 Information processing apparatus, method, and program, and image data structure

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021154105 2021-09-22
JP2021-154105 2021-09-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/601,950 Continuation US20240257315A1 (en) 2021-09-22 2024-03-11 Information processing apparatus, method, and program, and image data structure

Publications (1)

Publication Number Publication Date
WO2023047859A1 true WO2023047859A1 (ja) 2023-03-30

Family

ID=85719452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031372 WO2023047859A1 (ja) 2021-09-22 2022-08-19 情報処理装置、方法及びプログラム、並びに、画像データ構造

Country Status (5)

Country Link
US (1) US20240257315A1 (ja)
EP (1) EP4407552A1 (ja)
JP (1) JPWO2023047859A1 (ja)
CN (1) CN117940950A (ja)
WO (1) WO2023047859A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934382A (zh) * 2023-12-27 2024-04-26 北京交科公路勘察设计研究院有限公司 基于图像分析的高速公路护栏检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001756A (ja) * 2013-06-13 2015-01-05 株式会社日立製作所 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016125846A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
JP2020160944A (ja) 2019-03-27 2020-10-01 富士通株式会社 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001756A (ja) * 2013-06-13 2015-01-05 株式会社日立製作所 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016125846A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
JP2020160944A (ja) 2019-03-27 2020-10-01 富士通株式会社 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934382A (zh) * 2023-12-27 2024-04-26 北京交科公路勘察设计研究院有限公司 基于图像分析的高速公路护栏检测方法及系统

Also Published As

Publication number Publication date
US20240257315A1 (en) 2024-08-01
CN117940950A (zh) 2024-04-26
JPWO2023047859A1 (ja) 2023-03-30
EP4407552A1 (en) 2024-07-31

Similar Documents

Publication Publication Date Title
Erkal et al. Laser-based surface damage detection and quantification using predicted surface properties
Chen et al. UAV bridge inspection through evaluated 3D reconstructions
Zhao et al. Structural health monitoring and inspection of dams based on UAV photogrammetry with image 3D reconstruction
Chow et al. Automated defect inspection of concrete structures
Chen et al. Geo-registering UAV-captured close-range images to GIS-based spatial model for building façade inspections
Kong et al. Preserving our heritage: A photogrammetry-based digital twin framework for monitoring deteriorations of historic structures
JP6805351B2 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
Alshawabkeh Linear feature extraction from point cloud using color information
Wittich et al. Characterization of full-scale, human-form, culturally important statues: case study
JP6412658B2 (ja) 点検計画立案支援システム、方法およびプログラム
Marzouk Using 3D laser scanning to analyze heritage structures: The case study of egyptian palace
Talebi et al. The development of a digitally enhanced visual inspection framework for masonry bridges in the UK
WO2023047859A1 (ja) 情報処理装置、方法及びプログラム、並びに、画像データ構造
US20230260098A1 (en) Structure inspection assistance apparatus, structure inspection assistance method, and program
Jiang et al. Automatic concrete sidewalk deficiency detection and mapping with deep learning
Hsu et al. Defect inspection of indoor components in buildings using deep learning object detection and augmented reality
Gomes et al. A digital and non-destructive integrated methodology for heritage modelling and deterioration mapping. The case study of the Moorish Castle in Sintra
Yiğit et al. Automatic Crack Detection and Structural Inspection of Cultural Heritage Buildings Using UAV Photogrammetry and Digital Twin Technology
Napolitano et al. Quantifying the differences in documentation and modeling levels for building pathology and diagnostics
US20210270748A1 (en) Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
Camp et al. Large structures: which solutions for health monitoring?
Wójcik et al. Asesment of state-of-the-art methods for bridge inspection: case study
Chen et al. Integrating UAV photogrammetry and terrestrial laser scanning for three-dimensional geometrical modeling of post-earthquake county of Beichuan
US20240040247A1 (en) Method for capturing image, method for processing image, image capturing system, and information processing system
Zhu et al. Comparison of civil infrastructure optical-based spatial data acquisition techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872615

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549417

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280061698.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022872615

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022872615

Country of ref document: EP

Effective date: 20240422