Nothing Special   »   [go: up one dir, main page]

WO2017154061A1 - 地図作成装置および地図作成方法 - Google Patents

地図作成装置および地図作成方法 Download PDF

Info

Publication number
WO2017154061A1
WO2017154061A1 PCT/JP2016/056925 JP2016056925W WO2017154061A1 WO 2017154061 A1 WO2017154061 A1 WO 2017154061A1 JP 2016056925 W JP2016056925 W JP 2016056925W WO 2017154061 A1 WO2017154061 A1 WO 2017154061A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
point
space
data
point cloud
Prior art date
Application number
PCT/JP2016/056925
Other languages
English (en)
French (fr)
Inventor
浩司 脇本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to AU2016396487A priority Critical patent/AU2016396487B2/en
Priority to EP16893393.5A priority patent/EP3404358B1/en
Priority to US16/070,755 priority patent/US11250622B2/en
Priority to PCT/JP2016/056925 priority patent/WO2017154061A1/ja
Priority to JP2018500747A priority patent/JP6320664B2/ja
Publication of WO2017154061A1 publication Critical patent/WO2017154061A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a map creation device and a map creation method for creating a map by measuring the position and shape of features around a road.
  • Patent Document 1 discloses an apparatus that generates a map by determining the position of a feature around a road using point cloud data obtained using a laser measuring device installed in a traveling vehicle.
  • a method is described in which a laser measurement point corresponding to the position designated by the operator on the screen is obtained, and the contour of the feature is determined based on the position information of the point.
  • a method for creating a map based on the position information of the obtained features is shown.
  • Non-Patent Document 1 discloses a method for obtaining a three-dimensional shape of a building or the like around a road using point cloud data obtained using a laser measuring device installed in a vehicle.
  • point cloud data is analyzed by a computer program to detect a region such as a wall of a building, and a contour of the region is obtained to obtain a three-dimensional shape of the building.
  • the laser measuring device has the property that if there is an obstacle in front, the feature behind it cannot be detected. For this reason, for example, if there is a tree on the road, there is a problem in the point cloud data of the building behind the road, the area cannot be detected correctly, and an accurate map cannot be generated.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a map generation apparatus capable of generating an accurate map by a simple operation.
  • the map creation device is: A relative position acquisition means for measuring the distance and direction from the sensor to each point on the surface of the feature and generating point cloud data in a relative space centered on the sensor; Sensor position acquisition means for measuring the position and orientation of the sensor and generating sensor position data; Absolute position calculating means for calculating position information of the point cloud in the absolute space based on the point cloud data of the relative space and the sensor position data; Based on the point cloud data in the relative space and the sensor position data, direction vector calculation means for obtaining a direction vector from the sensor in the absolute space to each point in the point cloud; Area detecting means for extracting points constituting a surface based on position information of the point group in the absolute space and the direction vector, and obtaining an outline of the area based on the distribution of the extracted points; Drawing means for creating a diagram showing the outline of the detected area by a line; It is characterized by comprising.
  • FIG. 1 is a diagram showing a configuration example of a map creation device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an example of the processing flow of the map creating apparatus according to Embodiment 1 of the present invention. This figure also corresponds to a functional block diagram of the map creation device according to the first embodiment.
  • 1 is a mobile measurement vehicle
  • 2 is a data processing device
  • 11 is a laser measurement device
  • 12 is an IMU (Inertial Measurement Unit)
  • 13 is a GPS (Global Positioning System) receiver
  • 14 is an external storage.
  • 15 is a PC (control device)
  • 21 is a PC (Personal Computer)
  • 22 is an external storage device
  • 23 is an input device (mouse, keyboard)
  • 24 is a display
  • 25 is a printer.
  • the mobile measurement vehicle 1 has the following devices mounted on the vehicle, and acquires measurement data while traveling.
  • the laser measuring device 11 is a device that measures the distance and direction to a target by irradiating laser light in each direction and observing reflected light.
  • the IMU 12 is a device that measures a change in posture of a vehicle using the law of inertia.
  • the GPS receiver 13 is a device that receives radio waves from a satellite and measures the absolute position of the vehicle.
  • the external storage device 14 stores the measurement data of each device in association with the time.
  • the PC (control device) 15 controls the laser measurement device 11, the IMU 12, and the GPS receiver 13 and stores measurement data in the external storage device 14. It can be configured using a personal computer.
  • the data processing device 2 is a device that processes the measurement data acquired by the mobile measurement vehicle and generates a map. It consists of the following devices.
  • a PC (personal computer) 21 includes a central processing unit (CPU) and a main storage device, and performs data processing by executing software prepared in advance.
  • the external storage device 22 stores the measurement data acquired by the mobile measurement vehicle 1 in this device, and performs data processing by reading it from the PC 21.
  • the mobile measurement vehicle 1 and the data processing device 2 are each provided with the external storage devices 14 and 22, but the external storage device 14 of the mobile measurement vehicle 1 is removed and the PC 21 of the data processing device 2. May be used as an external storage device 22, or the mobile measurement vehicle 1 and the data processing device 2 may be connected to a network to copy data. Map information generated as a result of data processing is also stored in this device.
  • the input device 23 includes a mouse, a keyboard, and the like, and inputs user instructions regarding map creation.
  • the display 24 displays measurement data and created map data on the screen.
  • the printer 25 prints the created map data.
  • the laser measurement device 11 irradiates laser light in various directions while continuously rotating the laser irradiation device until the laser light is reflected back to the target and returned.
  • the distance and direction to the reflection point are calculated by measuring the time.
  • the position (x, y, z) in the relative space is calculated based on the distance and direction.
  • the format of the measurement data obtained is a combination of the time of laser irradiation and the position (x, y, z) in the relative space.
  • the relative space is a three-dimensional orthogonal coordinate with the position of the laser measuring device 11 as the origin.
  • the x axis, the y axis, and the z axis are respectively defined as a right direction with respect to the vehicle traveling direction, a vehicle traveling direction, and an upward direction with respect to the vehicle traveling direction.
  • (B) Sensor position acquisition The absolute position of the mobile measurement vehicle 1 is acquired by the GPS receiver 13 every 0.1 seconds, for example, and recorded in association with the time.
  • the GPS receiver 13 information on latitude, longitude, and altitude can be obtained. In this embodiment, this is used as an origin at a certain point determined by ENU (East, North, Up) coordinates (latitude, longitude, altitude, (X-axis is east, Y-axis is north, and Z-axis is zenith direction).
  • the attitude of the vehicle 1 at each time is measured based on the output of the IMU 12, and similarly recorded in association with the time.
  • the posture of the vehicle is expressed by a set of three angles of roll (R), pitch (P), and yaw (Y).
  • the roll is an angle of rotation about the axis in the traveling direction (y axis)
  • the pitch is the angle of rotation about the axis in the right direction (x axis) with respect to the traveling direction
  • the yaw is upward with respect to the traveling direction
  • the angle of rotation about the axis (z-axis).
  • FIG. 3B shows an example of the sensor position data format. The processing so far is performed in the mobile measurement vehicle 1, and the obtained point cloud data (relative position) and sensor position data are stored in the external storage device 14 of the mobile measurement vehicle 1.
  • (C) Absolute Position Calculation The processing from here is processing in the data processing device 2.
  • the point cloud data (relative position) and sensor position data obtained above are transferred from the external storage device 14 of the mobile measurement vehicle 1 to the external storage device 22 of the data processing device 2.
  • the relative coordinates of the point cloud data are converted into absolute coordinates using the sensor position data by a program operating on the PC 21.
  • the process of converting the relative coordinates (x, y, z) of the point measured at time t into absolute coordinates (X, Y, Z) follows the following equation.
  • R is a rotation matrix that can be calculated from the attitude data Rt, Pt, and Yt of the sensor at time t by a known calculation formula
  • T is the following when the position data of the sensor at time t is Xt, Yt, and Zt.
  • Fig. 4 (a) shows an example of the format of the obtained point cloud data (absolute position).
  • R is the same rotation matrix used in the absolute position calculation
  • (x, y, z) is the relative coordinates of the point measured at time t.
  • the obtained direction vector is stored as attribute information of each point constituting the point cloud data.
  • FIG. 4B shows an example of the format of the obtained point cloud data (with direction vector).
  • FIG. 5 shows the flow of area detection processing.
  • FIG. 5 also corresponds to a functional block diagram obtained by further subdividing the area detecting means of the map creating apparatus according to the first embodiment.
  • FIG. 6A shows an example of a feature to be measured.
  • the measurement target is divided into a sidewalk area and a roadway area. Since the relative height of the sidewalk area and the roadway area with respect to the sensor installed in the moving vehicle is substantially constant, the values z0 and z1 are set in advance.
  • the rotation matrix R and the translation vector T at a certain time when the vicinity of the region is measured and applying the (Equation 1) to the relative coordinates z0 and z1, the respective Z coordinates Z0 and Z1 can be calculated.
  • FIG. 6 (b) illustrates an example of point cloud data obtained by measuring the features in FIG. 6 (a). Since the points that make up the sidewalk area and the roadway area are assumed to be near the reference plane of the sidewalk area and the reference plane of the roadway area, a point cloud within a certain distance from each reference plane is extracted to form each area. Point cloud.
  • each point is considered as a two-dimensional point cloud defined by the X coordinate and the Y coordinate. Find the polygon that encloses the group along its contour. This is the area to be obtained. Thereby, as shown in FIG.6 (c), a sidewalk area
  • FIG. 6E shows an example when the vehicle is stopped on the roadway.
  • points in the vicinity of the reference plane of the sidewalk among points constituting the vehicle are extracted as points constituting the sidewalk region.
  • the region estimation result is such that the sidewalk protrudes from the roadway. In order to avoid this, the following processing is performed.
  • the laser measurement device 11 mounted on the mobile measurement vehicle 1 in this embodiment can irradiate laser in almost all directions. Then, when the measurement is performed while running, the laser is irradiated from the front and rear to substantially the same point.
  • the point cloud data (with direction vector) is examined to find neighboring points at almost the same position.
  • the distribution of direction vectors of neighboring points depends on the orientation of the surface to which this point belongs and the sensor position. That is, when the laser is irradiated from the front and rear as in a sidewalk or a roadway, the direction vectors of the points constituting the surface are mixed forward and backward. However, the direction vector of a point belonging to a backward-facing surface such as the rear surface of the vehicle is only forward-facing.
  • the direction vector distribution is estimated based on the direction of the reference plane and the sensor position, and only the points whose neighboring direction direction vector distribution matches the estimated direction vector distribution are extracted. To do. Specifically, the above point cloud extraction process is expanded as follows.
  • the locus of the estimated direction vector can be obtained.
  • the movement locus of the sensor is a straight line.
  • the locus of the estimated direction vector becomes an arc.
  • the locus of the estimated direction vector is expressed by a start direction vector and an end direction vector.
  • Neighbor point extraction A point within a predetermined distance from a candidate point is extracted and set as a neighbor point. (Neighboring points include candidate points.)
  • the locus of the direction vector of the neighboring points is obtained. This is realized, for example, by obtaining a range in which the direction vector exists in an arc formed by the locus of the estimated direction vector previously associated.
  • the length of the estimated direction vector trajectory is compared with the length of the direction vector trajectory of the neighboring points, and if the ratio is within a predetermined range, it is determined that it is suitable. In this way, the points that make up the back and front of the vehicle do not match the distribution of the direction vector of the roadway and sidewalk, so they are not included in the extracted points and can correctly extract the sidewalk and roadway. it can.
  • FIG. 6D is an example of a drawing result.
  • the drawing apparatus is configured as described above. According to this configuration, a reference plane is set in a three-dimensional space, points whose positions are close to the reference plane and the direction vector distribution matches the direction of the reference plane are extracted, and a region is detected based on the distribution. Therefore, even if the operator does not specify the shape of the feature in detail, a map can be created by a simple operation, and an accurate map can be generated without detecting an erroneous area from points belonging to different planes. Has the effect of becoming possible.
  • FIG. FIG. 1 is a diagram showing a configuration example of a map creating apparatus according to Embodiment 2 of the present invention, which is the same as the configuration example in Embodiment 1.
  • 2 and 8 are diagrams showing an example of the processing flow of the map creating apparatus according to the second embodiment of the present invention. Of these, FIG. 2 is the same as the example of the processing flow in the first embodiment. This also corresponds to the functional block diagram of the map creation device according to Embodiment 2 of the present invention.
  • FIG. 8 also corresponds to a functional block diagram obtained by further subdividing the area detecting means of the map creating apparatus according to the second embodiment.
  • FIG. 7A schematically shows an example of a measurement target.
  • there are structures such as street trees on the sidewalk.
  • an area where the laser does not reach is generated on the sidewalk behind the street tree as shown in the figure.
  • a defective region as shown in FIG. 7B is generated.
  • the second embodiment is a form for avoiding the occurrence of such a defective region.
  • (E-1) Reference plane setting a reference plane for determination is defined. It is desirable to define this reference plane so that it is as close as possible to the region to be detected and the inclination with respect to the region plane is as small as possible. For example, if a sidewalk area is to be detected, it is better to define a horizontal surface near the ground.
  • the range of the reference plane corresponds to the range of the map to be created. If a rectangular map is to be generated, it is preferable that the rectangle has a vertical side that matches the north-south direction and a horizontal side that matches the east-west direction.
  • the reference plane defined in (e-1) is divided into, for example, meshes with an interval of 5 cm. If the reference plane is 10 m in length and 5 m in width, the reference plane is divided into 200, 100 in length and 20000 meshes in total.
  • a two-dimensional array corresponding to the mesh structure is secured in the main storage device and initialized. For example, ⁇ 1 or the like is set as the initial value (see FIG. 10A). Further, the following processing is performed for each point constituting the generated point group.
  • the distance d is equal to or greater than th1 but smaller than another predetermined value th2, it is determined that the area is not a target such as a roadway, and a label 0 is attached.
  • the distance d is greater than or equal to th2, it is not a point near the road surface such as a sidewalk or a roadway, so it is determined that the area may be a missing area because it is reflected by a structure such as a roadside tree, and the label 9 is (See FIG. 10B).
  • (E-3) Missing Region Compensation A mesh with label 9 in the two-dimensional array is a candidate for the missing region.
  • the mesh of label 9 adjacent to the mesh of label 1 is determined as a sidewalk region, and label 9 is changed to label 1. This process is repeated several times.
  • the obtained result is shown in FIG.
  • the defect area is eliminated.
  • the mesh in which the label 9 remains is considered to be a defective area generated on the roadway by another structure. Since this mesh is not adjacent to the mesh of label 1, it is not complemented. In this way, the label 1 can be attached only to the mesh estimated as the sidewalk.
  • FIG. 10D when the contour of the area formed by the mesh with the label 1 is obtained, this becomes the sidewalk area.
  • the map creating apparatus is configured as described above.
  • the area detection unit sets a reference plane in the three-dimensional space, projects the points on the set reference plane in the direction of the direction vector from the points constituting the point group, and projects the reference plane onto the reference plane. Since the missing area is extracted from the result and complemented, and the area is detected based on the result, the area can be detected correctly even if the point cloud data is missing, and an accurate map is generated by simple operations. There is an effect that it becomes possible.
  • the map creation apparatus and map creation method according to the present invention can be applied to an apparatus for creating a map by measuring the position and shape of features around a road.
  • 1 mobile measuring vehicle 2 data processing device, 11 laser measuring device, 12 IMU, 13 GPS receiver, 14 external storage device, 15 PC, 21 PC, 22 external storage device, 23 input device, 24 display, 25 printer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

簡単な操作により正確な地図を生成可能な地図生成装置を得るため、 センサーから地物表面の各点までの距離と方向を計測してセンサーを中心とする相対空間の点群データを生成する相対位置取得手段と、センサーの位置と姿勢を計測してセンサー位置データを生成するセンサー位置取得手段と、相対空間の点群データとセンサー位置データとに基づいて絶対空間における点群の位置情報を算出する絶対位置算出手段と、相対空間の点群データとセンサー位置データに基づき、絶対空間におけるセンサーから点群の各点への方向ベクトルを求める方向ベクトル算出手段と、絶対空間における点群の位置情報と方向ベクトルに基づき面を構成する点を抽出し、抽出された点の分布に基づき領域の輪郭を求める領域検出手段と、検出した領域の輪郭を線で示した図を作成する作図手段と、を備えた。

Description

地図作成装置および地図作成方法
 本発明は、道路周辺の地物の位置や形状を計測して地図を作成する地図作成装置および地図作成方法に関するものである。
 特許文献1には、走行する車両に設置したレーザー計測装置を用いて得られる点群データを用いて道路周辺の地物の位置を求めて地図を生成する装置が示されている。この装置の説明の中で、操作者が画面上で指示した位置に対応するレーザー計測点を求め、点の位置情報に基づき地物の輪郭を決定する方法が示されている。また、得られた地物の位置情報に基づき地図を作成する方法が示されている。
 また、非特許文献1には、車両に設置したレーザー計測装置を用いて得られる点群データを用いて道路周辺の建物等の3次元形状を求める方法が示されている。示された方法は、点群データをコンピュータプログラムにより解析して建物の壁などの領域を検出し、領域の輪郭を求めることにより建物の3次元形状を求めるものである。
特開2009-204615号公報
Previtali, M., M. Scaioni, L. Barazzetti, and R. Brumana., "A Flexible Methodology for Outdoor/indoor Building Reconstruction from Occluded Point Clouds", ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. II-3, 2014, pp.119-26.
 従来の地図作成装置は上記のように構成されていた。このため、操作者が画面上で地物の輪郭を指示して位置を求める方法では、地物の形状が複雑な場合や多くの地物の数が多い場合は操作者の指示の回数が増え、作業が煩雑になるという問題があった。また、点群データをコンピュータプログラムにより解析して領域を検出して3次元形状を求める方法では、異なる面を構成する点が近傍に存在すると、これらを同一の面を構成すると誤り、実際には存在しない領域を検出してしまう場合があった。この場合、操作者が誤りを修正する必要があり、作業が煩雑になるという問題があった。
 また、レーザー計測において発生する領域の欠損などのために実際と異なる領域が検出され、これを修正するために多大な作業が必要となるという問題があった。特に、レーザー計測装置は手前に障害物があるとその背後にある地物を検出することができないという性質がある。このため、例えば道路上に樹木があると、その背後の建物の点群データに欠損が生じ、正しく領域を検出できず、正確な地図が生成できないという問題があった。
 この発明は上記のような問題点を解決するためになされたもので、簡単な操作により正確な地図を生成可能な地図生成装置を得ることを目的とする。
 この発明に係る地図作成装置は、
 センサーから地物表面の各点までの距離と方向を計測して前記センサーを中心とする相対空間の点群データを生成する相対位置取得手段と、
 前記センサーの位置と姿勢を計測してセンサー位置データを生成するセンサー位置取得手段と、
 前記相対空間の点群データと前記センサー位置データとに基づいて絶対空間における点群の位置情報を算出する絶対位置算出手段と、
 前記相対空間の点群データと前記センサー位置データに基づき、絶対空間における前記センサーから点群の各点への方向ベクトルを求める方向ベクトル算出手段と、
 絶対空間における前記点群の位置情報と前記方向ベクトルに基づき、面を構成する点を抽出し、抽出された点の分布に基づき領域の輪郭を求める領域検出手段と、
 検出した前記領域の輪郭を線で示した図を作成する作図手段と、
 を備えたことを特徴とするものである。
 この発明によれば、簡単な操作により正確な地図を生成可能な地図生成装置を得ることができる。
この発明の実施の形態1に係る地図作成装置の構成を示す図である。 この発明の実施の形態1に係る地図作成装置の処理フローの例を示すフローチャートである。 この発明の実施の形態1に係る地図作成装置における移動計測車両により取得するデータの形式の例を示す説明図である。 この発明の実施の形態1に係る地図作成装置におけるデータ処理装置により生成される点群データの形式の例を示す説明図である。 この発明の実施の形態1に係る地図作成装置における領域検出手段の処理フローの例を示すフローチャートである。 この発明の実施の形態1に係る地図作成装置の領域検出について説明する説明図である。 この発明の実施の形態2に係る地図作成装置の動作を説明する説明図である。 この発明の実施の形態2に係る地図作成装置における領域検出手段の処理フローの例を示すフローチャートである。 この発明の実施の形態2に係る地図作成装置の領域検出について説明する説明図である。 この発明の実施の形態2に係る地図作成装置の領域検出について説明する説明図である。
実施の形態1.
 図1はこの発明の実施の形態1に係る地図作成装置の構成例を示した図である。また、図2はこの発明の実施の形態1に係る地図作成装置の処理フローの例を示した図である。この図は実施の形態1に係る地図作成装置の機能ブロック図にも対応している。
 図1において、1は移動計測車両、2はデータ処理装置、11はレーザー計測装置、12はIMU(Inertial Measurement Unit;慣性計測装置)、13はGPS(Global Positioning System)受信機、14は外部記憶装置、15はPC(制御装置)、21はPC(Personal Computer;パーソナルコンピュータ)、22は外部記憶装置、23は入力装置(マウス、キーボード)、24はディスプレイ、25はプリンタ、である。
(システム構成)
 次に図1に示すシステムの各構成要素について説明する。
 移動計測車両1は、車両に以下の各装置を搭載し、走行しながら計測データを取得する。レーザー計測装置11は、レーザー光を各方向に照射し、反射光を観測することにより対象までの距離と方向を計測する装置である。IMU12は、慣性の法則を利用して車両の姿勢変化を計測する装置である。GPS受信機13は、衛星からの電波を受信し、車両の絶対位置を計測する装置である。外部記憶装置14は、各装置の計測データを時刻と対応付けて記憶する。PC(制御装置)15は、レーザー計測装置11、IMU12、GPS受信機13を制御し、計測データを外部記憶装置14に記憶する。パーソナルコンピュータを用いて構成することができる。
 データ処理装置2は、移動計測車両により取得した計測データを処理し、地図を生成する装置である。以下の各装置により構成される。PC(パーソナルコンピュータ)21は、内部に中央処理装置(CPU;Central Processing Unit)および主記憶装置を含み、予め用意したソフトウェアを実行することによりデータ処理を行う。
 外部記憶装置22は、移動計測車両1により取得した計測データをこの装置に記憶し、これをPC21から読み込むことによりデータ処理を行う。図1では、移動計測車両1とデータ処理装置2のそれぞれに外部記憶装置14、22を備えたものを示しているが、移動計測車両1の外部記憶装置14を取り外してデータ処理装置2のPC21に接続して外部記憶装置22としても良いし、移動計測車両1とデータ処理装置2をネットワーク接続してデータをコピーしても良い。データ処理の結果生成された地図の情報もこの装置に記憶する。
 入力装置23は、マウス、キーボード等からなり、地図作成に関するユーザの指示を入力する。ディスプレイ24は、計測データや作成した地図データを画面に表示する。プリンタ25は、作成した地図データを印刷する
(動作説明)
 次にこのシステムにおける地図作成装置の処理の流れについて、図2を参照しながら説明する。
(a)相対位置取得
 移動計測車両1において、レーザー計測装置11はレーザー照射装置を連続的に回転させながらレーザー光を様々な方向に照射し、レーザー光が対象に反射して戻ってくるまでの時間を計測することにより反射点までの距離と方向を算出する。さらに距離と方向に基づき、相対空間における位置(x,y,z)を算出する。
 得られる計測データの形式は図3(a)に示すように、レーザーを照射した時刻と相対空間における位置(x,y,z)を組にしたものとなる。ここで相対空間は、レーザー計測装置11の位置を原点とした3次元直交座標である。x軸、y軸、z軸は例えばそれぞれ、車両進行方向に対して右方向、車両進行方向、車両進行方向に対して上方向と定義する。
(b)センサー位置取得
 GPS受信機13により例えば0.1秒毎に移動計測車両1の絶対位置を取得し、時刻と対応づけて記録する。
 GPS受信機13を用いると緯度・経度・高度の情報が得られるが、この実施の形態ではこれをENU(East, North, Up)座標(緯度・経度・高度により定めたある地点を原点とし、X軸を東、Y軸を北、Z軸を天頂方向に向けた3次元直交座標)に変換して記録する。
 また、IMU12の出力に基づき各時刻における車両1の姿勢を計測し、同様に時刻と対応づけて記録する。ここで車両の姿勢はロール(R)、ピッチ(P)、ヨー(Y)の3つの角度の組により表現する。ロールは進行方向の軸(y軸)を中心とする回転の角度、ピッチは進行方向に対して右方向の軸(x軸)を中心とする回転の角度、ヨーは進行方向に対して上方向の軸(z軸)を中心とする回転の角度である。
 図3(b)にセンサー位置データ形式の例を示す。
 ここまでの処理は、移動計測車両1において行われ、得られた点群データ(相対位置)とセンサー位置データは移動計測車両1の外部記憶装置14に蓄えられる。
(c)絶対位置算出
 ここからの処理は、データ処理装置2における処理である。上記で得られた点群データ(相対位置)とセンサー位置データは移動計測車両1の外部記憶装置14からデータ処理装置2の外部記憶装置22に移される。
 データ処理装置2では、PC21で動作するプログラムにより、センサー位置データを用いて、点群データの相対座標を絶対座標に変換する。時刻tに計測した点の相対座標(x,y,z)を絶対座標(X,Y,Z)に変換する処理は、次式に従う。
Figure JPOXMLDOC01-appb-M000001
 ここで、Rはセンサーの時刻tにおける姿勢データRt、Pt、Ytから既知の計算式で計算することができる回転行列、Tは、時刻tにおけるセンサーの位置データをXt,Yt,Ztとすると次式により与えられる並進ベクトルである。
Figure JPOXMLDOC01-appb-M000002
 図4(a)に、得られた点群データ(絶対位置)の形式の例を示す。
(d)方向ベクトル算出
 次に、センサー位置データと点群データの相対座標をもとに、絶対空間における方向ベクトルを求める。時刻tに計測した点の方向ベクトル(U,V,W)は次式で求めることができる。
Figure JPOXMLDOC01-appb-M000003
 ここで、Rは絶対位置算出で使用したのと同じ回転行列、(x,y,z)は時刻tに計測した点の相対座標である。
 得られた方向ベクトルは点群データを構成する各点の属性情報として記憶する。
 図4(b)に、得られた点群データ(方向ベクトル付き)の形式の例を示す。
(e)領域検出
 領域検出の処理の流れを図5に示す。図5は実施の形態1に係る地図作成装置の領域検出手段をさらに細分化した機能ブロック図にも対応している。
(e-1)基準面設定
 図6(a)に計測対象とする地物の例を示す。図に示すように、計測対象は歩道領域と車道領域に分かれている。移動車両に設置したセンサーに対する歩道領域と車道領域の相対的な高さはほぼ一定であるので、この値z0、z1を予め設定しておく。当該領域付近の計測を行ったある時刻における回転行列Rと並進ベクトルTを用い、前記(式1)を相対座標z0、z1に適用するとそれぞれのZ座標Z0、Z1が計算できる。これらのZ座標で定義される2つの平面Z=Z0,およびZ=Z1をそれぞれ歩道領域の基準面、車道領域の基準面として設定する。
(e-2)点群抽出
 図6(b)は図6(a)の地物を計測して得られる点群データの例を図示したものである。歩道領域および車道領域を構成する点はそれぞれ歩道領域の基準面や車道領域の基準面の近傍にあると想定されるため、各基準面から一定距離以内の点群を抽出し、各領域を構成する点群とする。
(e-3)領域推定
 歩道を構成する点群および車道を構成する点群のそれぞれについて、各点をX座標とY座標で規定された2次元の点群と考え、既知の手法により、点群をその輪郭に沿って囲む多角形を求める。これを求める領域とする。これにより図6(c)に示すように、歩道領域および車道領域がそれぞれ検出される。
 以上は、領域検出の基本的な流れである。ここまでの処理は点群データに含まれる方向ベクトルの情報を使っていない。次に、方向ベクトルの情報を使って領域検出の精度を向上する方法を示す。図6(e)に、車道上に車両が停車している場合の例を示す。このような場合、上述の基本的な流れを適用すると、車両を構成する点のうち歩道の基準面の近傍の点が歩道領域を構成する点として抽出される。その抽出結果を使って領域推定を行うと、歩道が車道にはみだしているような領域推定結果となる。これを回避するため、次のような処理を行う。
 まず、この実施の形態で移動計測車両1に搭載するレーザー計測装置11は、ほぼ全方向にレーザーを照射することができるものとする。すると、走行しながら計測を行うとほぼ同一の点に前後からレーザーを照射することになる。点群データ(方向ベクトル付き)を調べ、ほぼ同一の位置にある近傍点を見つける。近傍点の方向ベクトルの分布は、この点が属する面の向きとセンサー位置に依存する。すなわち、歩道や車道のように前後からレーザーが照射される場合は面を構成する点の方向ベクトルは前向きと後ろ向きが混在する。しかし、車両の背面のように後ろ向きの面に属する点の方向ベクトルは前向きのみとなる。そこで、各候補点について、基準面の向きとセンサー位置に基づいて方向ベクトルの分布を推定し、近傍点の方向ベクトルの分布が上記推定された方向ベクトルの分布に合致した点のみを抽出対象とする。具体的には上記の点群抽出処理を次のように拡張する。
(e-2)点群抽出(拡張)
 点群を構成する各点を順に候補点として以下の判定処理を行い、条件を満たす点を抽出する。
(e-2-1)方向ベクトルの分布推定
 レーザー計測は、センサーが計測対象の面の後ろ側にある場合は計測がされないため、面とセンサー位置との関係によって方向ベクトルの分布範囲が変化する。候補点近辺の面が基準面に一致するものと仮定すると、候補点の位置と、基準面の向き、センサーの移動軌跡の情報から方向ベクトルの軌跡を推定することができる。
 センサーの移動軌跡はセンサー位置データから取得することができる。センサー位置データの中から、基準面の前面にあり、センサー位置から候補点位置までの距離がレーザーの到達範囲にある時刻を選択し、その時刻の位置と候補点の位置から方向ベクトルを求める。これが推定方向ベクトルである。これをすべてのセンサー位置について行うと推定方向ベクトルの軌跡を求めることができる。
 ここではセンサーの移動軌跡は直線であると仮定する。すると、推定方向ベクトルの軌跡は円弧になる。この場合、推定方向ベクトルの軌跡は開始方向ベクトルと終了方向ベクトルにより表現される。
(e-2-2)近傍点抽出
 候補点から所定の距離以内にある点を抽出して近傍点とする。(近傍点には候補点も含む。)
(e-2-3)方向ベクトルの適合判定
 次に近傍点の方向ベクトルの分布を調べる。まず、各方向ベクトルが、先にもとめた推定方向ベクトルの軌跡上に位置するかを調べる。推定方向ベクトルの軌跡を円弧により表現した場合は、近傍点の方向ベクトルの終点と円弧との最短距離を求め、所定の距離以内であれば、この方向ベクトルは推定方向ベクトルの軌跡上に位置すると判定する。
 近傍点の方向ベクトルの中に、推定方向ベクトルの軌跡上に位置すると判定されないものがある場合、不適合と判定する。
 すべての近傍点の方向ベクトルが推定方向ベクトルの軌跡上に位置すると判定した場合、近傍点の方向ベクトルの軌跡を求める。これは例えば、先に対応付けた推定方向ベクトルの軌跡が作る円弧において上記方向ベクトルが存在する範囲を求めることにより実現される。推定方向ベクトルの軌跡の長さと近傍点の方向ベクトルの軌跡の長さを比較し、その比が所定の範囲内であれば、適合と判定する。
 上記のようにすれば、車両の背面や前面を構成する点は、車道や歩道の方向ベクトルの分布に合致しないため、抽出される点には含まれず、正しく、歩道、車道を抽出することができる。
(f)作図
 上記の方法で得られた領域情報に基づき、領域の輪郭を線で描画することにより地図を生成する。図6(d)は作図結果の例である。
 実施の形態1の描画装置は以上のように構成される。
 この構成によれば、三次元空間内に基準面を設定し、位置が基準面に近く、かつ方向ベクトルの分布が基準面の向きに適合する点を抽出してその分布に基づき領域を検出するので、操作者が地物の形状を細かく指定しなくても簡単な操作により地図を作成することができ、かつ異なる面に属する点から誤った領域を検出することなく正確な地図を生成することが可能になるという効果がある。
実施の形態2.
 図1はこの発明の実施の形態2に係る地図作成装置の構成例を示した図であり、実施の形態1における構成例と同様のものである。また、図2および図8はこの発明の実施の形態2に係る地図作成装置の処理フローの例を示した図であり、このうち図2は実施の形態1における処理フローの例と同様のものであり、この発明の実施の形態2に係る地図作成装置の機能ブロック図にも対応している。図8は実施の形態2に係る地図作成装置の領域検出手段をさらに細分化した機能ブロック図にも対応している。
 図7(a)は計測対象の例を模式的に示したものである。この例では歩道上に街路樹などの構造物が存在する。車道側のセンサーからレーザーを照射すると、図に示すように歩道上に街路樹の陰となりレーザーが到達しない領域が生じる。これを実施の形態1に示した方法で処理すると、図7(b)に示すような欠損領域が生じてしまう。
 実施の形態2は、このような欠損領域の発生を回避するための形態である。
(システム構成)
 システム構成は実施の形態1と同様のものである。
(動作説明)
(a)相対位置取得、から(d)方向ベクトル算出、までの動作は実施の形態1と同様である。
(e)領域検出
 ここでは、図7(a)に示すような計測対象から歩道領域を検出する領域検出処理の流れを示す。
(e-1)基準面設定
 まず、判定を行うための基準面を定義する。この基準面は検出しようとする領域になるべく近く、かつ領域面との間の傾きがなるべく小さくなるように定義するのが望ましい。例えば、歩道領域を検出するのであれば、地面近辺に水平な面を定義するのが良い。
 基準面の範囲は、作成しようとする地図の範囲に対応したものとする。長方形の地図を生成するのであれば、縦の辺が南北方向、横の辺が東西方向に一致する長方形とするのが良い。
(e-2)投影
 次に、点群の各点について、点を方向ベクトルの方向に投影する。
 以下に詳しく説明する。
(e-2-1)2次元配列初期化
 (e-1)で定めた基準面を例えば5cm間隔のメッシュに区切る。仮に基準面が縦10m、横5mであれば、基準面は縦200、横100、合わせて20000個のメッシュに区切られることになる。
 次に、データ処理装置(2)のPC(2-1)において、上記メッシュ構造に対応する2次元配列を主記憶装置内に確保し初期化する。初期値としては例えば-1などを設定する(図10(a)参照)。
 さらに、生成された点群を構成する各点について、次の処理を行う。
(e-2-2)交点検出
 点をその点の方向ベクトルの方向に投影する。図9に示すように、点(X,Y,Z)を通ってその方向ベクトル(U,V,W)を向く直線を求め、この直線と基準面との交点を求める。この交点を基準点の座標系(e,n)により表現する。
(e-2-3)2次元配列への登録
 次に、その交点が属するメッシュを求める。交点を(e,n)、その交点に対応する配列要素を(i,j)とする。1つのメッシュのサイズをmとすると、
   i = e / m
   j = n / m
により対応する配列要素が定まる。交点(e,n)から点(X,Y,Z)までの距離dを求め、その値にもとづいて該当の配列要素にラベル付けを行う。
 距離dが所定の値th1より小さい場合は、点が基準面の近傍に存在するものと考えられるので、領域を構成する点と判定し、ラベル1をつける。距離dがth1以上であるが、別の所定の値th2より小さい場合は車道など対象外の領域と判定し、ラベル0をつける。距離dがth2以上の場合は、歩道や車道など路面近傍の点ではないため、街路樹などの構造物により反射したためにその領域が欠損領域となっている可能性があると判定しラベル9をつける(図10(b)参照)。
(e-3)欠損領域補完
 2次元配列においてラベル9がついているメッシュが欠損領域の候補である。ラベル1のメッシュに隣接するラベル9のメッシュは歩道領域と判定し、ラベル9をラベル1に変更する。この処理を数回繰り返す。得られた結果を図10(c)に示す。図に示すように欠損領域が解消している。ラベル9が残っているメッシュは、別の構造物により車道上に発生した欠損領域と考えられる。このメッシュはラベル1のメッシュに隣接していないため、補完されない。このようにして歩道と推定されるメッシュだけにラベル1をつけることができる。図10(d)に示すようにラベル1がついているメッシュが構成する領域の輪郭を求めると、これが歩道領域となる。
(f)作図
 実施の形態1と同様である。
 実施の形態2の地図作成装置は以上のように構成される。
 この構成によれば、領域検出手段は、三次元空間内に基準とする面を設定し、設定した基準面に点群を構成する各点から方向ベクトルの方向に投影し、基準面への投影結果から欠損領域を抽出して補完し、その結果に基づいて領域を検出するので、点群データに欠損があっても正しく領域を検出することができ、簡単な操作により正確な地図を生成することが可能になるという効果がある。
 本発明にかかる地図作成装置および地図作成方法は、道路周辺の地物の位置や形状を計測して地図を作成する装置等に適用できる。
1 移動計測車両、2 データ処理装置、11 レーザー計測装置、12 IMU、13 GPS受信機、14 外部記憶装置、15 PC、21 PC、22 外部記憶装置、23 入力装置、24 ディスプレイ、25 プリンタ

Claims (4)

  1.  センサーから地物表面の各点までの距離と方向を計測して前記センサーを中心とする相対空間の点群データを生成する相対位置取得手段と、
     前記センサーの位置と姿勢を計測してセンサー位置データを生成するセンサー位置取得手段と、
     前記相対空間の点群データと前記センサー位置データとに基づいて絶対空間における点群の位置情報を算出する絶対位置算出手段と、
     前記相対空間の点群データと前記センサー位置データに基づき、絶対空間における前記センサーから点群の各点への方向ベクトルを求める方向ベクトル算出手段と、
     絶対空間における前記点群の位置情報と前記方向ベクトルに基づき、面を構成する点を抽出し、抽出された点の分布に基づき領域の輪郭を求める領域検出手段と、
     検出した前記領域の輪郭を線で示した図を作成する作図手段と、
     を備えたことを特徴とする地図作成装置。
  2.  前記領域検出手段は、
     三次元空間内に基準とする基準面を設定する基準面設定手段と、
     近傍点の方向ベクトルの分布が前記基準面と前記センサー位置データの位置関係から推定したベクトル分布に適合する点を抽出する点群抽出手段と、
     を有することを特徴とする請求項1に記載の地図作成装置。
  3.  前記領域検出手段は、
     三次元空間内に基準とする基準面を設定する基準面設定手段と、
     設定した前記基準面に点群を構成する各点から前記方向ベクトルの方向に投影する投影手段と、
     前記基準面への投影結果から欠損領域を抽出して、前記欠損領域補完する欠損領域補完手段と、
     を有することを特徴とする請求項1に記載の地図作成装置。
  4.  センサーから地物表面の各点までの距離と方向を計測して前記センサーを中心とする相対空間の点群データを生成する相対位置取得ステップと、
     前記センサーの位置と姿勢を計測してセンサー位置データを生成するセンサー位置取得ステップと、
     前記相対空間の点群データと前記センサー位置データとに基づいて絶対空間における点群の位置情報を算出する絶対位置算出ステップと、
     前記相対空間の点群データと前記センサー位置データに基づき、絶対空間における前記センサーから点群の各点への方向ベクトルを求める方向ベクトル算出ステップと、
     絶対空間における前記点群の位置情報と前記方向ベクトルに基づき面を構成する点を抽出し、抽出された点の分布に基づき領域の輪郭を求める領域検出ステップと、
     検出した前記領域の輪郭を線で示した図を作成する作図ステップと、
     を備えたことを特徴とする地図作成方法。
PCT/JP2016/056925 2016-03-07 2016-03-07 地図作成装置および地図作成方法 WO2017154061A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2016396487A AU2016396487B2 (en) 2016-03-07 2016-03-07 Map creation system and map creation method
EP16893393.5A EP3404358B1 (en) 2016-03-07 2016-03-07 Map making device and map making method
US16/070,755 US11250622B2 (en) 2016-03-07 2016-03-07 Map creation system and map creation method
PCT/JP2016/056925 WO2017154061A1 (ja) 2016-03-07 2016-03-07 地図作成装置および地図作成方法
JP2018500747A JP6320664B2 (ja) 2016-03-07 2016-03-07 地図作成装置および地図作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056925 WO2017154061A1 (ja) 2016-03-07 2016-03-07 地図作成装置および地図作成方法

Publications (1)

Publication Number Publication Date
WO2017154061A1 true WO2017154061A1 (ja) 2017-09-14

Family

ID=59790163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056925 WO2017154061A1 (ja) 2016-03-07 2016-03-07 地図作成装置および地図作成方法

Country Status (5)

Country Link
US (1) US11250622B2 (ja)
EP (1) EP3404358B1 (ja)
JP (1) JP6320664B2 (ja)
AU (1) AU2016396487B2 (ja)
WO (1) WO2017154061A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462275A (zh) * 2019-01-22 2020-07-28 北京京东尚科信息技术有限公司 一种基于激光点云的地图生产方法和装置
CN112285737A (zh) * 2020-10-23 2021-01-29 深圳无境智能机器人有限公司 一种可移动的道路特征测绘系统
US11204243B2 (en) * 2017-02-28 2021-12-21 Topcon Corporation Point cloud data extraction method and point cloud data extraction device
WO2022239350A1 (ja) * 2021-05-13 2022-11-17 日立Astemo株式会社 地図生成・自己位置推定装置
US11585665B2 (en) 2017-11-30 2023-02-21 Mitsubishi Electric Corporation Three-dimensional map generation system, three-dimensional map generation method, and computer readable medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
KR102063534B1 (ko) * 2017-11-30 2020-01-09 주식회사 모빌테크 라이다를 이용한 지도 생성 방법
US11468609B2 (en) * 2020-05-11 2022-10-11 Cognex Corporation Methods and apparatus for generating point cloud histograms
US11810370B2 (en) * 2021-06-30 2023-11-07 Zoox, Inc. Techniques for identifying curbs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204615A (ja) 2007-02-16 2009-09-10 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010533282A (ja) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364334B2 (en) * 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US11203425B2 (en) * 2016-06-30 2021-12-21 Skydio, Inc. Unmanned aerial vehicle inspection system
US10565790B2 (en) * 2016-11-11 2020-02-18 Magic Leap, Inc. Periocular and audio synthesis of a full face image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204615A (ja) 2007-02-16 2009-09-10 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010533282A (ja) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PREVITALI, M.; M. SCAIONI; L. BARAZZETTI; R. BRUMANA: "A Flexible Methodology for Outdoor/indoor Building Reconstruction from Occluded Point Clouds", ISPRS ANNALS OF PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. II-3, 2014, pages 119 - 26
See also references of EP3404358A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204243B2 (en) * 2017-02-28 2021-12-21 Topcon Corporation Point cloud data extraction method and point cloud data extraction device
US11585665B2 (en) 2017-11-30 2023-02-21 Mitsubishi Electric Corporation Three-dimensional map generation system, three-dimensional map generation method, and computer readable medium
CN111462275A (zh) * 2019-01-22 2020-07-28 北京京东尚科信息技术有限公司 一种基于激光点云的地图生产方法和装置
CN111462275B (zh) * 2019-01-22 2024-03-05 北京京东乾石科技有限公司 一种基于激光点云的地图生产方法和装置
CN112285737A (zh) * 2020-10-23 2021-01-29 深圳无境智能机器人有限公司 一种可移动的道路特征测绘系统
WO2022239350A1 (ja) * 2021-05-13 2022-11-17 日立Astemo株式会社 地図生成・自己位置推定装置
JP7561683B2 (ja) 2021-05-13 2024-10-04 日立Astemo株式会社 地図生成・自己位置推定装置

Also Published As

Publication number Publication date
US20210174579A1 (en) 2021-06-10
JP6320664B2 (ja) 2018-05-09
AU2016396487A1 (en) 2018-08-16
EP3404358B1 (en) 2020-04-22
AU2016396487B2 (en) 2019-01-24
JPWO2017154061A1 (ja) 2018-05-31
US11250622B2 (en) 2022-02-15
EP3404358A1 (en) 2018-11-21
EP3404358A4 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6320664B2 (ja) 地図作成装置および地図作成方法
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP5762131B2 (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
KR101252680B1 (ko) 디지털 항공이미지를 이용한 영상도화시스템
CN104574406A (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
Maboudi et al. Evaluation of indoor mobile mapping systems
JP5814620B2 (ja) 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
JP4852006B2 (ja) 空間情報データベース生成装置及び空間情報データベース生成プログラム
KR101323971B1 (ko) 모바일 맵핑 시스템을 이용한 터널 정보 자동 취득 방법
Xiong et al. Camera pose determination and 3-D measurement from monocular oblique images with horizontal right angle constraints
JP7020418B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Blaser et al. Centimetre-Accuracy in Forests and Urban Canyons–Combining a High-Performance Image-Based Mobile Mapping Backpack with New Georeferencing Methods
US20220018950A1 (en) Indoor device localization
JP2022066276A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
Zhang et al. Multi-view 3D city model generation with image sequences
JP7562816B1 (ja) 点群処理装置、点群処理方法及びプログラム
JP2005030918A (ja) 騒音評価支援システム
Mutiarasari et al. 3D BUILDING MODELS DEVELOPMENT BASED ON DATA FUSION–CURRENT STATUS
JP7280028B2 (ja) 地図画像投影装置及びプログラム
Poli et al. Reality-based 3D city models from aerial satellite data
Ye et al. Photogrammetric Accuracy and Modeling of Rolling Shutter Cameras
JP6535898B2 (ja) 3次元モデル作成プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018500747

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016396487

Country of ref document: AU

Date of ref document: 20160307

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016893393

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016893393

Country of ref document: EP

Effective date: 20180817

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16893393

Country of ref document: EP

Kind code of ref document: A1