Nothing Special   »   [go: up one dir, main page]

WO2016016955A1 - 自律移動装置及び自己位置推定方法 - Google Patents

自律移動装置及び自己位置推定方法 Download PDF

Info

Publication number
WO2016016955A1
WO2016016955A1 PCT/JP2014/069989 JP2014069989W WO2016016955A1 WO 2016016955 A1 WO2016016955 A1 WO 2016016955A1 JP 2014069989 W JP2014069989 W JP 2014069989W WO 2016016955 A1 WO2016016955 A1 WO 2016016955A1
Authority
WO
WIPO (PCT)
Prior art keywords
landmark
self
unit
standard camera
camera
Prior art date
Application number
PCT/JP2014/069989
Other languages
English (en)
French (fr)
Inventor
太紀 飯村
山本　健次郎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/069989 priority Critical patent/WO2016016955A1/ja
Priority to JP2016537645A priority patent/JP6343670B2/ja
Priority to US15/326,294 priority patent/US10061324B2/en
Publication of WO2016016955A1 publication Critical patent/WO2016016955A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an autonomous mobile device and a self-position estimation method, for example, a device for estimating a self-position when a moving body such as a robot or an automobile moves autonomously.
  • an internal sensor such as an encoder or a gyroscope and a camera
  • a moving body such as a robot or an automobile
  • Patent Document 1 Japanese Patent Laid-Open No. 2005-315746 discloses a method for self-localizing a moving body that autonomously runs in an environment in which a plurality of landmarks are arranged indoors, and measures the plurality of landmark positions in advance.
  • a plurality of virtual points are set, and the self position is estimated from the two-dimensional coordinates of the landmarks at the virtual points and the candidate point coordinates of the landmarks extracted from the captured image of the wide-angle camera. Therefore, it is not necessary to identify individual landmarks, and the field of view range is unclear, and even when only a part of the landmarks can be extracted from the captured image of the wide-angle camera, it is stable and accurate. It is possible to estimate the self-position of the moving object. Furthermore, robust self-localization can be achieved against environmental disturbances such as lighting changes, and since the image above the ceiling is used, self-localization that is resistant to disturbances such as shielding can be performed. Since a wide-angle camera such as a fisheye lens or an omnidirectional camera is used, the field of view is wide, and self-position identification can be performed without requiring many landmarks.
  • a conventional self-position estimation method using a camera detects landmark candidates in the surrounding environment from an image, associates the detected landmark candidates with landmarks on a map, and performs self-location based on the landmark arrangement. Although it was a method of estimating the position, the problem of losing sight of the self-position or deteriorating the accuracy of the self-position by losing or misrecognizing the landmark due to various disturbance elements existing in the surrounding environment There is.
  • the self-position identification method and the apparatus disclosed in Patent Document 1 detect landmark candidates from a wide range above the ceiling or the like with a wide-angle camera, further set a plurality of virtual points, and perform two-dimensional landmarks at the virtual points.
  • the self-position estimation that is robust against the shielding object and the illumination change can be performed.
  • the driving environment is limited, such as an indoor ceiling where the landmark is above and approximately in the same plane.
  • the disturbance elements are not robust.
  • An object of the present invention is to provide an autonomous mobile device or the like that estimates the self-location based on the landmark arrangement of the surrounding environment while suppressing the influence of disturbance.
  • a typical autonomous mobile device of the present invention is an autonomous mobile body including a wide-angle camera, a standard camera capable of attitude control, and an internal sensor, Imaging with the wide-angle camera with reference to the database, an odometry section that performs odometry of the autonomous mobile body, a database that stores image characteristics of disturbance factors that become disturbances when estimating the self-position of the autonomous mobile body
  • a base information extraction unit that extracts the disturbance factor and a landmark used for self-position estimation from the captured image; and the information extracted by the base information extraction unit is used to influence the disturbance factor from the image captured by the standard camera.
  • the landmark selection unit that selects the landmark that is not to be selected and the landmark selection unit that selects the landmark based on the odometry result calculated by the odometry unit.
  • a landmark tracking unit that controls the attitude of the standard camera so as to track the landmark, and a self that estimates a self-position based on an arrangement of the landmark imaged by the standard camera that is track-controlled by the landmark tracking unit And a position estimation unit.
  • an autonomous mobile device or the like that estimates its own position based on the landmark arrangement of the surrounding environment while suppressing the influence of disturbance.
  • FIG. 1 It is a block diagram which shows the structure of the mobile body by the form of Example 1.
  • FIG. It is a figure which shows an example of the base information by the form of Example 1.
  • FIG. It is a figure which shows an example of the landmark selection part by the form of Example 1.
  • FIG. It is a figure which shows an example of the landmark selection part by the form of Example 1.
  • FIG. It is a block diagram which shows the structure of the mobile body by the form of Example 1.
  • FIG. It is a figure which shows an example of the landmark selection part by the form of Example 1.
  • FIG. It is a figure which shows an example of the landmark selection part by the form of Example 1.
  • a wide-angle camera capable of imaging a wide range is mounted upward on the moving body, and a plurality of standard cameras capable of posture control are mounted.
  • the autonomous mobile device detects disturbance elements and landmarks with a wide-angle camera, and tracks the landmarks that are difficult to lose sight with the camera according to the disturbance elements, thereby performing robust autonomous movement with respect to the disturbance elements.
  • FIG. 1 shows a configuration of a moving body 200 according to the present embodiment.
  • the moving body 200 includes a wide-angle camera 210, a standard camera 211, and an internal sensor 212, and includes an arithmetic processing unit that includes a CPU (not shown) and the like.
  • a storage unit for storing the program is provided.
  • the program executed by the arithmetic processing unit includes an odometry unit 100, a base information extraction unit 101, a landmark selection unit 102, a landmark tracking unit 103, and a self-position estimation unit 105.
  • the wide-angle camera 210 is preferably a camera equipped with a super-wide-angle lens such as a fisheye camera or an omnidirectional camera, but may be a camera equipped with another wide-angle lens. In addition, an infrared camera is desirable because it can be used indoors with little illumination or outdoors at night.
  • the wide-angle camera 210 is mounted upward on the moving body 200.
  • the standard camera 211 is a high-resolution camera equipped with a standard lens, and the attitude of the standard camera 211 can be controlled by an external input and communicates with the landmark tracking unit 103.
  • the mounting height of the standard camera 211 is such a height that the standard camera 211 is not captured in the captured image of the wide-angle camera 210 when the viewing direction of the standard camera 211 is the maximum in the elevation direction.
  • the camera is a standard camera with a wrinkle such as a search camera.
  • a standard camera equipped with a searchlight is desirable in order to support indoors with little illumination or outdoors at night, but an infrared camera may also be used.
  • the inner world sensor 212 is a sensor for calculating the relative movement amount of the moving body 200, and includes, for example, a wheel encoder, a gyroscope, and an inertial measurement unit (IMU: Internal Measurement Unit).
  • IMU Internal Measurement Unit
  • the odometry unit 100 calculates a movement amount and a posture change from the previous position calculation by accumulating the wheel rotation speed, the movement acceleration, and the movement angular acceleration of the moving body 200 acquired from the internal sensor 212. Apply odometry that is
  • the base information extraction unit 101 extracts, from the image captured by the wide-angle camera 210, base information composed of disturbance factor information that causes a loss of a landmark and landmark information of the surrounding environment. Details of the base information extraction unit 101 will be described with reference to FIG.
  • the landmark selection unit 102 searches for a visible region that can be reliably seen in the surrounding environment regardless of the disturbance element, and from the visible region. Select a tracking landmark for use in self-location estimation. Details of the landmark selection unit will be described with reference to FIGS.
  • the landmark tracking unit tracks the tracking landmark selected by the landmark selection unit while controlling the attitude of the standard camera 211.
  • the conditional branch 104 moves to the base information extraction unit 101 when there are two or less tracking landmarks that can be tracked by the landmark tracking unit, and when there are three or more tracking landmarks that can be tracked. If there is, move to the self-position estimation unit 105.
  • the self-position estimating unit 105 When there are three or more tracking landmarks that can be tracked by the landmark tracking unit, the self-position estimating unit 105 performs self-position estimation based on the tracking landmarks that can be tracked. It is desirable to use a map that describes the location information of each landmark as a method for self-location estimation based on the location of the landmark. For example, a method based on Bayes' theorem, Kalman filter, map creation and update And SLAM (Simultaneous Localization and Mapping), which is a technique for performing self-position estimation simultaneously, but other techniques may be used as long as the self-position can be estimated based on the arrangement of landmarks.
  • the self-position estimation unit 105 performs self-position estimation based on the same tracking landmark arrangement until the landmark tracking unit 103 loses sight of the landmark. As a result, the calculation processing load can be reduced.
  • FIG. 2 shows details of the base information extraction unit 101.
  • D100 is the base information extracted by the base information extraction unit 101, and includes the information of the disturbance element D101 and the landmark D102.
  • the disturbance element D101 includes, for example, the weather D103 and the moving object D104 present in the surrounding environment.
  • an image of an attached portion when raindrops are attached to a lens is used as teacher data.
  • the captured image of the wide-angle camera 210 As a result of comparing the captured image of the wide-angle camera 210 with the teacher data, pixels matching the teacher data are obtained. When there are a large number of pixels, it is rained, and when there are only a few pixels that match the teacher data, it is clear or cloudy. Further, if the sample average of the luminance values of all the pixels of the captured image is equal to or greater than a certain value, it is clear, and otherwise it is cloudy. In the case of clear weather, the direction of sunlight is further calculated based on the magnitude of the brightness gradient. The result of recognizing the weather is, for example, sunny: T (True), cloudy: F (False), and rain: False.
  • FIG. 3 shows details of the landmark recognition operation in the landmark selection unit 102.
  • the D200 is an image captured by the wide-angle camera 210 in fine weather.
  • a lens flare D201 caused by sunlight and a moving object D202 are shown.
  • the landmark selection unit first grasps the weather D103 and the moving object D104 from the captured image D200 on the basis of the base information D100 extracted by the base information extraction unit 101, and on the captured image.
  • the gravity center position of the lens flare D201 and the gravity center position of the moving object D202 are detected.
  • a circular area D203 centered on the position of the center of gravity is provided, and a landmark D204 as an image feature point outside the circular area is extracted. Then, the landmark D204 as the extracted feature point on the image is collated with the map on which the landmark is described, and the three-dimensional coordinates of the landmark D204 as the extracted feature point on the image are grasped. That is, the landmark D204 is recognized.
  • the operation of recognizing the landmark D204 includes a direction D205 that is not affected by moving objects and an upward direction D206 and a downward direction D207 that are not affected by sunlight when the moving body 200 travels outdoors and the weather is clear. It is an operation to find out.
  • the D300 is an image captured by the wide-angle camera 210 in the rain.
  • the image D300 includes raindrops D301 and a moving body D202.
  • the landmark selection unit 102 performs the same operation as the landmark recognition operation in the fine weather.
  • the circular area centering on the gravity center position of the raindrop D301 and each standard camera are empty.
  • a circular region D302 centered on the center of the image is provided so that raindrops do not adhere to the lens, and a landmark D303 as an image feature point outside the circular region is extracted.
  • Subsequent operations are the same as those in fine weather, but the horizontal direction D304 and the downward direction D305 in which raindrops do not adhere are found by performing the above operations in rainy weather.
  • FIG. 4 shows details of the tracking landmark determination operation in the landmark selection unit 102 when one standard camera 211 is mounted on each of the front, rear, left and right of the moving body 200.
  • the D400 is an image obtained by dividing the captured image D200 and the landmark D204 in FIG. 3 into two equal parts in the front, rear, left, and right directions. Assigned to. That is, the standard camera 1 can track the front landmark, the standard camera 2 can track the left landmark, the standard camera 3 can track the rear landmark, and the standard camera 4 can track the right landmark.
  • D401 is the two images in the center when the image divided into two is further divided into four equal parts, and the landmark shown in the image D401 is recommended as a tracking landmark.
  • D402 is a table of the number of landmarks appearing in the bisected image 400 corresponding to each standard camera 211 and the number of landmarks recommended as tracking landmarks appearing in the central image D401.
  • the number of landmarks in the image 401 corresponding to each standard camera 211 is 6 for the standard camera 1, 2 for the standard camera 2, 0 for the standard camera 3, and 4 for the standard camera 4.
  • the standard camera 2 has the smallest number of landmarks except for the standard camera 3 having no mark. Therefore, the landmark tracked by the standard camera 2 is first determined. As a determination method, it is confirmed whether there is a landmark reflected in the central image D401. If there is the recommended landmark, the closest to the center of the image D401 is present (that is, the declination is closest to 90 degrees).
  • a landmark is determined as a tracking landmark, and if there is no recommended landmark, a landmark closest to the center in the image D400 is determined as a tracking landmark. In this example, since there is no recommended landmark, the landmark D403 closest to the center of the image is determined as the tracking landmark of the standard camera 2.
  • D404 is a table of the number of landmarks at the end of the tracking landmark determination operation of the standard camera 2 described above.
  • the number of tracking landmark candidates of the standard camera 1 is changed from six to five, and the recommended number of landmarks is also increased from four to three.
  • the standard camera with the smallest number of landmarks is selected again from the standard cameras whose tracking landmarks are not determined, and the selected standard is selected in the same manner as the tracking landmark determination operation.
  • the standard camera 4 with the smallest number of landmarks is selected, and the landmark D405 closest to the center of the image is determined as the tracking landmark of the standard camera 4.
  • the tracking landmark D406 is a table of the number of landmarks after the tracking landmark is determined.
  • the tracking landmark D407 of the standard camera 1 is determined by the same method because the tracking landmark is not determined only for the standard camera 1 except for the standard camera 3 in which no landmark is shown. To do.
  • the landmarks to be tracked by the standard camera 1, the standard camera 2, and the standard camera 3 are determined by the above tracking landmark determination operation, but the standard camera 3 is not determined.
  • the standard camera whose tracking landmark is not determined by the tracking landmark determination operation fixes the posture with the line-of-sight direction facing the road surface, and applies visual odometry.
  • the result of the visual odometry is used by the landmark tracking unit 103 together with the result of the odometry unit 100.
  • the autonomous mobile device tracks landmarks that do not depend on disturbance elements by camera attitude control, and thus loses its own position in various environments unlike conventional autonomous mobile devices. You can move without
  • the user can move without losing sight of his / her position in various environments, and the processing load can be reduced because the number of landmarks to be tracked is limited.
  • the landmark is tracked with a high-precision camera, the self-position estimation accuracy can be improved.
  • the self-position is estimated based on the same landmark arrangement until it is lost, the calculation processing load can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

　本発明は、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することを目的とする。この課題を解決するために、広角カメラで撮像した画像から自己位置推定の際に外乱となる外乱要因と自己位置推定に用いるランドマークとを抽出し、抽出した情報を用いて、姿勢制御可能な標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択し、選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御し、追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定することを特徴とする。

Description

自律移動装置及び自己位置推定方法
　本発明は、自律移動装置及び自己位置推定方法に関し、例えば、ロボットや自動車などの移動体が自律移動するときの、自己位置を推定する装置に関する。
　従来から、ロボットや自動車などの移動体にエンコーダやジャイロスコープなどの内界センサ、およびカメラを搭載し、これらのセンサ値をもとに移動体の自己位置を推定する装置が種々提案されている。
　　例えば、下記特許文献１（特開２００５－３１５７４６）は、複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定方法において、予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップとを有することを特徴としている。
　当文献によれば、仮想点を複数設定して、該仮想点におけるランドマークの２次元座標と、広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる、としている。さらに、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができ、また、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行え、さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行うことができる、としている。
特開２００５－３１５７４６号公報
　従来のカメラを用いた自己位置推定手法は、周囲環境にあるランドマーク候補を画像から検出し、検出したランドマーク候補と地図中のランドマークを対応させ、前記ランドマークの配置をもとに自己位置を推定する方式であったが、周囲環境に存在する様々な外乱要素のためにランドマークを見失ったり誤認識したりすることにより、自己位置を見失う、または自己位置の精度が悪化するという課題がある。　ここで、特許文献１の自己位置同定方法及び該装置は、広角カメラで天井等上方広範囲からランドマーク候補を検出し、さらに、仮想点を複数設定して、該仮想点におけるランドマークの2次元座標とランドマーク候補点座標とから自己位置を推定するため、遮蔽物や照明変化に対してロバストな自己位置推定ができる。しかし、ランドマークが上方にあり、かつ近似的に同一平面状にあるような屋内の天井等、走行可能環境が限定される。また、遮蔽物や照明変化だけではなく様々な外乱要素が存在する実環境では、外乱要素に対しロバストではない。
　本発明は、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することを目的とする。
　上記課題を解決するために、代表的な本発明の自律移動装置は、広角カメラと、姿勢制御可能な標準カメラと、内界センサと、を備える自律移動体であって、前記内界センサで前記自律移動体のオドメトリを行うオドメトリ部と、前記自律移動体の自己位置推定の際に外乱となる外乱要因の画像の特徴を記憶するデータベースと、前記データベースを参照して、前記広角カメラで撮像した画像から前記外乱要因と自己位置推定に用いるランドマークとを抽出するベース情報抽出部と、前記ベース情報抽出部で抽出した情報を用いて、前記標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するランドマーク選択部と、前記オドメトリ部で算出したオドメトリ結果をもとに、前記ランドマーク選択部で選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するランドマーク追跡部と、前記ランドマーク追跡部で追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定する自己位置推定部と、を有することを特徴とする。
　本発明によれば、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することができる。
実施例１の形態による移動体の構成を示すブロック図である。 実施例１の形態によるベース情報の一例を示す図である。 実施例１の形態によるランドマーク選択部の一例を示す図である。 実施例１の形態によるランドマーク選択部の一例を示す図である。
　以下、図面を用いて実施例を説明する。
　本実施例では、自動車やロボットなどの移動体が自律移動するとき、広範囲を撮像可能な広角カメラを移動体上部に上向きに搭載し、姿勢制御可能な標準カメラを複数台搭載し、本発明の自律移動装置により、広角カメラで外乱要素とランドマークを検出し、外乱要素に応じてカメラで見失い難いランドマークをカメラ姿勢制御により追跡することで、外乱要素に対してロバストな自律移動を行う。
　図１は、本実施例による移動体２００の構成を示し、移動体２００は、広角カメラ２１０、標準カメラ２１１、内界センサ２１２を搭載し、図示しないＣＰＵ等で構成される演算処理部、各種プログラムを記憶する記憶部を備える。
　また、記憶部に記憶されたプログラムであって、演算処理部によって実行される各種機能を自律移動機能ブロック２０１として図１に示す。演算処理部によって実行されるプログラムは、オドメトリ部１００、ベース情報抽出部１０１、ランドマーク選択部１０２、ランドマーク追跡部１０３、自己位置推定部１０５で構成される。
　広角カメラ２１０は、魚眼カメラや全方位カメラなどの超広角レンズ搭載カメラであることが望ましいが、それ以外の広角レンズを搭載したカメラでも良い。また、照明の少ない屋内や夜の屋外にも対応するため、赤外線カメラであることが望ましい。広角カメラ２１０は、移動体２００の上部に上向きに搭載する。
　標準カメラ２１１は、標準レンズを搭載した高解像度のカメラであり、前記標準カメラ２１１の姿勢は外部入力により制御できるようになっており、前記ランドマーク追跡部１０３と通信している。また、前記標準カメラ２１１を４台以上搭載することが望ましく、前記移動体２００の前部と後部と右側面および左側面に搭載する。前記標準カメラ２１１の搭載高さは、前記標準カメラ２１１の視線方向が仰角方向に最大となるような姿勢であるとき、前記広角カメラ２１０の撮像画像に前記標準カメラ２１１が写らないような高さとする。さらに、雨天に対応するため、例えばサーチカメラのような庇が付いた標準カメラであることが望ましい。照明の少ない屋内や夜の屋外にも対応するため、サーチライトを搭載した標準カメラであることが望ましいが、赤外線カメラでもよい。
　内界センサ２１２は、前記移動体２００の相対的な移動量を算出するためのセンサであり、例えばホイールエンコーダやジャイロスコープや慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）がある。
　オドメトリ部１００は、前記内界センサ２１２から取得した前記移動体２００の車輪回転数や移動加速度および移動角加速度を積算することにより、前回の位置算出時からの移動量および姿勢変化を算出する手法であるオドメトリを適用する。
　ベース情報抽出部１０１は、前記広角カメラ２１０で撮像した画像から、ランドマークを見失う要因となる外乱要因情報と周囲環境のランドマーク情報で構成されるベース情報を抽出する。前記ベース情報抽出部１０１の詳細は図２で説明する。
　ランドマーク選択部１０２は、前記ベース情報抽出部１０１で抽出した前記ベース情報をもとに、周囲環境のなかで前記外乱要素によらず確実に見える可視領域を探索し、前記可視領域のなかから自己位置推定に用いるための追跡用ランドマークを選択する。ランドマーク選択部の詳細は図３および図４で説明する。
　ランドマーク追跡部は、前記ランドマーク選択部で選択した前記追跡用ランドマークを、前記標準カメラ２１１の姿勢を制御しながら追跡する。
　条件分岐１０４は、前記ランドマーク追跡部で追跡できた前記追跡用ランドマークが２つ以下である場合は前記ベース情報抽出部１０１に移動し、追跡できた前記追跡用ランドマークが３つ以上である場合は自己位置推定部１０５に移動する。
　自己位置推定部１０５は、前記ランドマーク追跡部で追跡できた前記追跡用ランドマークが３つ以上ある場合に、追跡できた前記追跡用ランドマークの配置をもとに自己位置推定を行う。ランドマークの配置をもとに自己位置推定を行う手法として、それぞれのランドマークの配置情報が記載された地図を用いるのが望ましく、例えば、ベイズの定理に基づいた手法やカルマンフィルタ、地図作成および更新と自己位置推定を同時に行う手法であるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）があるが、ランドマークの配置をもとに自己位置を推定できる手法であれば、他の手法を用いてもよい。また、自己位置推定部１０５は、ランドマーク追跡部１０３で標準カメラがランドマークを見失うまで、同じ追跡用ランドマークの配置をもとに自己位置推定を行う。これによって、計算処理負荷を低減できるという効果がある。　図２は、前記ベース情報抽出部１０１の詳細を示している。
　　Ｄ１００は、前記ベース情報抽出部１０１で抽出する前記ベース情報であり、前記外乱要素Ｄ１０１と前記ランドマークＤ１０２の情報で構成される。
　前記外乱要素Ｄ１０１は、例えば、天候Ｄ１０３や周囲環境に存在する移動物Ｄ１０４がある。
　前記天候Ｄ１０３の抽出手法として、例えば、雨滴がレンズに付着したときの付着部分の画像を教師データとしてもち、前記広角カメラ２１０の撮像画像と前記教師データを照合した結果、教師データと一致するピクセルが多数存在する場合は雨とし、教師データと一致するピクセルが数点しか存在しない場合は晴れまたは曇りとする。さらに、前記撮像画像の全ピクセルの輝度値の標本平均が一定値以上であれば晴れとし、そうでない場合は曇りとする。晴れの場合は、さらに、輝度勾配の大きさをもとに日差しの方向を算出する。天候を認識した結果は、例えば、晴れであれば晴れ：Ｔ（Ｔｒｕｅ）、曇り：Ｆ（Ｆａｌｓｅ）、雨：Ｆａｌｓｅとする。
　前記移動物Ｄ１０４の抽出手法として、例えば、主要な外乱要素である人間の教師データを予め用意し、前記広角カメラ２１０の撮像画像と教師データを照合する人検出手法を用いる。他に対象となる走行環境で主要な外乱要素となる移動物が存在する場合は、その教師データを用意し同様の手法で検出すればよい。さらに、検出した移動物の撮像画像上での重心位置（ｕ’ｉ、ｖ’ｉ）（ｉ＝１、２、・・・）を算出し、前記移動物Ｄ１０４の情報としてベース情報Ｄ１００に加える。
　ベース情報抽出部１０１でのランドマークＤ１０２の情報は、前記広角カメラ２１０の撮像画像から特徴点を検出し、検出した前記特徴点の前記撮像画像上での位置（ｕｉ、ｖｉ）（ｉ＝１、２、・・・）を算出することにより獲得し、ランドマークＤ１０２の情報としてベース情報Ｄ１００に加える。
　図３は、前記ランドマーク選択部１０２におけるランドマーク認識操作の詳細を示している。
　　Ｄ２００は、晴天時に広角カメラ２１０で撮像した画像である。画像Ｄ２００には、太陽光によるレンズフレアＤ２０１、移動物Ｄ２０２が写っている。このとき、前記ランドマーク選択部は、まず、前記ベース情報抽出部１０１で抽出した前記ベース情報Ｄ１００をもとに、前記撮像画像Ｄ２００から天候Ｄ１０３および移動物Ｄ１０４を把握し、前記撮像画像上のレンズフレアＤ２０１の重心位置と移動物Ｄ２０２の重心位置を検出する。
　　さらに、前記重心位置を中心とする円領域Ｄ２０３を設け、前記円領域外にある画像上特徴点としてのランドマークＤ２０４を抽出する。そして、抽出した画像上特徴点としての前記ランドマークＤ２０４とランドマークが記載された地図とを照合し、抽出した画像上特徴点としてのランドマークＤ２０４の３次元座標を把握する。すなわちランドマークＤ２０４を認識する。
　前記のランドマークＤ２０４を認識する操作は、移動体２００が屋外走行時、天候が晴天であるとき、移動物の影響を受けない方向Ｄ２０５や日差しの影響を受けない上方向Ｄ２０６および下方向Ｄ２０７を見つけ出す操作である。
　Ｄ３００は、雨天時に広角カメラ２１０で撮像した画像である。画像Ｄ３００には、雨滴Ｄ３０１と移動体Ｄ２０２が写っている。このときも、前記ランドマーク選択部１０２は前記の晴天時のランドマーク認識操作と同様の操作を行うが、雨天時は、雨滴Ｄ３０１の重心位置を中心とした円領域と、各標準カメラが空を見上げてレンズに雨滴が付着しないように画像中心を中心とした円領域Ｄ３０２を設け、前記円領域外にある画像上特徴点としてのランドマークＤ３０３を抽出する。以降の操作は晴天時と同様であるが、雨天時の前記操作を行うことにより、雨滴が付着しない水平方向Ｄ３０４や下方向Ｄ３０５を見つけ出す。
　なお、天候が曇りの場合は、レンズフレアの円領域Ｄ２０１や雨滴Ｄ３０１の円領域や上空の円領域Ｄ３０２を設ける必要はなく、以降の操作は晴天時および雨天時と同様である。
　図４は、移動体２００の前後左右それぞれに標準カメラ２１１が１台ずつ搭載されている場合の、前記ランドマーク選択部１０２における追跡用ランドマーク決定操作の詳細を示している。
　Ｄ４００は、図３の撮像画像Ｄ２００とランドマークＤ２０４を前後左右に２等分した画像であり、前記の２等分した画像に写るランドマークを幾何拘束なく追跡可能な標準カメラを、それぞれの画像に割り当てている。すなわち、標準カメラ１は前方のランドマークを、標準カメラ２は左側のランドマークを、標準カメラ３は後方のランドマークを、そして標準カメラ４は右側のランドマークを追跡できる。
　Ｄ４０１は、前記の２等分した画像をさらに４等分したときの中央の２枚の画像であり、前記画像Ｄ４０１に写るランドマークが追跡用ランドマークとして推奨される。
　Ｄ４０２は、それぞれの標準カメラ２１１に対応する前記２等分画像４００に写るランドマーク数と、前記中央画像Ｄ４０１に写る追跡用ランドマークとして推奨されるランドマーク数の表である。いま、それぞれの標準カメラ２１１に対応した画像４０１に写るランドマーク数は、標準カメラ１が６点、標準カメラ２が２点、標準カメラ３が０点、標準カメラ４が４点であり、ランドマークがない標準カメラ３を除いて標準カメラ２のランドマーク数が最も少ない。そこで、標準カメラ２が追跡するランドマークを最初に決定する。決定手法としては、中央画像Ｄ４０１に写るランドマークがあるか確認し、前記推奨されるランドマークがあれば、そのなかで最も画像Ｄ４０１の中央に近い（すなわち、偏角が最も９０度に近い）ランドマークを追跡用ランドマークとして決定し、前記推奨されるランドマークがなければ、画像Ｄ４００のなかで最も中央に近いランドマークを追跡用ランドマークとして決定する。本例の場合、推奨されるランドマークがないため、最も画像中央に近いランドマークＤ４０３を標準カメラ２の追跡用ランドマークとして決定する。
　Ｄ４０４は、前記の標準カメラ２の追跡用ランドマーク決定操作終了時のランドマーク数の表である。ランドマークＤ４０３が追跡用ランドマークとして決定されたことにより、標準カメラ１の追跡用ランドマーク候補が６つから５つになり、推奨されるランドマーク数も４つから３つになる。この状態で、再度、追跡用ランドマークが決定していない標準カメラのなかで、最もランドマーク数が少ない標準カメラを選択し、前記追跡用ランドマーク決定操作と同様の手法で、選択した前記標準カメラの追跡用ランドマークを決定する。本例の場合、ランドマーク数が最も少ない標準カメラ４を選択し、画像中央に最も近いランドマークＤ４０５を標準カメラ４の追跡用ランドマークに決定する。
　Ｄ４０６は前記追跡用ランドマーク決定後のランドマーク数の表である。このとき、本例では、ランドマークが写っていない標準カメラ３を除き、標準カメラ１のみ追跡用ランドマークが決定していないため、同様の手法により、標準カメラ１の追跡用ランドマークＤ４０７を決定する。
　以上の追跡用ランドマーク決定操作により、本例では、標準カメラ１、標準カメラ２、および標準カメラ３がそれぞれ追跡するランドマークを決定したが、標準カメラ３については決定していない。このように、前記追跡用ランドマーク決定操作で追跡用ランドマークが決まらなかった標準カメラは、視線方向を路面に向かせて姿勢を固定し、ビジュアルオドメトリを適用する。ビジュアルオドメトリの結果は、オドメトリ部１００の結果と共にランドマーク追跡部１０３で利用される。
　　以上のような構成により、本発明の自律移動装置は、外乱要素に依存しないランドマークをカメラの姿勢制御により追跡することで、従来の自律移動装置とは異なり、様々な環境で自己位置を見失うことなく移動することができる。
　　以上のように、本実施例では、様々な環境で自己位置を見失うことなく移動でき、また、追跡するランドマーク数を限定するため、処理負荷を低減できる。
　　また、周囲３６０度の環境情報を抽出可能な広角カメラで撮像した１枚の画像のみを用いるため、周囲環境の情報を抽出する処理負荷を低減できるという効果を得られる。
　　また、天候や人間などの移動物によらず見失うことのないランドマークを見つけるため、自己位置推定のロバスト性を向上することができるという効果を得られる。
　　また、ランドマークを高精度カメラで追跡するため、自己位置推定精度を向上することができるという効果を得られる。
　　また、見失うまで同じランドマークの配置をもとに自己位置を推定するため、計算処理負荷を低減できるという効果を得られる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
２００　移動体
２１０　広角カメラ
２１１　標準カメラ
２１２　内界センサ
２０１　自律移動機能ブロック
１００　オドメトリ部
１０１　ベース情報抽出部
１０２　ランドマーク選択部
１０３　ランドマーク追跡部
１０５　自己位置推定部

Claims (6)

  1. 　広角カメラと、姿勢制御可能な標準カメラと、内界センサと、を備える自律移動体であって、
    　前記内界センサで前記自律移動体のオドメトリを行うオドメトリ部と、
    　前記自律移動体の自己位置推定の際に外乱となる外乱要因の画像の特徴を記憶するデータベースと、
    　前記データベースを参照して、前記広角カメラで撮像した画像から前記外乱要因と自己位置推定に用いるランドマークとを抽出するベース情報抽出部と、
    　前記ベース情報抽出部で抽出した情報を用いて、前記標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するランドマーク選択部と、
    　前記オドメトリ部で算出したオドメトリ結果をもとに、前記ランドマーク選択部で選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するランドマーク追跡部と、
    　　前記ランドマーク追跡部で追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定する自己位置推定部と、
    　を有することを特徴とする自律移動装置。
  2. 　請求項１において、
    　前記データベースは、前記外乱要因として、天候、または、移動物の画像特徴を記憶し、
    　前記ベース情報抽出部は、前記広角カメラで撮像した画像から前記外乱要因となる特徴点を排除し、前記ランドマーク候補となる画像上の特徴点を検出する
    　ことを特徴とする自律移動装置。
  3. 　請求項１において、
    　前記標準カメラは、それぞれ異なる方向を撮像するよう複数備え、
    　前記ベース情報抽出部は、自己位置推定に用いる前記ランドマーク候補を複数抽出し、
    　　前記ランドマーク選択部は、前記ベース情報抽出部で抽出した複数のランドマーク候補から、前記標準カメラごとに、各標準カメラでの追跡に適した前記ランドマークを選択する
    　　ことを特徴とする自律移動装置。
  4. 　請求項３において、
    　前記ランドマーク追跡部は、前記ランドマーク選択部で選択した前記ランドマークが前記標準カメラの撮像画像の中央に位置するように、前記オドメトリ部で算出したオドメトリ結果を用いて各標準カメラの姿勢を制御する
    　ことを特徴とする自律移動装置。
  5. 　請求項１において、
    　前記自己位置推定部は、前記ランドマーク追跡部で追跡した前記ランドマークの配置をもとに自己位置を推定し、前記ランドマーク追跡部で前記標準カメラが前記ランドマークを見失うまで、同じ追跡用ランドマークの配置をもとに自己位置を推定する
    　ことを特徴とする自律移動装置。
  6. 　広角カメラで撮像した画像から自己位置推定の際に外乱となる外乱要因と自己位置推定に用いるランドマークとを抽出するステップと、
    　抽出した情報を用いて、姿勢制御可能な標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するステップと、
    　選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するステップと、
    　追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定するステップと、
    　を有する自己位置推定方法。
PCT/JP2014/069989 2014-07-30 2014-07-30 自律移動装置及び自己位置推定方法 WO2016016955A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2014/069989 WO2016016955A1 (ja) 2014-07-30 2014-07-30 自律移動装置及び自己位置推定方法
JP2016537645A JP6343670B2 (ja) 2014-07-30 2014-07-30 自律移動装置及び自己位置推定方法
US15/326,294 US10061324B2 (en) 2014-07-30 2014-07-30 Autonomous moving device and self position estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069989 WO2016016955A1 (ja) 2014-07-30 2014-07-30 自律移動装置及び自己位置推定方法

Publications (1)

Publication Number Publication Date
WO2016016955A1 true WO2016016955A1 (ja) 2016-02-04

Family

ID=55216900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069989 WO2016016955A1 (ja) 2014-07-30 2014-07-30 自律移動装置及び自己位置推定方法

Country Status (3)

Country Link
US (1) US10061324B2 (ja)
JP (1) JP6343670B2 (ja)
WO (1) WO2016016955A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108506711A (zh) * 2018-04-04 2018-09-07 中冶长天国际工程有限责任公司 烧结机台车车轮加脂轨迹检测装置、控制系统及控制方法
CN108781247A (zh) * 2016-02-22 2018-11-09 凯特切普恩股份有限公司 自推进设备
EP3537249A1 (en) 2018-03-09 2019-09-11 Casio Computer Co., Ltd. Autonomous mobile apparatus, autonomous move method, and program
JP2021096731A (ja) * 2019-12-19 2021-06-24 東芝デジタルソリューションズ株式会社 自律走行型自動搬送車両の制御装置及び搬送システム
US11100675B2 (en) 2017-10-24 2021-08-24 Sony Corporation Information processing apparatus, information processing method, program, and moving body
US11481920B2 (en) 2018-05-21 2022-10-25 Sony Corporation Information processing apparatus, server, movable object device, and information processing method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2533295A (en) * 2014-12-15 2016-06-22 The Chancellor Masters And Scholars Of The Univ Of Oxford Localising portable apparatus
KR101772084B1 (ko) * 2015-07-29 2017-08-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
US10803600B2 (en) * 2015-09-30 2020-10-13 Sony Corporation Information processing device, information processing method, and program
EP3492870B1 (en) * 2016-07-26 2020-07-15 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
JP7257737B2 (ja) * 2017-09-05 2023-04-14 ソニーグループ株式会社 情報処理装置、自己位置推定方法、及び、プログラム
US11158066B2 (en) 2020-01-24 2021-10-26 Ford Global Technologies, Llc Bearing only SLAM with cameras as landmarks
JP7221897B2 (ja) * 2020-03-03 2023-02-14 株式会社東芝 推定装置、移動体、推定方法及びプログラム
KR102225093B1 (ko) * 2020-09-01 2021-03-09 주식회사 맥스트 카메라 포즈 추정 장치 및 방법
US12033390B2 (en) * 2021-10-26 2024-07-09 Hitachi, Ltd. Method and apparatus for people flow analysis with inflow estimation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6128884A (ja) * 1984-07-19 1986-02-08 Komatsu Ltd 誘導標識装置
JPH0771978A (ja) * 1993-09-03 1995-03-17 Suzuki Motor Corp 自己位置認識装置
JP2000337887A (ja) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2005315746A (ja) * 2004-04-28 2005-11-10 Mitsubishi Heavy Ind Ltd 自己位置同定方法及び該装置
WO2007113956A1 (ja) * 2006-03-31 2007-10-11 Murata Kikai Kabushiki Kaisha 移動体位置の推定装置と推定方法及び推定プログラム
JP2008070267A (ja) * 2006-09-14 2008-03-27 Canon Inc 位置姿勢計測方法及び装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0854927A (ja) * 1994-08-10 1996-02-27 Kawasaki Heavy Ind Ltd ランドマークの決定方法および装置
US8301325B2 (en) * 2008-07-28 2012-10-30 Precise Path Robotics, Inc. System and method for autonomous vehicle localization
JP6233706B2 (ja) * 2013-04-02 2017-11-22 パナソニックＩｐマネジメント株式会社 自律移動装置及び自律移動装置の自己位置推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6128884A (ja) * 1984-07-19 1986-02-08 Komatsu Ltd 誘導標識装置
JPH0771978A (ja) * 1993-09-03 1995-03-17 Suzuki Motor Corp 自己位置認識装置
JP2000337887A (ja) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2005315746A (ja) * 2004-04-28 2005-11-10 Mitsubishi Heavy Ind Ltd 自己位置同定方法及び該装置
WO2007113956A1 (ja) * 2006-03-31 2007-10-11 Murata Kikai Kabushiki Kaisha 移動体位置の推定装置と推定方法及び推定プログラム
JP2008070267A (ja) * 2006-09-14 2008-03-27 Canon Inc 位置姿勢計測方法及び装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108781247A (zh) * 2016-02-22 2018-11-09 凯特切普恩股份有限公司 自推进设备
US11100675B2 (en) 2017-10-24 2021-08-24 Sony Corporation Information processing apparatus, information processing method, program, and moving body
EP3537249A1 (en) 2018-03-09 2019-09-11 Casio Computer Co., Ltd. Autonomous mobile apparatus, autonomous move method, and program
US11662738B2 (en) 2018-03-09 2023-05-30 Casio Computer Co., Ltd. Autonomous mobile apparatus, autonomous move method, and recording medium that use a selected environment map
CN108506711A (zh) * 2018-04-04 2018-09-07 中冶长天国际工程有限责任公司 烧结机台车车轮加脂轨迹检测装置、控制系统及控制方法
US11481920B2 (en) 2018-05-21 2022-10-25 Sony Corporation Information processing apparatus, server, movable object device, and information processing method
JP2021096731A (ja) * 2019-12-19 2021-06-24 東芝デジタルソリューションズ株式会社 自律走行型自動搬送車両の制御装置及び搬送システム
JP7162584B2 (ja) 2019-12-19 2022-10-28 東芝情報システム株式会社 自律走行型自動搬送車両の制御装置及び搬送システム

Also Published As

Publication number Publication date
JP6343670B2 (ja) 2018-06-13
US20170205832A1 (en) 2017-07-20
JPWO2016016955A1 (ja) 2017-04-27
US10061324B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
JP6343670B2 (ja) 自律移動装置及び自己位置推定方法
CN110411441B (zh) 用于多模态映射和定位的系统和方法
US9881379B2 (en) Self-localization device and movable body
CN107907131B (zh) 定位系统、方法及所适用的机器人
US10949712B2 (en) Information processing method and information processing device
US9625912B2 (en) Methods and systems for mobile-agent navigation
US20190080467A1 (en) Pose determination with semantic segmentation
CN105644785B (zh) 一种基于光流法和地平线检测的无人机着陆方法
JP4978099B2 (ja) 自己位置推定装置
US20150235367A1 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
TW202013251A (zh) 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法
US20100074473A1 (en) System and method of extracting plane features
CN109443348A (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN108549376A (zh) 一种基于信标的导航定位方法及系统
CN208313291U (zh) 一种基于ArUco标签的AGV机器人视觉定位系统
Ren et al. Real-time target tracking system for person-following robot
Williams et al. Feature and pose constrained visual aided inertial navigation for computationally constrained aerial vehicles
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
Springer et al. Autonomous drone landing with fiducial markers and a gimbal-mounted camera for active tracking
Zhang et al. The use of optical flow for UAV motion estimation in indoor environment
JP7273696B2 (ja) 位置推定装置及びシステム
Sabatini et al. Vision-based pole-like obstacle detection and localization for urban mobile robots
JP2020076714A (ja) 位置姿勢推定装置
Hernández et al. Visual SLAM with oriented landmarks and partial odometry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14898563

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016537645

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15326294

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14898563

Country of ref document: EP

Kind code of ref document: A1