Nothing Special   »   [go: up one dir, main page]

WO2020078615A1 - Verfahren und vorrichtung zur bestimmung einer umgebungskarte - Google Patents

Verfahren und vorrichtung zur bestimmung einer umgebungskarte Download PDF

Info

Publication number
WO2020078615A1
WO2020078615A1 PCT/EP2019/073630 EP2019073630W WO2020078615A1 WO 2020078615 A1 WO2020078615 A1 WO 2020078615A1 EP 2019073630 W EP2019073630 W EP 2019073630W WO 2020078615 A1 WO2020078615 A1 WO 2020078615A1
Authority
WO
WIPO (PCT)
Prior art keywords
server
point cloud
points
mobile station
mobile device
Prior art date
Application number
PCT/EP2019/073630
Other languages
English (en)
French (fr)
Inventor
Darius Vahdat-Pajouh
Michael Bucko
Original Assignee
Visualix GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visualix GmbH filed Critical Visualix GmbH
Priority to EP19772993.2A priority Critical patent/EP3867796A1/de
Priority to CN201980075291.1A priority patent/CN113039554A/zh
Publication of WO2020078615A1 publication Critical patent/WO2020078615A1/de
Priority to US17/230,373 priority patent/US11568598B2/en
Priority to US18/103,158 priority patent/US20230298344A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the subject relates to a method and a server for determining an environment map.
  • the measurement and evaluation of an environment of a mobile device is possible due to the good quality of camera images from mobile devices as well as good sensor values. It is possible for features in the image to be detected on the basis of orientation data (pose) from a camera of a mobile device and a respective image (frame) from a camera of the mobile device and points of a point cloud to be assigned to these features.
  • orientation data pose
  • frame respective image
  • Transform can be a position of the feature in a global
  • Coordinate system can be determined.
  • Point coordinates of the points of the point cloud can be determined.
  • Point clouds from this are well known and are used, for example, in so-called augmented reality (AR) applications.
  • AR augmented reality
  • Well-known examples of such augmented reality applications are the ARKit from Apple ® and ARCore from Google®. Both are application-specific programming interfaces that make it possible to use the mobile device to create and use point clouds on the mobile station for augmented reality applications.
  • a disadvantage of determining the point cloud in the mobile device is that on the one hand the computing power is limited and on the other hand due to faulty ones
  • a drift in the point coordinates can occur in the global coordinate system. It is known, for example, that the drift is 1% to 10%, which can be due in particular to an insufficient evaluation of the available sensor data.
  • the object is therefore based on the task, one on points and
  • a mobile device can in particular be a cell phone, a tablet computer, smart glasses, wearables or the like.
  • Movement data can be, in particular, inclination and acceleration information that is stored in the mobile device by means of suitable sensors, for example
  • Inclination sensors and / or acceleration sensors can be detected. With the help of the movement data, a movement of the mobile device is in the room
  • the mobile device can be positioned relative to a reference point.
  • Motion data are evaluated in particular between two images in order to determine the change in the position of the device relative to the real object which was recorded in the image.
  • orientation data of a camera of the mobile device be received on the server side.
  • Orientation data (pose) of a camera can be expressed by a direction of a vector in a coordinate system, the vector lying in particular in the optical axis of the camera.
  • the coordinate system is in particular a global one
  • a sequence of images, in particular in a video, is recorded by the camera of the mobile device. If an image of the camera has been captured, the orientation information in the sense of orientation data can be captured in the mobile device and which can be captured
  • Motion information between one of the previous images and the current image was recorded based on the motion data.
  • This information that is to say the movement data and orientation data, together with the assigned image of the camera, can be received on the server side.
  • An image of the camera can be a so-called "frame" of a moving image.
  • each individual image is received on the server side, or even images of the camera that are not immediately adjacent in terms of time. For example, it is possible that only every 5th, every 10th, every nth (n> 10) image of the camera is received on the server side.
  • the server-side point cloud is created in particular in the server by means of a SLAM (simultaneous localization and mapping) algorithm.
  • SLAM simultaneous localization and mapping
  • the creation of a point cloud on the basis of images is known per se, but not that the movement data and the orientation data of the mobile device are used for this. Due to the fact that on the server side there is greater computing power available and on the other hand latency is permitted to create the point cloud, the point cloud created on the server side will generally map the environment better than a mobile station side created point cloud. With the help of the server-side point cloud, a map of the surroundings is at least partially created.
  • both the transaction data and the orientation data used "in particular can herewith a transformation of the detected points are calculated in the image point coordinates in a global coordinate system.
  • the movement data can also be understood as IMU data (inertial measurement data).
  • the orientation data can also be understood as pose transform data.
  • the server-side point cloud created has a higher resolution and is more accurate than a point cloud created on the mobile station.
  • the higher resolution is particularly due to more computing power and larger
  • Computational accuracy as well as the fact that server-side data from a large number of images from very different times, which are also hours, days or weeks apart, can be used to continuously add and / or adapt the point cloud.
  • the greater accuracy is due to the fact that features in images can be detected using a wide variety of algorithms on the server side, in order to be able to describe a three-dimensional structure within the space using a sequence of images using point coordinates.
  • a point cloud created on the mobile station side by the mobile device is additionally received on the server side and this point cloud on the mobile station side is combined with the server-side point cloud in order to determine a new server-side point cloud. Since a point cloud has already been created in the mobile device with the aid of appropriate computing methods, this can be used to calculate the point calculated on the server side
  • point coordinates represent a point cloud, points of the point cloud each being one of the
  • point coordinates are represented by vectors.
  • the origin of the vector can, on the one hand, be a globally valid origin and, on the other hand, it is possible for vectors to be determined in each case as point coordinates depending on recognized points or defined anchors. It is possible that, for example, GPS coordinates are used to the
  • the point coordinates represent points that represent real objects.
  • a surface of a real object can be described with a plurality of points in three-dimensional space.
  • Evaluation algorithm is the positioning of the points more or less accurate.
  • Motion data along with the images from the camera can determine the points with greater accuracy and greater density than this
  • the points on the server side point cloud are at least partially supplemented by the points on the mobile station side points. It is possible to weight the points of the point cloud on the server side and only points with one Add weighting above a threshold of server-side points. A density of the points in an area can be relevant for the weighting of the individual
  • Point cloud can be at least partially converted using the point coordinates of the points of the point cloud on the mobile station side and / or vice versa.
  • a feature in an image is represented on the server side by a point with point coordinates, that on the mobile station side it was referenced by a point with point coordinates that differ only marginally from the point coordinates of the server-side point.
  • a new point can be calculated from two points, for example by interpolation, averaging or other calculation methods, and its point coordinates can be used for the new server-side point cloud.
  • the point coordinates of the points of the point cloud on the mobile station side be used with the help of the server side
  • the evaluated movement data can be corrected.
  • the movement data can be evaluated on the server side with greater accuracy than this
  • the movement data can be corrected on the server side by comparing the data of the movement sensors with image data.
  • the movement data optimized in this way can be used to correct the point coordinates of the points of the point cloud on the mobile station side.
  • the point coordinates of the point of the point cloud on the mobile station side were recorded on the mobile station side using the and
  • orientation data which are received on the server side and evaluated on the server side. Based on this evaluated on the server side
  • Orientation data can also be used to correct the point coordinates recorded on the mobile station side.
  • the orientation data received on the server side be used on the server side with the aid of the received
  • Movement data are corrected.
  • the movement data make it possible to compensate for errors in the orientation data and vice versa.
  • feature recognition and / or feature description be carried out in the received image.
  • feature detection and “feature description” are known per se. In particular, MOPS or SIFT processes are used for this.
  • descriptors "descriptors” can be optimized by learning algorithms. To describe the features, it is possible to evaluate the point coordinates on the server side and to find optimal descriptors on the basis of the evaluation, in particular by means of deep-learning algorithms.
  • Feature descriptions are in particular those features that are invariant are, in particular with respect to rotation, translation, panning, zooming, light change and / or the like.
  • a bundle adjustment is carried out on the server side in the received image.
  • the point cloud is stored on the server side and is particularly persistent, it can be compared with point clouds of other mobile devices. It is also possible to carry out extensive analyzes of the point cloud, in order to possibly find a point cloud in the received mobile station-side point cloud
  • the point cloud on the mobile station side is created by means of visual motion-bound odometry (visual-inertia odometry).
  • a loop closure can be determined.
  • Point coordinates and points of the point cloud determined on the mobile station side are corrected. It is possible to determine the total drift of a closed ring (loop closure) and to use this to retroactively shift individual point coordinates of the points of the point cloud by the drift or a fraction of the drift.
  • the shift can be dependent on a shift vector which is determined by the drift. The amount of the displacement vector can increase with increasing
  • the image is evaluated on the server side.
  • contrast, brightness, sharpness, depth of field and the like can be evaluated on the server side and setting data depending on this for the be determined on the mobile station side camera.
  • setting data can then be transmitted to the mobile device in order to set the camera there, so that the image information is optimized for calculating the point cloud.
  • server-side point cloud in particular the new server-side point cloud, be transmitted to the mobile device. This makes it possible to replace or optimize the point cloud present in the mobile device. It is also possible for such a point cloud to be transmitted to devices in which no point cloud can be calculated at all on the mobile station side. Only based on the image information as well as the movement and
  • a mobile device can contribute to the determination of point clouds and receive point clouds.
  • the mobile device can then be located in space by comparing the current points in an image with points in the point cloud. If there is a match, the position of the device can be determined therefrom without the device itself having to record position information.
  • Anchors can be placed relative to points in the point cloud.
  • Point cloud is received by a mobile device and that an augmented reality application is initialized with the received point cloud in the mobile device.
  • an AR application At the beginning of an AR application, information about the environment is already available in the form of a point cloud.
  • server-side point clouds can be received by a plurality of mobile devices on the server side and for the point-point clouds received on the mobile station side to be used for the server side Adjust point cloud. This takes advantage of a variety of devices
  • Point clouds can be determined from a specific environment. This large number of point clouds can be integrated on the server side into the server-side point cloud in order to make them more robust and precise.
  • Detect application It is thus possible to determine at least two instances of the point clouds on the server side and to learn at least one feature in each instance by means of feature recognition and / or feature description. A respective instance together with the learned features can be transmitted to a mobile device.
  • the point cloud determined on the server side makes it possible to determine the position of a mobile device.
  • a point cloud of a mobile device can be compared with the server-side point cloud.
  • the points recorded in a current image can be compared with points of the point cloud, and if there is a match, the mobile device can be positioned in the virtual environment determined by the point cloud.
  • 1 shows a system for determining an area map
  • FIG. 3 shows an arrangement for recording movement data, orientation data and / or point clouds of a mobile device
  • Flg. 4 shows a process for determining a server-side point cloud
  • 5 shows a sequence of a loop closure
  • FIG. 8 shows a method for transmitting a point cloud to a mobile device
  • FIG. 9 shows a method for determining the position of a mobile device.
  • Visual and regress-based odometry can be carried out on a mobile device to create a point cloud on the mobile station side. This is well known and is supported, for example, by programming interfaces such as ARKit from Apple ® and ARCore from Google®.
  • a disadvantage of the local methods is that although they have a good relative positioning ability, they do not position correctly in large-scale environments
  • Point clouds limited, in particular due to a limited memory and also due to limited computing power. Therefore, the object of the idea is to prepare the information acquired on the mobile station side on the server side in such a way that an environment map and a positioning therein, even in large environments, over a large number of
  • mobile stations 2 are connected to a central server 6 via a wide area network 4, as shown in FIG. 1. Bi-directional communication is possible.
  • Subject are from the mobile stations 2 to the server 6 via the
  • Wide area network 4 transmits at least movement data and orientation data.
  • a transmission of the point cloud in particular the so-called “raw feature points”, can also be transmitted.
  • the movement data are also described as IMU (inertial measurement stater) and the orientation data are also described as pose transform data.
  • a server-side point cloud is calculated on the server side with the received data in a SLAM system (Simultaneous Localization and Mapping). To create the point cloud, it is necessary to assign point coordinates to points via vectors
  • FIG. 2 shows a scene in which three striking points 8 can be detected.
  • Such striking points 8 can be described by features that can be detected via a suitable description of the features (descriptors).
  • the features of points 8 are, in particular, invariant to changes such as movement, light change, panning, zoom or the like. It is also possible to define those feature descriptors that have a higher-ranking invariance.
  • a first image 10 the points 8 are shown in a specific arrangement to one another. On the basis of the orientation data 12, it is possible not only to score the points
  • the change of the points 8, in particular their relative allocation to one another in the images 10, together with the orientation information 12 and the movement information 16 makes it possible to use the vectors 14 of the mobile station and / or server side
  • a Cartesian coordinate system 18 is used in particular, the y axis being parallel to gravity, the x axis being parallel to the horizontal and the z axis being perpendicular to the plane spanned by the x and y axes.
  • the vectors 14 are in particular three-dimensional vectors.
  • Orientation information 12 and the movement information 16 can be one
  • a mobile station 2 first transmits an image 10, the associated orientation data 12 and the movement data 16 captured between two images 10, as shown in FIG. 3, to the server 6.
  • the image data stream thus obtained is evaluated in the server 6 and a server-side point cloud is calculated using a SLAM system.
  • the number of points in a point cloud can also be almost unlimited. This enables a point cloud for a large environment based on information from one or more to determine mobile devices 2. It is proposed, for example, that orientation data 12, movement data 16 and images 10 are received in at least one mobile device 2 in step 20. After receiving, for example, feature recognition is carried out and points are detected on the basis of feature descriptions. The points thus detected are extracted 22.
  • a point cloud 30 is determined in step 26 from the extracted points.
  • This point cloud 30 is stored on the server side in a memory.
  • the point cloud 30 is formed from a plurality of points which have a unique identifier and at least point coordinates.
  • the point cloud 30 calculated on the server side is based in particular on a plurality of information from, for example, a plurality of different mobile devices. For position detection, it is now possible to compare points detected on the mobile station side with the points of the point cloud. If there is a match, the position of the mobile device can then be determined by again using the orientation data 12, based on the recognized points, to determine the position of the mobile device 2 in the point cloud and thus the real environment.
  • server-side point cloud 30 Since the server-side point cloud 30 is more robust and precise, it is
  • Step 20 can be followed by step 32 during the evaluation, as shown in FIG. 5a.
  • images 10 and points 8 recorded so far are compared with those of the server-side point cloud, for example in order to carry out a loop closure.
  • this loop closures it is possible to determine whether a mobile device 2 is in a same position after a certain time and / or the same features can be recognized in an image. This is of particular interest to a drift that occurs after a Set a while to correct.
  • the points recorded after the detection of the loop closure (32) are added to the point cloud 30 in step 34.
  • a step 36 first determines the amount by which the position of the mobile device 2 calculated on the mobile station side, which is based on the movement data 16 and
  • Orientation data 12 was determined, deviates from the actual position of the mobile device 2. Since it was recognized on the server side that the mobile device 2 has returned to its original position, the position relative to the start of an AR session is clearly defined. If the position calculated on the mobile station side deviates from this, there is a drift, the amount of which can be determined (36). With the help of this amount of drift determined on the server side, it is possible to determine the points of the
  • the point coordinates or vectors 14 of individual points 8 are corrected. It is also possible to supplement a point cloud calculated on the mobile station side with points of a point cloud calculated on the server side. For this purpose, the point cloud 30 created between steps 20 and 26 is recorded. In addition, a point cloud on the mobile station side is received in a step 40. The points of the point cloud received on the mobile station side can be supplemented, corrected or changed in some other way by the point cloud 30 determined on the server side. The point cloud 30 thus optimized can then be transmitted from the server 6 to the mobile device 2 in a step 42.
  • a feature recognition is carried out in step 24 after the image 10 (20) has been received.
  • the invariance of the features is checked and, in particular, features can be defined using deep learning strategies. It can then be checked whether the feature recognition in an image 10 was good or bad (44) and from this it can be derived whether the quality of the captured image 10 was sufficiently good for the feature recognition.
  • at least one setting parameter for the camera exposure, contrast, color and the like
  • the orientation data 12 is calculated in a step 48 on the server side.
  • the calculation of the orientation data 12 can, on the one hand, use the movement data 16 and orientation data 12 received from the mobile device 2, and, on the other hand, a comparison can be made between the points detected on the mobile station side and the points of the point cloud 30 on the server side. For example, it is possible that the
  • a device-independent position determination is also possible.
  • points detected on the mobile station side can be transmitted to the server 6 in a step 56 become.
  • these points are compared with the points of the point cloud 30 on the mobile station
  • the determined position and possibly a point cloud enriched with points of the server-side point cloud 30 can be sent back to the mobile device (62).
  • the server-side point cloud is continuously checked and supplemented. Since information is continuously received from one or more mobile devices on the server side, the point cloud is continuously supplemented with points and / or points are corrected. This increases the server-side point cloud
  • the quality of the individual points of the point cloud can be optimized through bundle adjustment, feature matching and outlier removal.
  • descriptors can be used to evaluate the image information in an optimized way and to convert it into points of the point cloud.
  • Position determination of mobile devices based on the points recorded there by comparison with the point cloud and the respective descriptors can be changed.
  • the method in question thus creates a point cloud on the server side, which has an essentially global validity and can be acquired via a plurality of devices and made available to a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

Verfahren zur Bestimmung einer Umgebungskarte umfassend, serverseitiges Empfangen von Bewegungsdaten eines mobiles Gerätes, serverseitiges Empfangen von Orientierungsdaten einer Kamera des mobilen Gerätes und serverseitiges Empfangen des jeweiligen den empfangenen Bewegungsdaten und Orientierungsdaten zugeordneten Bildes der Kamera, serverseitiges Auswerten des empfangenen Bildes zusammen mit den Bewegungsdaten und den Orientierungsdaten zur Erstellung einer serverseitigen Punktwolke, wobei die serverseitige Punktewolke zumindest in Teilen die Umgebungskarte bildet.

Description

Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte
Der Gegenstand betrifft ein Verfahren sowie einen Server zur Bestimmung einer Umgebungskarte.
Die Vermessung und Auswertung von einer Umgebung eines mobilen Geräts ist aufgrund der guten Qualität von Kamerabildern von mobilen Geräten als auch guter Sensorwerte möglich. Dabei ist es möglich, dass anhand von Orientierungsdaten (Pose) einer Kamera eines mobilen Gerätes sowie eines jeweiligen Bilder (Frame) einer Kamera des mobilen Gerätes, Merkmale in dem Bild detektiert werden und diesen Merkmalen Punkte einer Punktwolke zugeordnet werden.
Merkmale in einem Bild haben eine relative Position in dem Bild und abhängig von einer Position und einer Ausrichtung bzw. Orientierung einer Kamera (Pose
Transform) kann hieraus eine Position des Merkmals in einem globalen
Koordinatensystem bestimmt werden. Insbesondere ist es möglich, zu fest definierten Referenzpunkten jeweils ein Koordinatensystem zu bestimmen, in dem die
Punktkoordinaten der Punkte der Punktwolke bestimmt werden.
Das Bestimmen von charakteristischen Merkmalen und das Berechnen von
Punktwolken hieraus ist hinlänglich bekannt und wird beispielsweise in sogenannten Augmented Reality (AR) Anwendungen eingesetzt. Bekannte Beispiele solcher Augmented Reality Anwendungen ist das ARKit von Apple® sowie ARCore von Google®. Beides sind anwendungsspezifische Programmierschnittstellen, die es ermöglichen, durch das Mobilgerät mobilstationsseitige Punktwolken für Augmented Reality Anwendungen zu erstellen und zu nutzen. Nachteilig an der Bestimmung der Punktwolke in dem Mobilgerät ist, dass einerseits die Rechenleistung begrenzt ist und andererseits aufgrund von fehlerhaften
Sensordaten eine Drift in den Punktkoordinaten in dem globalen Koordinatensystem auftreten kann. So ist es bekannt, dass die Drift 1% bis 10% beträgt, was insbesondere an einer unzureichenden Auswertung der verfügbaren Sensordaten liegen kann.
Dem Gegenstand liegt daher die Aufgabe zugrunde, eine auf Punkten und
Punktkoordinaten basierende Umgebungskarte zu optimieren.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 sowie einen Server nach Anspruch 20 gelöst.
Gegenständlich wird vorgeschlagen, dass serverseitig Bewegungsdaten eines mobilen Gerätes empfangen werden. Ein mobiles Gerät kann insbesondere ein Mobiltelefon, ein Tablet-Computer, Smart Glasses, Wearables oder dergleichen sein.
Bewegungsdaten können insbesondere Neigungs- und Beschleunigungsinformationen sein, die in dem mobilen Gerät mittels geeigneter Sensoren, beispielsweise
N eigungssensoren und/oder Beschleunigungssensoren erfasst werden können. Mit Hilfe der Bewegungsdaten ist eine Bewegung des mobilen Gerätes im Raum
detektierbar. Insbesondere ist mit Hilfe der B e wegungs daten eine
Positionsbestimmung des mobilen Gerätes relativ zu einem Bezugspunkt möglich. Bewegungsdaten werden insbesondere zwischen zwei Bilder ausgewertet, um die Veränderung der Position des Gerätes relativ zu dem realen Objekt welches in dem Bild erfasst wurde, zu bestimmten.
Darüber hinaus wird vorgeschlagen, dass serverseitig Orientierungsdaten einer Kamera des mobilen Gerätes empfangen werden. Orientierungsdaten (Pose) einer Kamera können durch eine Richtung eines Vektors in einem Koordinatensystem ausgedrückt werden, wobei der Vektor insbesondere in der optischen Achse der Kamera liegt. Das Koordinatensystem ist insbesondere ein globales
Koordinatensystem, bei dem eine erste Achse parallel zur Gravitation verläuft, eine zweite Achse parallel zur Waagerechten verläuft und eine dritte Achse senkrecht zu der durch die ersten beiden Achsen aufgespannte Ebene verläuft. Hiermit kann die Ausrichtung der optischen Achse der Kamera im dreidimensionalen Raum bestimmt werden.
Schließlich wird durch die Kamera des mobilen Gerätes eine Abfolge von Bildern, insbesondere in einem Video erfasst. Wenn ein Bild der Kamera erfasst wurde, kann zusammen hiermit die Orientierungsinformation im Sinne von Orientierungsdaten in dem mobilen Gerät erfasst werden und es kann erfasst werden, welche
Bewegungsinformationen zwischen einem der vorhergehenden Bilder und dem aktuellen Bild anhand der Bewegungsdaten erfasst wurden. Diese Information, also die Bewegungsdaten und Orientierungsdaten, zusammen mit dem zugeordneten Bild der Kamera, können serverseitig empfangen werden.
Ein Bild der Kamera kann ein sogenannter„Frame" eines Bewegtbildes sein.
Gegenständlich ist es möglich, dass serverseitig jedes Einzelbild oder auch nur zeitlich nicht unmittelbar benachbarte Bilder der Kamera empfangen werden. So ist es beispielsweise möglich, dass nur jedes 5te, jedes lOte, jedes n-te (n>10) Bild der Kamera serverseitig empfangen wird.
Zur Erstellung der Umgebungskarte wird nun vorgeschlagen, dass serverseitig das empfangene Bild zusammen mit den Bewegungsdaten und den Orientierungsdaten ausgewertet wird, um eine serverseitige Punktwolke zu erstellen. Die serverseitige Punktwolke wird insbesondere mittels eines SLAM (Simultaneous Localization and Mapping) -Algorithmus im Server erstellt. Das Erstellen einer Punktwolke anhand von Bildern ist an sich bekannt, nicht jedoch, dass hierzu die Bewegungsdaten und die Orientierungsdaten des mobilen Gerätes genutzt werden. Aufgrund der Tatsache, dass serverseitig zum einen größere Rechenleistung zur Verfügung steht und zum anderen zur Erstellung der Punktwolke eine Latenz zulässig ist, wird die serverseitig erstellte Punktwolke in der Regel die Umgebung besser abbilden, als eine mobilstationsseitig erstellte Punktwolke. Mit Hilfe der serverseitigen Punktwolke wird eine Umgebungskarte zumindest in Teilen erstellt.
Bei der serverseitigen Auswertung des empfangenen Bildes werden sowohl die Bewegungsdaten als auch die Orientierungsdaten verwendet» insbesondere kann hiermit eine Transformation der erfassten Punkte in dem Bild in Punktkoordinaten in einem globalen Koordinatensystem errechnet werden.
Die Bewegungsdaten können auch als IMU-Daten (inertial measurement data) verstanden werden. Die Orientierungsdaten können auch als pose-transform-Daten verstanden werden.
Die serverseitig erstellte serverseitige Punktwolke ist höher aufgelöst und weist eine höhere Genauigkeit auf, als eine mobilstationsseitig erstellte Punktwolke. Die höhere Auflösung ist insbesondere durch mehr Rechenleistung und größere
Rechengenauigkeit begründet, sowie der Tatsache, dass serverseitig Daten von einer Vielzahl an Bildern aus ganz unterschiedlichen Zeitpunkten, die auch Stunden, Tage oder Wochen auseinander liegen, genutzt werden können, um die Punktwolke laufend zu ergänzen und/oder anzupassen. Die größere Genauigkeit ist damit begründet, dass Merkmale in Bildern mit serverseitig verschiedensten Algorithmen detektiert werden können, um so eine dreidimensionale Struktur innerhalb des Raumes anhand einer Abfolge von Bildern durch Punktkoordinaten beschreiben zu können.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass zusätzlich serverseitig eine durch das mobile Gerät erstellte mobilstationsseitige Punktwolke empfangen wird und diese mobilstationsseitige Punktwolke mit der serverseitigen Punktwolke vereint wird, um eine neue serverseitige Punktwolke zu bestimmen. Da in dem Mobilgerät bereits mit Hilfe von entsprechenden Rechenverfahren eine Punktwolke erstellt wurde, kann diese dazu genutzt werden, die serverseitig errechnete
Punktwolke anzureichen. Durch ein Vereinen der mobilstationsseitig errechneten Punktwolke mit der serverseitigen Punktwolke wird die neue serverseitige
Punktwolke robuster und genauer.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass Punktkoordinaten eine Punktwolke repräsentieren, wobei Punkte der Punktwolke jeweils einer der
Punktkoordinaten entsprechen. Mit Hilfe der Punkte bzw. der Punktkoordinaten können Objekte, respektive besondere Merkmale von Objekten, hinsichtlich ihrer Position im Raum beschrieben werden.
Dabei wird vorgeschlagen, dass Punktkoordinaten durch Vektoren repräsentiert werden. Der Ursprung des Vektors kann einerseits ein globalgültiger Ursprung sein und andererseits ist es möglich, dass abhängig von erkannten Punkten oder definierten Ankern jeweils Vektoren zu Punktkoordinaten bestimmt werden. Hierbei ist es möglich, dass beispielsweise GPS-Koordinaten genutzt werden, um den
Ursprung eines Vektors zu repräsentieren. Die Punktkoordinaten stellen in einem global gültigen Raum Punkte dar, die reale Objekte repräsentieren.
Eine Oberfläche eines realen Objekts kann mit einer Mehrzahl von Punkten im dreidimensionalen Raum beschrieben werden. Abhängig vom
Auswertungsalgorithmus ist die Positionierung der Punkte mehr oder minder genau. Durch eine serverseitige Auswertung der Orientierungsdaten als auch der
Bewegungsdaten zusammen mit den Bildern der Kamera können die Punkte mit einer höheren Genauigkeit und einer größeren Dichte bestimmt werden als dies
mobilstationsseitig möglich ist, um so die serverseitige Punktwolke zur Bestimmung der U mgebungskarte robuster und genauer zu gestalten.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass beim Vereinen der mobilstationsseitigen Punktwolke mit der serverseitigen Punktwolke die Punkte der serverseitigen Punktwolke um die Punkte der mobilstationsseitigen Punkte zumindest teilweise ergänzen werden. Hierbei ist es möglich, die Punkte der mobilstationsseitigen Punktwolke serverseitig zu Wichten und nur Punkte mit einer Wichtung über einem Grenzwert der serverseitigen Punkte hinzuzufügen. Dabei kann eine Dichte der Punkte in einem Bereich relevant sein für die Wichtung der einzelnen
Punkte in diesem Bereich.
Auch ist es möglich, dass die Punktkoordinaten der Punkte der serverseitigen
Punktwolke mit Hilfe der Punktkoordinaten der Punkte der mobilstationsseitigen Punktwolke und/oder umgekehrt zumindest teilweise umgerechnet werden. So ist es beispielsweise möglich, dass ein Merkmal in einem Bild serverseitig durch einen Punkt mit Punktkoordinaten repräsentiert wird, dass mobilstationsseitig durch einen Punkt mit Punktkoordinaten referenziert wurde, welche nur marginal von den Punktko or di naten des serverseitigen Punktes abweichen. In einem solchen Fall kann beispielsweise durch Interpolation, Mittelung oder anderer Rechenverfahren aus zwei Punkten ein neuer Punkt berechnet werden und dessen Punktkoordinaten können für die neue serverseitige Punktwolke verwendet werden.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass die Punktkoordinaten der Punkte der mobilstationsseitigen Punktwolke mit Hilfe der serverseitig
ausgewerteten Bewegungsdaten korrigiert werden. Die Bewegungsdaten können serverseitig mit größerer Genauigkeit ausgewertet werden, als dies
mobilstationsseitig möglich ist. Insbesondere kann durch einen Abgleich der Daten der Bewegungssensoren mit Bilddaten, eine Korrektur der Bewegungsdaten serverseitig erfolgen. Die so optimierten Bewegungsdaten können verwendet werden, um die Punktkoordinaten der Punkte der mobilstationsseitigen Punktwolke zu korrigieren. Die Punktkoordinaten der Punkt der mobilstationsseitigen Punktwolke wurden mobilstationsseitig anhand der mobilstationsseitig erfassten und
ausgewählten Bewegungsdaten als auch der mobilstationsseitig erfassten und ausgewählten Orientierungsdaten mobilstationsseitig berechnet. Durch Rechenfehler kann hierbei eine Drift entstehen, aufgrund derer die Punktkoordinaten mit zunehmender Dauer der Erfassung der Punkte relativ zueinander und/oder zu einem gemeinsamen Ursprung ungenauer werden. Das heißt, dass in einem globalen
Koordinatensystem die Punktkoordinaten mit zunehmender Dauer der Erfassung der Punkte weniger exakt sind. Durch ein Anpassen anhand der serverseitig ausgewerteten Bewegungsdaten kann dieser Drift entgegen gewirkt werden.
Selbes gilt für Orientierungsdaten, welche serverseitig empfangen werden und serverseitig ausgewertet werden. Anhand dieser serverseitig ausgewerteten
Orientierungsdaten können die mobilstationsseitig erfassten Punktkoordinaten ebenfalls korrigiert werden.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass die serverseitig empfangenen Orientierungsdaten serverseitig mit Hilfe der empfangenen
Bewegungsdaten korrigiert werden. Durch die Bewegungsdaten ist es möglich, Fehler in den Orientierungsdaten auszugleichen und umgekehrt.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass in dem empfangenen Bild eine Merkmalserkennung und/oder eine Merkmalsbeschreibung durchgeführt wird. Sogenannte„feature detection" und„feature description" ist an sich bekannt. Insbesondere werden MOPS- oder SIFT-Verfahren hierfür eingesetzt. Durch die serverseitige Auswertung des Bildes ist es möglich, Merkmalsbeschreibungen zu optimieren. Sogenannte Deskriptoren„descriptors" (Merkmalsbeschreibungen] können durch Lernalgorithmen optimiert werden. Zur Merkmalsbeschreibung ist es möglich, die Punktkoordinaten serverseitig auszuwerten und anhand der Auswertung, insbesondere mittels deep-learning-Algorithmen, optimale Deskriptoren zu finden. Merkmalsbeschreibungen sind insbesondere solche Merkmale, die invariant sind, insbesondere gegenüber Rotation, Translation, Panning, Zooming, Lichtveränderung und/oder dergleichen.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass serverseitig in dem empfangen Bild ein bündle adjustment durchgeführt wird.
Dadurch, dass die Punktwolke serverseitig gespeichert wird und insbesondere persistent ist, kann sie mit Punktwolken weiterer mobiler Geräte verglichen werden. Auch ist es möglich, umfangreiche Analysen der Punktwolke durchzuführen, um gegebenenfalls in der empfangenen mobilstationsseitigen Punktwolke eine
Ausreisserentfernung durchzuführen. Hier ist es möglich, derartige Punkte zu identifizieren, die mit einer hohen Wahrscheinlichkeit fehlerhaft erkannt wurden. Insbesondere kann eine statistische Auswertung erfolgen, sodass Ausreisser detektiert werden, welche aufgrund fehlerhafter Bildauswertung entstanden sind und nicht durch Objekte im Raum bedingt sind.
Die mobilstationsseitige Punktwolke wird mittels visueller bewegungsgebundener Odometrie (visual-inertia odometry) erstellt.
Problematisch bei rein mobilstationsgebundenen Punktwolken ist das sogenannte „loop closure", das heißt, das Wiedererkennen von zuvor detektierten Punkten und zuvor besuchten Orten innerhalb einer AR Sitzung. Durch eine serverseitige
Punktwolke kann ein loop closure bestimmt werden. Insbesondere ist es möglich, bereits zuvor detektierte Bilder und/oder Punkte zu erkennen und hieraus zu schließen, dass ein sogenanntes„loop closure" erfolgt ist.
Ist ein loop closure serverseitig berechnet worden, kann eine Drift an
Punktkoordinaten und Punkten der mobilstationsseitig bestimmten Punktwolke korrigiert werden. Hierbei ist es möglich, die Gesamtdrift eines geschlossenen Ringes (loop closure) zu bestimmen und hieraus rückwirkend einzelne Punktkoordinaten der Punkte der Punktwolke um die Drift oder einen Bruchteil der Drift zu verschieben. Die Verschiebung kann abhängig von einem Verschiebungsvektor sein, der durch die Drift bestimmt ist. Der Betrag des Verschiebungsvektors kann mit zunehmendem
zeitlichem Abstand zu dem Bild, in dem das loop closure detektiert wurde, abnehmen.
Auch ist es möglich, dass serverseitig das Bild ausgewertet wird. Hierbei können insbesondere Kontrast, Helligkeit, Schärfe, Tiefenschärfe und dergleichen serverseitig ausgewertet werden und Einstellungsdaten abhängig davon für die mobilstationsseitige Kamera bestimmt werden. Solche Einstellungsdaten können dann an das mobile Gerät übermittelt werden, um dort die Kamera einzustellen, so dass die Bildinformationen für das Berechnen der Punktwolke optimiert sind.
Auch wird vorgeschlagen, dass die serverseitige Punktwolke, insbesondere die neue serverseitige Punktwolke an das mobile Gerät übermittelt wird. Hierdurch ist es möglich, die in dem Mobilgerät vorhandene Punktwolke zu ersetzen oder zu optimieren. Auch ist es möglich, dass eine solche Punktwolke an Geräte übermittelt wird, in denen mobilstationsseitig überhaupt keine Punktwolke berechnet werden kann. Nur anhand der Bildinformationen sowie der Bewegungs- und
Orientierungsdaten kann ein mobiles Gerät zur Bestimmung von Punktwolken beitragen und Punktwolken empfangen.
Eine Lokalisierung des mobilen Geräts im Raum kann dann durch Abgleich der aktuellen Punkte in einem Bild mit Punkten in der Punktwolke erfolgen. Liegt eine Übereinstimmung vor, kann daraus die Position des Gerätes bestimmt werden, ohne dass das Gerät selber Positionsinformationen erfassen muss.
Zur Bestimmung von Vektorursprüngen ist es möglich, die serverseitige Punktwolke mit Ankern anzureichern. Anker können relativ zu Punkten in der Punktwolke gesetzt werden.
Gemäß einem Ausführungsbeispiel wird vorgeschlagen, dass die serverseitige
Punktwolke von einem mobilen Gerät empfangen wird und dass in dem mobilen Gerät eine Augmented Reality Anwendung mit der empfangenen Punktwolke initialisiert wird. Somit liegt zu Beginn einer AR-Anwendung bereits eine Information zu der Umgebung in Form einer Punktwolke vor.
Auch ist es möglich, dass serverseitig von einer Mehrzahl von mobilen Geräten mobilstationsseitige Punktwolken empfangen werden und dass die empfangenen mobilstationsseitigen Punktwolken verwendet werden, um die serverseitige Punktwolke anzupassen. Hierbei wird ausgenutzt, dass von einer Vielzahl von Geräten
Punktwolken von einer bestimmten Umgebung bestimmt werden. Diese Vielzahl der Punktwolken können serverseitig in die serverseitige Punktwolke integriert werden, um diese robuster und genauer zu machen.
Auch ist es möglich, Merkmale abhängig von einem semantischen Umfeld der
Anwendung zu detektieren. So ist es möglich, serverseitig zumindest zwei Instanzen der Punktwolken zu bestimmen und in jeder Instanz zumindest ein Merkmal durch Merkmalserkennung und/oder Merkmalsbeschreibung anzulernen. Einer jeweiligen Instanz samt der angelernten Merkmale kann an ein mobiles Gerät übermittelt werden.
Durch die serverseitig bestimmte Punktwolke ist es möglich, die Position eines mobilen Gerätes zu bestimmen. Hierbei kann eine Punktwolke eines mobilen Gerätes mit der serverseitigen Punktwolke verglichen werden. Insbesondere können die in einem aktuellen Bild erfassten Punkte mit Punkten der Punktwolke verglichen werden und bei einer Übereinstimmung kann eine Positionierung des mobilen Gerätes in der durch die Punktwolke bestimmten virtuellen Umgebung erfolgen.
Nachfolgend wird der Gegenstand anhand einer Ausführungsbeispiele zeigenden Zeichnung näher erläutert. In der Zeichnung zeigen:
Fig. 1 ein System zur Bestimmung einer Umgebungskarte;
Fig.2 eine Darstellung von Merkmalen und deren Erkennung in Bildern sowie einer Zuordnung zu Punkten/Punktkoordinaten;
Fig. 3 eine Anordnung zur Erfassung von Bewegungsdaten, Orientierungsdaten und/oder Punktwolken eines mobilen Gerätes;
Flg. 4 ein Ablauf zu Bestimmung einer serverseitigen Punktwolke; Fig. 5 ein Ablauf einer loop closure;
Fig. 5a, b ein Anpassen mobilstationsseitiger Punktkoordinaten abhängig von einer
Drift;
Fig. 6 ein Ablauf zur Optimierung einer mobilstationsseitigen Punktwolke;
Fig. 7 ein Ablauf zur Erstellung von Einstelldaten für ein Mobilgerät;
Fig. 8 ein Verfahren zur Übermittlung einer Punktwolke an ein Mobilgerät;
Fig. 9 ein Verfahren zur Positionsbestimmung eines mobilen Gerätes.
Mit Hilfe des gegenständlichen Verfahrens ist es möglich, basierend auf
mobilstationsseitig erfassten Bewegungsdaten, Orientierungsdaten und/oder Punktwolken eine zentrale Punktwolke zu erstellen, um somit
Positionierungsaufgaben optimiert zu lösen.
Auf einem mobilen Gerät kann eine visuelle und regressgestützte Odometrie zur Erstellung einer mobilstationsseitigen Punktwolke durchgeführt werden. Dies ist hinlänglich bekannt und wird beispielsweise durch Programmierschnittstellen, wie beispielsweise ARKit von Apple® sowie ARCore von Google® unterstützt. Nachteilig an den lokalen Verfahren ist, dass diese zwar ein gutes relatives Positioniervermögen haben, jedoch in großräumigen Umgebungen fehlerhafte Positionierungen
durchführen und weder robust noch akkurat genug sind, um diese industriellen Anwendungen zuführen zu können. Außerdem sind die mobilstationsseitigen
Punktwolken limitiert, insbesondere aufgrund eines limitierten Speichers als auch aufgrund limitierter Rechenleistung. Daher liegt dem Gegenstand der Gedanke zugrunde, die mobilstationsseitig erfassten Informationen serverseitig so aufzubereiten, dass eine Umgebungskarte und eine Positionierung darin auch in großen Umgebungen über eine Vielzahl von
Mobilgeräten mit einer hohen Genauigkeit und großen Robustheit möglich ist.
Es wird vorgeschlagen, dass serverseitig die von einer mobilstationsseitig
durchgeführten Odometrie verfügbaren Daten genutzt und angereichert werden. Hierzu sind Mobilstationen 2 über ein Weitverkehrsnetz 4 mit einem zentralen Server 6 verbunden, wie in Fig. 1 gezeigt. Eine bidirektionale Kommunikation ist möglich.
Gegenständlich werden von den Mobilstationen 2 an den Server 6 über das
Weitverkehrsnetz 4 zumindest Bewegungsdaten und Orientierungsdaten übermittelt. Darüber hinaus kann auch eine Übermittlung der Punktwolke, insbesondere der sogenannten„raw feature points" übermittelt werden. Die Bewegungsdaten werden auch als IMU (inertial measurement stater) beschrieben und die Orientierungsdaten werden auch als pose transform Daten beschrieben.
Serverseitig wird mit den empfangenen Daten in einem SLAM-System (Simultaneous Localization and Mapping] eine serverseitige Punktwolke errechnet. Zur Erstellung der Punktwolke ist es notwendig, Punkten Punktkoordinaten über Vektoren zuzuordnen. Hierzu wird eine Auswertung der Bildinformationen, der
Orientierungsinformationen und der Bewegungsinformationen durchgeführt. Dies ist schematisch in der Figur 2 dargestellt.
Fig. 2 zeigt eine Szene, bei der drei markante Punkte 8 detektierbar sind. Solche markante Punkte 8 können durch Merkmale beschrieben werden, die über geeignete Merkmalsbeschreibung (descriptors) detektierbar sind. Die Merkmale der Punkte 8 sind insbesondere invariant gegenüber Veränderungen, wie beispielsweise Bewegung, Lichtveränderung, Panning, Zoom oder dergleichen. Auch ist es möglich, solche Merkmalsdeskriptoren zu definieren, die eine höherrangige Invarianz aufweisen. In einem ersten Bild 10 sind die Punkte 8 in einer bestimmten Anordnung zueinander dargestellt. Anhand der Orientierungsdaten 12 ist es möglich, den Punkten nicht nur
Koordinaten innerhalb des Bildes 10 zuzuordnen, sondern gegebenenfalls auch Koordinaten, die durch Vektoren 14 mit zumindest einem gemeinsamen Ursprung 16 beschrieben werden können. Dies ist insbesondere dann möglich, wenn neben den Orientierungsdaten 12 auch Bewegungsdaten 16 erfasst werden und beispielsweise in einem zweiten Bild 10 mit anderen Orientierungsdaten 12 die gleichen Punkte 8 in einer anderen Zuordnung zueinander detektiert werden. Die Veränderung der Punkte 8, insbesondere deren relative Zuordnung zueinander in den Bildern 10, zusammen mit den Orientierungsinformationen 12 und den Bewegungsinformationen 16 ermöglicht es, mobilstationsseitig und/oder serverseitig die Vektoren 14 der
Punktkoordinaten der Punkte 8 zu errechnen.
Hierbei wird insbesondere ein kartesisches Koordinatensystem 18 eingesetzt, wobei die y-Achse parallel zur Gravitation, die x-Achse parallel zur Waagerechten und die z- Achse senkrecht auf der durch die x- und y-Achse aufgespannten Ebene steht. Die Vektoren 14 sind insbesondere dreidimensionale Vektoren. Über die
Orientierungsinformation 12 und die Bewegungsinformation 16 kann ein
Transformationstensor, mit dem aus den lokalen in dem Bild erfassten Positionen der Punkte die global gültigen Vektoren 14 errechnet werden können, bestimmt werden.
Gegenständlich wird von einer Mobilstation 2 zunächst jeweils ein Bild 10, die dazugehörige Orientierungsdaten 12 und die zwischen zwei Bildern 10 erfassten Bewegungsdaten 16, wie in Fig. 3 gezeigt, an den Server 6 übermittelt. In dem Server 6 wird der so erhaltende Bilddatenstrom ausgewertet und mittels eines SLAM-Systems eine serverseitige Punktwolke berechnet.
Da serverseitig zum einen eine höhere Rechenleistung zur Verfügung steht und auch die Speicherkapazität im Grunde unbegrenzt ist, kann die Anzahl der Punkte einer Punktwolke ebenso nahezu unbegrenzt sein. Dies ermöglicht es, eine Punktwolke für eine große Umgebung basierend auf Informationen von einem oder mehreren mobilen Geräten 2 zu bestimmen. Dabei wird beispielsweise vorgeschlagen, dass in einem Schritt 20 von zumindest einem mobilen Gerät 2 Orientierungsdaten 12, Bewegungsdaten 16 und Bilder 10 empfangen werden. Nach dem Empfang wird beispielsweise eine Merkmalserkennung durchgeführt und Punkte anhand von Merkmalsbeschreibungen detektiert. Die so detektierten Punkte werden extrahiert 22.
Anschließend kann eine Bewertung der Merkmalsbeschreibungen im Schritt 24 durchgeführt werden. Schließlich wird aus den extrahierten Punkten eine Punktwolke 30 im Schritt 26 bestimmt. Diese Punktwolke 30 wird serverseitig in einem Speicher abgelegt. Die Punktwolke 30 ist gebildet aus einer Mehrzahl von Punkten, die einen eindeutigen Kenner und zumindest Punktkoordinaten aufweisen.
Die serverseitig errechnete Punktwolke 30 basiert insbesondere auf einer Mehrzahl von Informationen von beispielsweise einer Mehrzahl verschiedener Mobilgeräte. Zur Positionserkennung ist es nun möglich, mobilstationsseitig erkannte Punkte mit den Punkten der Punktwolke zu vergleichen. Bei einer Übereinstimmung kann dann eine Positionsbestimmung des mobilen Gerätes erfolgen, indem wiederum über die Orientierungsdaten 12 ausgehend von den erkannten Punkten, die Position des Mobilgeräts 2 in der Punktwolke und mithin der realen Umgebung bestimmt werden kann.
Da die serverseitige Punktwolke 30 robuster und genauer ist, ist die
Positionsbestimmung ebenfalls genauer. An den Schritt 20 kann bei der Auswertung, wie in der Fig. 5a dargestellt ein Schritt 32 anschließen. In diesem Schritt 32 erfolgt ein Vergleich bisher erfasster Bilder 10 und Punkte 8 mit solchen der serverseitigen Punktwolke, um beispielsweise ein loop closure durchzuführen. Mit Hilfe dieses loop closures ist es möglich, festzustellen, ob sich ein Mobilgerät 2 nach einer bestimmten Zeit an einer gleichen Position befindet und/oder gleiche Merkmale in einem Bild zu erkennen sind. Dies ist insbesondere von Interesse, um eine Drift, die sich nach einer Weile einstellt, zu korrigieren. Die nach der Erfassung der loop closure (32) erfassten Punkte werden im Schritt 34 zu der Punktwolke 30 hinzugefügt.
Wird ein loop closure detektiert, so ist es möglich, diese serverseitig detektierte Information zu verwenden, um eine mobilstationsseitige Drift in den Punkten der mobilstationsseitigen Punktwolke zu eliminieren. Hierzu wird in einem Schritt 36 zunächst festgestellt, um welchen Betrag sich die mobilstationsseitig errechnete Position des mobilen Gerätes 2, welche anhand der Bewegungsdaten 16 und
Orientierungsdaten 12 ermittelt wurde, abweicht von der tatsächlichen Position des mobilen Gerätes 2. Da serverseitig erkannt wurde, dass das mobile Gerät 2 wieder in seiner Ursprungsposition angelangt ist, ist die Position relativ zum Anfang einer AR- Session eindeutig definiert. Weicht die mobilstationsseitig errechnete Position davon ab, liegt eine Drift vor, deren Betrag bestimmt werden kann (36). Mit Hilfe dieses serverseitig bestimmten Betrags der Drift ist es möglich, die Punkte der
mobilstationsseitig berechneten Punktwolke anzupassen (38).
Dabei erfolgt eine Korrektur der Punktkoordinaten bzw. Vektoren 14 einzelner Punkte 8. Auch ist es möglich, eine mobilstationsseitig errechnete Punktwolke um serverseitig errechnete Punkte einer Punktwolke zu ergänzen. Hierzu wird die zwischen den Schritten 20 und 26 erstellte Punktwolke 30 erfasst. Darüber hinaus wird in einem Schritt 40 eine mobilstationsseitige Punktwolke empfangen. Die Punkte der mobilstationsseitig empfangenen Punktwolke können ergänzt, korrigiert oder in einer sonstigen Weise durch die serverseitig bestimmte Punktwolke 30 verändert werden. Die so optimierte Punktwolke 30 kann dann in einem Schritt 42 von dem Server 6 an das mobile Gerät 2 übermittelt werden.
Da serverseitig eine Auswertung des Bildes 10 durchgeführt wird, wird nach dem Empfangen des Bildes 10 (20) im Schritt 24 eine Merkmalserkennung durchgeführt. Bei dieser Merkmalserkennung wird die Invarianz der Merkmale überprüft und insbesondere können Merkmale anhand von deep learning-Strategien definiert werden. Anschließend kann überprüft werden, ob die Merkmalserkennung in einem Bild 10 gut oder schlecht war (44) und hieraus abgeleitet werden, ob das erfasste Bild 10 in seiner Qualität für die Merkmalserkennung ausreichend gut war. Abhängig von dieser Auswertung kann in einem Schritt 46 zumindest ein Einstellparameter für die Kamera (Belichtung, Kontrast, Farbe und dergleichen) bestimmt werden und an das mobile Gerät 2 übermittelt werden. Dort kann die Kamera entsprechend eingestellt werden.
Auch ist es möglich, die mobilstationsseitig erfasste Orientierung zu optimieren. Hierzu wird nach dem Empfangen 20 eine Berechnung der Orientierungsdaten 12 in einem Schritt 48 serverseitig durchgeführt. Die Berechnung der Orientierungsdaten 12 kann dabei zum einen die von dem mobilen Gerät 2 empfangenen Bewegungsdaten 16 und Orientierungsdaten 12 nutzen und zum anderen kann einen Abgleich zwischen den mobilstationsseitig erfassten Punkten und den serverseitig vorhandenen Punkte der Punktwolke 30 erfolgen. So ist es beispielsweise möglich, dass die
mobilstationsseitige Punktwolke bzw. die Punkte eines Bildes 10 in der serverseitigen Punktwolke 30 vorhanden sind, jedoch die Punktkoordinaten voneinander
abweichen. Es kann festgestellt werden, dass diese Abweichung der Punktkoordinaten aufgrund eines fehlerhaften Umrechnungstensors bestehen, welcher gegebenenfalls aufgrund einer fehlerhaften Orientierungsinformation des mobilen Gerätes 2 bestimmt wurde. Ist dies der Fall, kann in einem Schritt 50 eine Abschätzung der tatsächlichen Orientierung der Kamera des mobilen Geräts 2 berechnet werden. Diese Information kann an das Mobilgerät 2 zurück gesendet werden, welches seine
Orientierungsinformation updaten kann.
Darüber hinaus ist es möglich, in der Punktwolke 30 im Schritt 52 Anker zu
bestimmen, welche ebenfalls in Schritt 54 an das Mobilgerät 2 übermittelt werden können.
Eine geräteunabhängige Positionsbestimmung ist ebenfalls möglich. Hierbei können mobilstationsseitig erfasste Punkte in einem Schritt 56 an den Server 6 übermittelt werden. In einem Schritt 58 erfolgt ein Vergleich dieser Punkte mit den Punkten der mobilstationsseitigen Punktwolke 30. Anhand dieses Vergleiches ist eine
Positionsbestimmung möglich, in dem eine Übereinstimmung in den Punkten festgestellt wird. Basierend hieraus, kann eine Positionsbestimmung (60) erfolgen.
Die bestimmte Position sowie gegebenenfalls eine um Punkte der serverseitigen Punktwolke 30 angereicherte Punktwolke kann zurück an das mobile Gerät gesendet werden (62).
Die serverseitige Punktwolke wird laufend überprüft und ergänzt. Da laufend von einem oder mehreren mobilen Geräten Informationen serverseitig empfangen werden, wird die Punktwolke ständig um Punkte ergänzt und/oder es werden Punkte korrigiert. Dadurch wird die serverseitige Punktwolke mit zunehmender
Betriebsdauer immer genauer und detaillierter. Serverseitig kann durch Bündle Adjustment, Feature Matching und Outlier Removal die Qualität der einzelnen Punkte der Punktwolke optimiert werden. Merkmale bzw. Merkmalsbeschreibung
(descriptors) können fortlaufend verändert und ergänzt werden. Abhängig von der semantischen Umgebung können unterschiedliche Merkmalsbeschreibungen
(descriptors) verwendet werden, um die Bildinformationen optimiert auswerten zu können und diese in Punkte der Punktwolke umrechnen zu können.
Insbesondere kann überprüft werden, wie gut und wie häufig eine
Positionsbestimmung von mobilen Geräten anhand der dort erfassten Punkte durch Vergleich mit der Punktwolke ist und die jeweiligen Deskriptoren können verändert werden.
Das gegenständliche Verfahren erstellt somit serverseitig eine Punktwolke, die eine im Wesentlichen globale Gültigkeit hat und über eine Mehrzahl von Geräten erfasst und einer Mehrzahl von Geräten zur Verfügung gestellt werden kann.

Claims

P a t e n t a n s p r ü c h e
1. Verfahren zur Bestimmung einer Umgebungskarte umfassend,
serverseitiges Empfangen von Bewegungsdaten eines mobiles Gerätes, serverseitiges Empfangen von Orientierungsdaten einer Kamera des mobilen Gerätes und
serverseitiges Empfangen des jeweiligen den empfangenen Bewegungsdaten und Orientierungsdaten zugeordneten Bildes der Kamera,
serverseitiges Auswerten des empfangenen Bildes zusammen mit den
B e wegungs daten und den Orientierungsdaten zur Erstellung einer serverseitigen Punktwolke, wobei die serverseitige Punktewolke zumindest in Teilen die Umgebungskarte bildet.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass eine durch das mobile Gerät erstellte mobilstationsseitige Punktewolke serverseitig empfangen wird, und
dass die serverseitige Punktewolke mit der mobilstationsseitigen Punktewolke zu einer neuen serverseitigen Punktewolke vereint wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass Punktkoordinaten eine Punktwolke repräsentieren, wobei Punkte der Punktwolke jeweils einer Punktkoordinate entsprechen.
4. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Punktkoordinaten durch Vektoren repräsentiert werden.
5. Verfahren nach Anspruch 2,
dadurch gekennzeichnet,
dass beim Vereinen der der mobilstationsseitigen Punktwolke mit der serverseitigen Punktwolke:
die Punkte der serverseitigen Punktwolke um die Punkte der
mobilstationsseitigen Punkte zumindest teilweise ergänzt werden, und/oder die Punktkoordinaten der Punkte der serverseitigen Punktwolke mit Hilfe der Punktkoordinaten der Punkte der mobilstationsseitigen Punktwolke und/oder umgekehrt zumindest teilweise umgerechnet werden.
6. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Punktkoordinaten der Punkte der mobilstationsseitigen Punktwolke mit Hilfe der serverseitig ausgewerteten Bewegungsdaten und/oder
Orientierungsdaten verändert werden, insbesondere dass eine Drift der
Punktkoordinaten der mobilstationsseitigen Punkte korrigiert wird.
7. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die Orientierungsdaten serverseitig mit Hilfe der empfangenen
Bewegungsdaten korrigiert werden.
8. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass serverseitig in dem empfangenen Bild eine Merkmalserkennung und/oder eine Merkmalsbeschreibung durchgeführt wird, insbesondere mittel MOPS oder SIFT.
9. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet, dass bei der Merkmalserkennung und/oder eine Merkmalsbeschreibung Merkmale serverseitig angelernt werden, insbesondere dass ein deep learning durchgeführt wird.
10. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass serverseitig in dem empfangenen Bild ein Bündle Adjustment durchgeführt wird.
11. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass serverseitig in der empfangenen mobilstationsseitigen Punktewolke eine Ausreißer-Entfernung, insbesondere mittels statistischer Auswertung durchgeführt wird.
12. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die mobilstationsseitige Punktwolke mittels visueller,
bewegungsgebundener Odometrie erstellt wird.
13. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass mit Hilfe der serverseitigen Punktwolke eine Loop-Closure bestimmt wird und dass anhand der bestimmten Loop Closure eine Drift der Punkte der mobilstationsseitigen Punktwolke korrigiert wird, wobei insbesondere eine lineare Anpassung der Drift durchgeführt wird.
14. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet, dass abhängig von der serverseitigen Auswertung des Bildes Einstellungsdaten für die mobilstationsseitige Kamera bestimmt werden und an das mobile Gerät übermittelt werden.
15. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die neue serverseitige Punktwolke an das mobile Gerät übermittelt wird.
16. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die serverseitige Punktwolke mit Ankern angereichert wird.
17. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass die serverseitige Punktwolke von einem mobilen Gerät empfangen wird und dass in dem mobilen Gerät eine augmented reality Anwendung mit der empfangenen Punktwolke initialisiert wird.
18. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass serverseitig von einer Mehrzahl von mobilen Geräten mobilstationsseitige Punktwolken empfangen werden, dass die empfangenen mobilstationsseitige Punktwolken verwendet werden, um die serverseitige Punktwolke anzupassen.
19. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet,
dass für eine serverseitige Punktwolke zumindest zwei Instanzen bestimmt werden, wobei in jeder Instanz zumindest ein Merkmal durch
Merkmalserkennung und/oder eine Merkmalsbeschreibung serverseitig angelernt werden und die jeweiligen Instanzen samt Merkmalen an ein mobiles Gerät übermittelt werden. Server eingerichtet zur Bestimmung einer Umgebungskarte umfassend, eine Empfangseinrichtung eingerichtet zum Empfangen von Bewegungsdaten eines mobiles Gerätes, von Orientierungsdaten einer Kamera des mobilen Gerätes und des jeweiligen den empfangenen Bewegungsdaten und
Orientierungsdaten zugeordneten Bildes der Kamera,
einer Recheneinrichtung eingerichtet zum Auswerten des empfangenen Bildes zusammen mit den Bewegungsdaten und den Orientierungsdaten zur Erstellung einer serverseitigen Punktwolke, wobei die serverseitige Punktewolke zumindest in Teilen die Umgebungskarte bildet.
PCT/EP2019/073630 2018-10-15 2019-09-05 Verfahren und vorrichtung zur bestimmung einer umgebungskarte WO2020078615A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19772993.2A EP3867796A1 (de) 2018-10-15 2019-09-05 Verfahren und vorrichtung zur bestimmung einer umgebungskarte
CN201980075291.1A CN113039554A (zh) 2018-10-15 2019-09-05 用于确定环境地图的方法和装置
US17/230,373 US11568598B2 (en) 2018-10-15 2021-04-14 Method and device for determining an environment map by a server using motion and orientation data
US18/103,158 US20230298344A1 (en) 2018-10-15 2023-01-30 Method and device for determining an environment map by a server using motion and orientation data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018125397.4 2018-10-15
DE102018125397.4A DE102018125397A1 (de) 2018-10-15 2018-10-15 Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/230,373 Continuation US11568598B2 (en) 2018-10-15 2021-04-14 Method and device for determining an environment map by a server using motion and orientation data

Publications (1)

Publication Number Publication Date
WO2020078615A1 true WO2020078615A1 (de) 2020-04-23

Family

ID=67999604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/073630 WO2020078615A1 (de) 2018-10-15 2019-09-05 Verfahren und vorrichtung zur bestimmung einer umgebungskarte

Country Status (5)

Country Link
US (2) US11568598B2 (de)
EP (1) EP3867796A1 (de)
CN (1) CN113039554A (de)
DE (1) DE102018125397A1 (de)
WO (1) WO2020078615A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018125397A1 (de) * 2018-10-15 2020-04-16 Visualix GmbH Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte
US20230021556A1 (en) * 2020-01-24 2023-01-26 Sony Interactive Entertainment Inc. Environmental map management apparatus, environmental map management method, and program
DE102020213111A1 (de) 2020-10-16 2022-04-21 FoP Consult GmbH Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts
US20230194301A1 (en) * 2021-12-16 2023-06-22 Univrses Ab High fidelity anchor points for real-time mapping with mobile devices

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254118B2 (en) * 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
EP2918972B1 (de) * 2014-03-14 2019-10-09 Leica Geosystems AG Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
US9811734B2 (en) * 2015-05-11 2017-11-07 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
KR20170081351A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템
US10203209B2 (en) * 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
GB2554674B (en) * 2016-10-03 2019-08-21 I2O3D Holdings Ltd 3D capture: object extraction
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
US10282913B2 (en) * 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技（上海）有限公司 一种三维室外地图的构建方法
US11145116B2 (en) * 2017-11-21 2021-10-12 Faro Technologies, Inc. System and method of scanning an environment and generating two dimensional images of the environment
WO2019140295A1 (en) * 2018-01-11 2019-07-18 Youar Inc. Cross-device supervisory computer vision system
US10482674B1 (en) * 2018-06-27 2019-11-19 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for mobile augmented reality
US12067683B2 (en) * 2018-09-14 2024-08-20 Streem, Llc Location persistent augmented reality object and annotation placement
DE102018125397A1 (de) * 2018-10-15 2020-04-16 Visualix GmbH Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAKL ANDREAS: "Basics of AR: SLAM - Simultaneous Localization and Mapping - andreasjakl.com", 14 August 2018 (2018-08-14), XP055636840, Retrieved from the Internet <URL:https://www.andreasjakl.com/basics-of-ar-slam-simultaneous-localization-and-mapping/> [retrieved on 20191029] *
JIANZHU HUAI: "Collaborative SLAM with Crowdsourced Data", PHD OHIO STATE UNIV, 1 January 2017 (2017-01-01), XP055636782, Retrieved from the Internet <URL:https://etd.ohiolink.edu/|etd.send_file?accession=osu1483669256597152&disposition=inline> [retrieved on 20191029] *
VENTURA JONATHAN ET AL: "Global Localization from Monocular SLAM on a Mobile Phone", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 20, no. 4, 1 April 2014 (2014-04-01), pages 531 - 539, XP011543580, ISSN: 1077-2626, [retrieved on 20140321], DOI: 10.1109/TVCG.2014.27 *

Also Published As

Publication number Publication date
EP3867796A1 (de) 2021-08-25
DE102018125397A1 (de) 2020-04-16
US11568598B2 (en) 2023-01-31
CN113039554A (zh) 2021-06-25
US20210327130A1 (en) 2021-10-21
US20230298344A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
WO2020078615A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102015015194A1 (de) Bildverarbeitungsvorrichtung und -verfahren und Programm
EP2126840A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
DE112016001829T5 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE102016208056A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE112019007390T5 (de) Verfahren, Vorrichtung und Computerprogramm zur Verfolgung von sich bewegenden Objekten
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
EP2381207A1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
DE102018123393A1 (de) Erkennung von Parkflächen
DE112020006935T5 (de) Verfahren und gerät zur parkplatzerkennung sowie vorrichtung und speichermedium
DE102015220031A1 (de) Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
EP1145086B1 (de) Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur
DE102010021221A1 (de) Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102013018561A1 (de) Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
EP3685352B1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
WO2005025237A1 (de) Verfahren zur selbstkalibrierung eines kamerasystems
DE112021000595T5 (de) Bildverarbeitungssystem
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
EP3518180A1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
WO2012150150A1 (de) Verfahren zur rechnergestützten lageschätzung eines objekts
DE102021200197A1 (de) Verfahren zum Kalibrieren einer Kamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019772993

Country of ref document: EP

Effective date: 20210517