DE112017003426T5 - Method and system for reconstructing a three-dimensional representation - Google Patents
Method and system for reconstructing a three-dimensional representation Download PDFInfo
- Publication number
- DE112017003426T5 DE112017003426T5 DE112017003426.4T DE112017003426T DE112017003426T5 DE 112017003426 T5 DE112017003426 T5 DE 112017003426T5 DE 112017003426 T DE112017003426 T DE 112017003426T DE 112017003426 T5 DE112017003426 T5 DE 112017003426T5
- Authority
- DE
- Germany
- Prior art keywords
- points
- data
- representative
- pairs
- successive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
Abstract
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm und ein System zum Rekonstruieren eines dreidimensionalen Bild.Ansichten des Bildes werden mittels eines Registrierungsvektors erfasst und verarbeitet, der relativ zu den repräsentativen Daten der Pixel einer Ansicht, die den Pixeln der vorherigen Ansicht entsprechen und/oder den repräsentativen Daten der dreidimensionalen Koordinaten von gegebenen Punkten in einer Ansicht relativ zu der vorherigen Ansicht, definiert wird.The present invention relates to a method, a computer program and a system for reconstructing a three-dimensional image. Views of the image are captured and processed by means of a registration vector relative to the representative data of the pixels of a view corresponding to the pixels of the previous view and / or the representative data of the three-dimensional coordinates of given points in a view relative to the previous view.
Description
TECHNISCHER BEREICH DER ERFINDUNGTECHNICAL FIELD OF THE INVENTION
Die vorliegende Anmeldung bezieht sich auf den Bereich der computerimplementierten Verfahren zum Rekonstruieren einer dreidimensionalen Darstellung. Darüber hinaus bezieht sich die Anmeldung auf die zugehörigen Computerprogrammprodukte und Systeme.The present application relates to the field of computer-implemented methods for reconstructing a three-dimensional representation. In addition, the application relates to the associated computer program products and systems.
TECHNOLOGISCHER HINTERGRUND DER ERFINDUNGTECHNOLOGICAL BACKGROUND OF THE INVENTION
In der Technik ist es bekannt, dreidimensionale Bilder von einer Video- oder Fotokamera zu rekonstruieren und eine Computerverarbeitung der erfassten Bilder durchzuführen, um eine dreidimensionale „Darstellung“, beispielsweise einer Szene oder eines Objektes, zu rekonstruieren insbesondere um sie in einer Umgebung virtueller Realität oder erweiterter Realität zu studieren und / oder zu verwenden.It is known in the art to reconstruct three-dimensional images from a video or photo camera and perform computer processing of the captured images to reconstruct a three-dimensional "representation" of, for example, a scene or object, in particular in a virtual reality environment to study and / or use advanced reality.
Es sind auch verschiedene Vorrichtungen oder dreidimensionale Datenerfassungssysteme bekannt, bei denen im Allgemeinen zwei Sensoren verwendet werden, von denen mindestens einer ein optischer Sensor (oder optoelektronisch, jedoch wird hier kein Unterschied zwischen den beiden Begriffen gemacht) ist. Um die Genauigkeit der Rekonstruktionen zu verbessern, wird häufig vorgeschlagen, mehrere Kameras zu verwenden und die Daten in einen Computer zu integrieren. Diese Art von Lösung führt zu erheblichen Rechenzeiten und verringert die Lebensdauer der für ihre Implementierung verwendeten Geräte. Selbst wenn manchmal zwei optische Sensoren verwendet werden, um eine stereoskopische Erfassung durchzuführen, verwenden viele andere Geräte eher einen zweiten Sensor einer anderen Art, um dreidimensionale Daten bereitzustellen, die oft als „Tiefendaten“ bezeichnet werden. Als Beispiel eines zweiten Sensortyps können die bekannten Infrarotsensoren erwähnt werden, es können jedoch andere Technologien verwendet werden, um ähnliche Daten zu erhalten, die im Allgemeinen die Entfernung zwischen dem Sensor und dem erfassten Ziel darstellen. Daten dieser Art, die aus der Erfassung von Bildern und dreidimensionalen Informationen stammen, die die „dreidimensionale Erfassung“ darstellen, können vorteilhafterweise Daten zugeordnet werden, die sich auf die Position der Sensoren im Raum während der Erfassung beziehen, um einen Bezug zu den dreidimensionalen Daten bereitzustellen und sie so in den Raum platzieren zu lassen. Diese Daten ermöglichen es beispielsweise, Darstellungen (oder Rekonstruktionen) von Einheiten wie Räumen oder Umgebungen sowie Objekte, die insbesondere reproduzierbar sind, beispielsweise mit dreidimensionalen Druckern, zu erzeugen (in den Computerspeichermitteln).Also known are various devices or three-dimensional data acquisition systems that generally use two sensors, at least one of which is an optical sensor (or optoelectronic, but no distinction is made here between the two terms). To improve the accuracy of the reconstructions, it is often suggested to use multiple cameras and to integrate the data into a computer. This type of solution leads to significant computation times and reduces the lifespan of the devices used for their implementation. Even if sometimes two optical sensors are used to perform stereoscopic detection, many other devices use a second sensor of a different type to provide three-dimensional data, often referred to as "depth data." As an example of a second type of sensor, the known infrared sensors may be mentioned, but other technologies may be used to obtain similar data, which generally represents the distance between the sensor and the detected target. Data of this kind, which originate from the acquisition of images and three-dimensional information representing the "three-dimensional detection", can advantageously be associated with data relating to the position of the sensors in space during the detection in relation to the three-dimensional data to have them placed in the room. These data make it possible, for example, to create representations (or reconstructions) of units such as rooms or environments as well as objects which are in particular reproducible, for example with three-dimensional printers (in the computer storage means).
In dieser Optik ist die Genauigkeit der Rekonstruktion ein kritischer Punkt und hängt von der Position des optischen Sensors (im Allgemeinen einer Kamera) ab, insbesondere aber von den Positionen dieses Sensors bei jeder der aufeinanderfolgenden Aufnahmen sowie von der Bildqualität des durch die Kamera erhaltenen Bildes. Darüber hinaus erfordert diese Rekonstruktion im Allgemeinen immer effizientere Computersysteme für die Verarbeitung von immer komplexer werdenden Daten, um Berechnungen durchzuführen, die es ermöglichen, verschiedene Punkte innerhalb mehrerer Bilder zu charakterisieren, um die dreidimensionale Darstellung der erfassten Einheit rekonstruieren zu können.In this optic, the accuracy of the reconstruction is a critical point and depends on the position of the optical sensor (generally a camera), but especially on the positions of that sensor in each successive shot and on the image quality of the image obtained by the camera. Moreover, this reconstruction generally requires ever more efficient computer systems for processing increasingly complex data to perform computations that allow characterizing various points within multiple images to reconstruct the three-dimensional representation of the acquired entity.
ALLGEMEINE BESCHREIBUNG DER ERFINDUNGGENERAL DESCRIPTION OF THE INVENTION
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren vorzuschlagen, das Berechnungen vereinfacht und es ermöglicht, einerseits die für ihre Ausführung erforderlichen Rechenzeiten und andererseits die Ungenauigkeit der erhaltenen dreidimensionalen Darstellung zu reduzieren.The object of the invention is to propose a method which simplifies calculations and makes it possible, on the one hand, to reduce the computing times required for their execution and, on the other hand, to reduce the inaccuracy of the resulting three-dimensional representation.
Um diese Art von Ziel zu erreichen, schlägt die Erfindung vor, ein Verfahren zum Rekonstruieren von mindestens einer dreidimensionalen Darstellung von mindestens einer untersuchten physikalischen Einheit auf der Grundlage von Erfassungen, die n aufeinanderfolgenden Aufnahmen einer Vielzahl von Daten entsprechen, die vorzugsweise zeitlich miteinander synchronisiert sind und Folgendes aufweisen:
- - repräsentative Daten von n Ansichten der Einheit, bestehend aus einer Vielzahl von Pixeln, die unter Verwendung mindestens einer ersten Erfassungsvorrichtung, optischer Sensor genannt, aufgenommen wurden, wobei n eine von Null verschiedene ganze Zahl ist,
- - repräsentative Daten von mindestens einer Entfernung, genannt Tiefe, gemessen mit mindestens einer zweiten Erfassungsvorrichtung, genannt Tiefensensor, zwischen mindestens einem Teil der Pixel in den n Ansichten und mindestens einer der Erfassungsvorrichtungen,
- - repräsentative Daten aufeinanderfolgender Positionen des Erfassungssystems bei jeder von n aufeinanderfolgenden Erfassungen, die unter Verwendung von mindestens einer dritten Erfassungsvorrichtung erfasst werden, genannt Positionssensor;
wobei das Verfahren durch ein System zum Rekonstruieren für eine dreidimensionale Darstellung implementiert wird, in dem die durch die Erfassungen erhaltenen n aufeinanderfolgenden Aufnahmen Daten liefern, deren Kombination Punktwolken darstellt, wobei das Verfahren dadurch gekennzeichnet ist, dass
- • jede der Punktwolken in Bezug auf eine jeweils gewöhnliche Referenz im Raum referenziert wird;
- • mindestens ein Vektor berechnet wird, um eine Neueinstellung zu definieren, die auf jede der aufeinanderfolgenden üblichen Referenz in Bezug auf die vorangehende Referenz anzuwenden ist;
- • zumindest ein Deskriptor mindestens einer Erfassung von Punktepaaren implementiert, die als Ähnlichkeitspunkte bezeichnet werden, die jeweils zu zwei aufeinanderfolgenden Ansichten gehören und eine bestimmte Ähnlichkeit zwischen den Werten von mindestens einem ihrer repräsentativen Daten haben, um als Referenz für die Neueinstellung zu dienen;
- • die Neueinstellung wird inkrementell auf die n aufeinanderfolgenden Erfassungen angewendet, so dass, einerseits jede Wiederholung es ermöglicht, die repräsentativen Daten einer gegebenen Ansicht und/oder die entsprechende Punktewolke in Bezug auf die vorangehenden zu registrieren und dass, andererseits die aufeinanderfolgenden Iterationen die Neueinstellung der Daten in Bezug auf das für die erste Punktwolke definierte übliche Referenz ermöglichen und als globale Referenz für die Rekonstruktion der dreidimensionalen Darstellung dienen,
- • die Paare, die als Referenz für die Neueinstellung dienen, werden durch mindestens einen der folgenden Schritte ausgewählt:
- - Bildneueinstellung basierend auf den repräsentativen Daten der Pixel, die während der Erfassung der aufeinanderfolgenden Ansichten erfasst wurden, wobei diese Bildneueinstellung mindestens eine Auswahl der Paare unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte der Differenz zwischen den beiden Punkten eines Paares in Bezug auf die Translation und/oder Rotation;
- • geometrische Neueinstellung basierend auf den Daten, die die Koordinaten der Punkte innerhalb der Punktwolken darstellen. und/oder
- • geometrische Neueinstellung auf der Grundlage der repräsentativen Daten der Koordinaten der Punkte in den aufeinanderfolgenden Punktwolken durch das Identifizieren für einen Punkt in einer Punktwolke, die einer gegebenen Erfassung entspricht, von mindestens drei Punkten, die in der Punktwolke der vorherigen Ansicht am nächsten sind, die im globalen Koordinatensystem festgelegt ist, so dass diese geometrische Neueinstellung diese drei Punkte, die als Referenzstandorte bezeichnet werden, als Bezugspunkt innerhalb der Punktwolke der vorherigen Ansicht verwendet, wobei diese drei Referenzstandorten ein Dreieck bilden, für das die Projektion des zurückzusetzenden Punktes der geringsten Entfernung entspricht.
- representative data of n views of the unit consisting of a plurality of pixels recorded using at least a first detector, called an optical sensor, where n is an integer other than zero,
- representative data of at least one distance, called depth, measured with at least one second detection device, called depth sensor, between at least a part of the pixels in the n views and at least one of the detection devices,
- representative data of successive positions of the detection system in each of n consecutive acquisitions detected using at least one third detection device, called position sensor;
the method being implemented by a system for reconstructing a three-dimensional representation in which the n consecutive exposures obtained by the captures provide data the combination of which represent point clouds, the method being characterized in that
- • each of the point clouds is referenced relative to a common reference in space;
- • calculating at least one vector to define a resetting to be applied to each of the consecutive common references with respect to the previous reference;
- • implements at least one descriptor of at least one detection of pairs of points, referred to as similarity points, each belonging to two consecutive views and having a certain similarity between the values of at least one of its representative data to serve as a reference for the readjustment;
- The readjustment is applied incrementally to the n consecutive acquisitions, such that, on the one hand, each repetition allows the representative data of a given view and / or the corresponding cloud of points to be registered with respect to the previous one and, on the other hand, the successive iterations Allow data in relation to the usual reference defined for the first point cloud and serve as a global reference for the reconstruction of the three-dimensional representation,
- • the reference reference pairs are selected by one or more of the following:
- Image re-adjustment based on the representative data of the pixels acquired during the acquisition of the successive views, this re-adjustment of at least one selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair on translation and / or rotation;
- • geometric resetting based on the data representing the coordinates of the points within the point clouds. and or
- • geometric resetting based on the representative data of the coordinates of the points in the successive point clouds by identifying, for a point in a point cloud corresponding to a given detection, at least three points closest in the point cloud of the previous view in the global coordinate system, so that this geometric re-adjustment uses these three points, referred to as reference locations, as a reference point within the point cloud of the previous view, these three reference locations forming a triangle for which the projection of the point to be reset corresponds to the shortest distance ,
Gemäß einem weiteren Merkmal umfasst das Verfahren, wenn die durch die verschiedenen Vorrichtungen des Erfassungssystems erhaltenen Daten unter Bezugnahme auf mindestens zwei unterschiedliche dreidimensionale Referenzen definiert wurden, für jede der aufeinanderfolgenden Aufnahmen mindestens eine Transposition dieser Daten in einer gemeinsamen dreidimensionalen Referenz beim Ausrichten der jeweiligen Basen jeder dieser Daten relativ zueinander, um repräsentative Daten von n Punktwolken zu erhalten, die in Bezug auf n aufeinanderfolgende übliche dreidimensionale Referenzen, die auf eine gemeinsame Weise definiert sind, referenziert werden bei jeder der aufeinanderfolgenden Erfassungen, um die Registrierung der Punktwolken zu ermöglichen, um die Rekonstruktion zu erhalten.According to a further feature, when the data obtained by the various devices of the detection system have been defined with reference to at least two different three-dimensional references, the method comprises, for each successive acquisition, at least one transposition of that data in a common three-dimensional reference in aligning the respective bases of these data relative to each other to obtain representative data of n point clouds referenced with respect to n consecutive common three-dimensional references defined in a common manner at each of the successive acquisitions to allow the registration of the point clouds To get reconstruction.
Gemäß einem weiteren Merkmal implementiert das Verfahren die Auswahl der Paare unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Translation dank einer Suche nach eine maximalen Anzahl von Paaren, zwischen denen die Translation durch einen Vektor mit einem Wert definiert ist, der niedriger als ein bestimmter Translationsschwellenwert ist, beispielsweise ein einstellbarer Translationschwellenwert.According to another feature, the method implements the selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair in translation, thanks to a search for a maximum number of pairs between which the translation is defined by a vector having a value which is lower than a certain translation threshold, for example an adjustable translation threshold.
Gemäß einem weiteren Merkmal umfasst die Bildregistrierung:
- • mindestens eine Auswahl der Paare unter Verwendung von mindestens einem Filter basierend auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Drehung unter Verwendung von mindestens einer Auswahl von Referenzpunkten mit der größten Anzahl von Paaren, definiert als ihre zugehörigen Paare, mit denen sich ihre Registrierungsvektoren um einen Winkel unterscheiden, der kleiner ist als eine Winkelschwelle eines bestimmten Werts, beispielsweise ein einstellbarer Winkelschwellenwert,
- • die Auswahl basiert auf einer Abweichung, ausgedrückt durch ein Triplett von Drehwinkeln, zwischen den repräsentativen Vektoren von Paaren von Referenzpunkten in Bezug auf die repräsentativen Vektoren ihrer zugehörigen Paare.
- At least one selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair with respect to the rotation using at least one selection of reference points having the largest number of pairs defined as their associated pairs with their registration vectors differing by an angle less than an angle threshold of a particular value, such as an adjustable angle threshold,
- The selection is based on a deviation, expressed by a triplet of rotation angles, between the representative vectors of pairs of reference points with respect to the representative vectors of their respective pairs.
Gemäß einem weiteren Merkmal entspricht die Abweichung einer Funktion, und die Auswahl entspricht einer Minimierung dieser Funktion durch aufeinanderfolgende Iterationen einzelner Drehungen mit einem bestimmten Winkelwert, der beispielsweise einstellbar ist.According to another feature, the deviation corresponds to a function and the selection corresponds to a minimization of this function by successive iterations of individual rotations with a certain angle value, which is adjustable, for example.
Gemäß einem weiteren Merkmal wird der einstellbare Wert von einem Benutzer oder Entwickler definiert, der die Implementierung des Verfahrens in dem System vorbereitet.According to another feature, the settable value is defined by a user or developer preparing the implementation of the method in the system.
Gemäß einem weiteren Merkmal entspricht der Deskriptor, der für die Erfassung von Punktepaaren zuständig ist, einem Harris-Detektor, der die Ähnlichkeit zwischen den Durchschnittswerten der Farben in ihren jeweiligen Umgebungen bestimmt.According to another feature, the descriptor, which is responsible for the detection of pairs of points, corresponds to a Harris detector, which determines the similarity between the average values of the colors in their respective environments.
Gemäß einem weiteren Merkmal verwendet der Auswahlschritt, der auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Translation basiert, einen Translationsschwellenwert in der Größenordnung von 10%.According to another feature, the selection step, which is based on the representative values of the difference between the two points of a pair with respect to the translation, uses a translation threshold of the order of 10%.
Gemäß einem weiteren Merkmal basiert der Auswahlschritt, der auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Drehung basiert, auf einem Winkelschwellenwert in der Größenordnung von einem Grad.According to another feature, the selection step based on the representative values of the difference between the two points of a pair with respect to the rotation is based on an angle threshold on the order of one degree.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit Abschnitten von Code darstellenden Anweisungen zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11, wenn das Programm mittels eines Datenverarbeitungsmittels ausgeführt wird.Another object of the invention relates to a computer program comprising sections of code representing instructions for carrying out the method according to one of
Ein weiterer Gegenstand der Erfindung betrifft ein System zum Rekonstruieren eines dreidimensionalen Bildes, das eine Datenverarbeitungsmitteln umfasst, die die Anweisungen ausführen, die in einer Speichereinrichtung gespeichert sind, um das Verfahren gemäß einer der in der vorliegenden Anmeldung beschriebenen Ausführungsformen zu implementieren.Another object of the invention is a system for reconstructing a three-dimensional image comprising data processing means executing the instructions stored in a storage device to implement the method according to one of the embodiments described in the present application.
Ein weiterer Gegenstand der Erfindung betrifft ein System zum Rekonstruieren gemäß dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass es die Erfassungseinrichtungen umfasst, die die repräsentativen Daten der aufeinanderfolgenden Aufnahmen bereitstellen.A further subject of the invention relates to a system for reconstructing according to the preceding claim, characterized in that it comprises the detection means which provide the representative data of the consecutive recordings.
Figurenlistelist of figures
Weitere Merkmale und Vorteile verschiedener Ausführungsformen der vorliegenden Anmeldung werden in der nachstehenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
- •
1 eine Datenerfassungsvorrichtung zeigt, die eine Einheit erfasst, um die Rekonstruktion einer dreidimensionalen Darstellung gemäß einigen Ausführungsformen zu ermöglichen; - •
2A ein Beispiel einer Punktewolke darstellt, die von einer Datenerfassung stammt, die durch ein Erfassungssystem gemäß bestimmten Ausführungsformen durchgeführt wurde, und2B zeigt ein Beispiel eines Satzes von ausgewählten Referenzstandorten, die durch ein Translationsfilter eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen ausgewählt wurden; - •
3A ein Beispiel eines Satzes von Referenzstandorten zeigt, der durch ein Rotationsfilter eines Systems zum Rekonstruierens einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen ausgewählt wurde, und3B zeigt ein Beispiel eines Satzes von geometrisch neu eingestellten Punkten eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen; - •
4 einige Ausführungsformen eines Verfahrens zum Rekonstruieren einer dreidimensionalen Darstellung darstellt, das innerhalb von zwei möglichen Ausführungsformen eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung implementiert ist.
- •
1 a data acquisition device that detects a unit to enable the reconstruction of a three-dimensional representation according to some embodiments; - •
2A FIG. 4 illustrates an example of a point cloud resulting from data acquisition performed by a detection system according to certain embodiments; and FIG2 B FIG. 12 shows an example of a set of selected reference locations selected by a translation filter of a system for reconstructing a three-dimensional representation according to certain embodiments; FIG. - •
3A shows an example of a set of reference locations selected by a rotation filter of a system for reconstructing a three-dimensional representation according to certain embodiments, and3B FIG. 12 shows an example of a set of geometrically reset points of a system for reconstructing a three-dimensional representation according to certain embodiments; FIG. - •
4 some embodiments of a A method of reconstructing a three-dimensional representation implemented within two possible embodiments of a system for reconstructing a three-dimensional representation.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN DER ERFINDUNGDESCRIPTION OF THE PREFERRED EMBODIMENTS OF THE INVENTION
Die vorliegende Anmeldung betrifft ein Verfahren und ein System zum Rekonstruieren eines dreidimensionalen Bildes. Diese Art von Verfahren wird im Allgemeinen durch Computermittel implementiert, und das System (
Das Verfahren ermöglicht es, dreidimensionale Bilder von Einheiten (
Diese Art von Verfahren wird im Allgemeinen unter Verwendung eines Systems (
Ein Problem auf diesem Bereich betrifft die Bestimmung einer Übereinstimmung zwischen den zwischen einer Erfassung und der nächsten erfassten Daten innerhalb eines dreidimensionalen Erfassungssystems, insbesondere wenn die physikalische Position der Erfassungsvorrichtungen zwischen diesen beiden Aufnahmen variiert. Die vorliegende Anmeldung zielt daher darauf ab, die Ungenauigkeiten dieser geschätzten Übereinstimmung zu reduzieren oder sogar zu beseitigen und/oder die zum Erreichen eines derartigen Ergebnisses erforderlichen Ressourcen zu reduzieren. So erhalten wir Daten, die in Bezug auf eine bestimmbare globale Referenz referenziert werden, aus einer Abfolge von üblichen Referenzen, deren Korrespondenz hergestellt werden muss.A problem in this area concerns the determination of a correspondence between the data acquired between a detection and the next acquired data within a three-dimensional detection system, in particular if the physical position of the detection devices varies between these two recordings. The present application therefore aims to reduce or even eliminate the inaccuracies of this estimated match, and / or to reduce the resources required to achieve such a result. Thus, we obtain data referenced in relation to a determinable global reference from a sequence of common references whose correspondence needs to be established.
Diese Übereinstimmung ist besonders problematisch in dem häufigen Fall einer Verschiebung der üblichen aufeinander folgenden Referenzen, das heißt einer Verschiebung der Sensoren relativ zu der erfassten Einheit. Zusätzlich kann diese Verschiebung mindestens eine Translation des Ursprungs der aufeinanderfolgenden üblichen Referenzen (wenn der optische Sensor bewegt wird) und/oder eine Drehung der Achsen umfassen, die die Basis dieser aufeinanderfolgenden Referenzen definieren (wenn die Ausrichtung des optischen Sensors geändert wird).This coincidence is particularly problematic in the frequent case of a shift of the usual successive references, that is, a displacement of the sensors relative to the detected unit. In addition, this shift may include at least one translation of the origin of the successive common references (as the optical sensor is moved) and / or rotation of the axes defining the basis of these successive references (if the orientation of the optical sensor is changed).
Diese Verschiebung des ersten und des zweiten Sensors (
Die vorliegende Anmeldung beschreibt somit eine Erfindung, die darüber hinaus einen besonderen Vorteil bietet, der in diesen genauen Kontext passt, indem die Daten bezüglich der (durch die Vorrichtungen zum Erfassen dreidimensionaler Koordinaten) geschätzten dreidimensionalen Positionen der Pixel oder Punkte innerhalb der aufeinanderfolgende Ansichten oder Bilder korrigiert werden, die während der Erfassung dieser beiden Datentypen gesammelt wurden, was zur Verbesserung der Verarbeitung dient.The present application thus describes an invention which, moreover, offers a particular advantage that fits into this precise context by providing the data regarding the three-dimensional positions of the pixels or dots within the successive views or images (estimated by the three-dimensional coordinate detection devices) corrected while collecting these two types of data, which improves processing.
Zu diesem Zweck schlagen verschiedene Ausführungsformen der vorliegenden Anmeldung vor, den durch die Positioniervorrichtung möglicherweise eingeführten Fehler (Erfassung von Koordinaten im Raum) während der Schätzung der Verschiebung des Optischen und/oder Tiefenerfassungssystems zu begrenzen.For this purpose, various embodiments of the present application propose to limit the error (detection of coordinates in space) possibly introduced by the positioning device during the estimation of the displacement of the optical and / or depth detection system.
Da die Verschiebung der Sensoren von einer Erfassung zur anderen eine Translation und/oder Drehung des Erfassungssystems betreffen kann, kann die vorgeschlagene Korrektur in einigen Ausführungsformen innerhalb der vorgeschlagenen Optionen von einem Benutzer einstellbar und/oder auswählbar sein (dieser legt fest, ob mindestens eine dieser Korrekturen verwendet werden muss und/oder wie hoch der Wert sein soll, um zu bestimmen, wie diese Korrektur angewendet werden soll, beispielsweise über eine Benutzerinteraktionsschnittstelle (
Außerdem beziehen sich verschiedene Ausführungsformen der vorliegenden Anmeldung vorteilhafterweise auf mindestens ein Problem, das sich auf die Übereinstimmung zwischen den Basen und den Ursprüngen bezieht, die den verschiedenen Sensoren entsprechen, die die Erfassung von Daten in Bezug zueinander ermöglichten. Diese Art von Problem und Lösung impliziert im Allgemeinen, dass die Basen und Ursprünge relativ zueinander neu eingestellt werden (vorzugsweise, wenn die Beziehungen zwischen diesen Sensoren hinsichtlich der Position und gemessener physikalischer Werte identifiziert werden). In bestimmten Ausführungsformen schlägt dieses Verfahren vor, in einem globalen Referenz, jede der aufeinanderfolgenden Referenzen in Bezug aufeinander zu transponieren und dann diese Umsetzung durch mindestens eine Translation des Ursprungs der aufeinanderfolgenden üblichen Referenzen nacheinander zu korrigieren relativ zu den anderen und/oder mindestens eine Drehung der Basen dieser aufeinander folgend üblichen Referenz. Beispielsweise kann das Verfahren auf der Grundlage von Daten durchgeführt werden, die mit einer Bilderfassungskamera (
Vorzugsweise werden die Aufnahmen über ein Programm ausgelöst, das den optischen Sensor (
Das vorgeschlagene Verfahren basiert auf Daten, die von diesen Arten von Erfassungsvorrichtungen erfasst werden, ist jedoch nicht auf diese Erfassung beschränkt, da es vorzugsweise nur das dreidimensionale Rekonstruieren betrifft, obwohl es Erfassungsschritte enthalten kann, wie zum Beispiel in
Verschiedene Ausführungsformen betreffen ein Verfahren, ein ausführbares Programm oder ein System zum Rekonstruieren von mindestens einer dreidimensionalen Darstellung (
- • repräsentative Daten (
VE ) von n Ansichten der Einheit (E ), bestehend aus einer Vielzahl von Pixeln, die unter Verwendung mindestens einer ersten Erfassungsvorrichtung erfasst werden, optischer Sensor (10 ) genannt, wobei n eine von Null verschiedene ganze Zahl ist, - • repräsentative Daten (
PP ) wenigstens einer Entfernung, gemessen mit mindestens einer zweiten Erfassungsvorrichtung, Tiefensensor (11 ) genannt, zwischen mindestens einem Teil der Pixel innerhalb der n Ansichten (VE ) und mindestens einer der Erfassungsvorrichtungen; - • repräsentative Daten (
PS ) von aufeinanderfolgenden Positionen des Erfassungssystems (1 ), bei jeder von n aufeinanderfolgenden Erfassungen, die unter Verwendung von mindestens einer dritten Erfassungsvorrichtung erfasst werden, Positionssensor (12 ) genannt;
- • representative data (
VE ) of n views of the unit (e ), consisting of a plurality of pixels detected using at least one first detection device, optical sensor (10 ), where n is an integer other than zero, - • representative data (
PP ) at least one distance, measured with at least one second detection device, depth sensor (11 ) between at least a part of the pixels within the n views (VE ) and at least one of the detection devices; - • representative data (
PS ) of successive positions of the detection system (1 ), in each of n consecutive acquisitions detected using at least one third detection device, position sensor (12 ) called;
In verschiedenen Ausführungsformen wird ein Verfahren durch ein System (
In verschiedenen Ausführungsformen ermöglicht das Verfahren die Verwendung von erfassten Informationen zum Erzeugen von Tiefendaten (
Zum Beispiel können Computermodule verwendet werden, um Tiefentabellen für jede Ansicht zu erstellen. Parallel dazu ermöglichen diese Computermodule die Synchronisierung jeder Ansicht und der Tiefentabelle mit einem Bild eines Farbsensors des Tabletts.For example, computer modules can be used to create depth tables for each view. In parallel, these computer modules enable the synchronization of each view and the depth table with an image of a color sensor of the tablet.
Das Verfahren kann auch von Positionsdaten profitieren, die sich auf die Positionierung der Erfassungsvorrichtung während der Erfassung beziehen. Durch diesen Schritt kann festgestellt werden, bei welcher Position, insbesondere bei welcher Neigung sich die Erfassungseinrichtung befand, als sie die Erfassung der Daten von Pixeln und/oder der Tiefe durchführte.The method may also benefit from position data related to the positioning of the detector during detection. By this step it can be determined at which position, in particular at which inclination the detection device was, when it performed the acquisition of the data of pixels and / or the depth.
Beispielsweise werden unterschiedliche Ausrichtungen des Tabletts über grundlegende Änderungsmatrizen relativ zu der Rotation mit einer höheren Frequenz als der Erfassungsfrequenz abgerufen.For example, different orientations of the tablet are retrieved via fundamental change matrices relative to the rotation at a higher frequency than the acquisition frequency.
In verschiedenen Ausführungsformen umfasst das Verfahren ferner das Erzeugen von repräsentativen Daten von Punktwolken (
In verschiedenen Ausführungsformen nutzt das Verfahren die Tatsache, dass:
- • jede der Punktewolken (
NP ) in Bezug auf eine jeweilige gewöhnliche Referenz (RN ) im Raum referenziert ist; - • mindestens ein Vektor berechnet wird, um eine Registrierung/Neueinstellung (
53 ) zu definieren, die auf jede der aufeinanderfolgenden üblichen Referenz (RN ) in Bezug auf die vorangehende Referenz anzuwenden ist; - • mindestens ein Deskriptor mindestens eine Erfassung (
54 ) von Paaren (CP ) von Punkten, als Ähnlichkeitspunkte bezeichnet, implementiert, die jeweils zu zwei aufeinander folgenden Ansichten gehören und eine bestimmte Ähnlichkeit zwischen den Werten von mindestens einem ihrer repräsentativen Daten haben (VE ,PP ,PS ), um als Referenz für die Registrierung (53 ) zu dienen;
- • each of the point clouds (
NP ) with respect to a respective ordinary reference (RN ) is referenced in the room; - • at least one vector is calculated in order to register / readjust (
53 ) to be defined on each successive common reference (RN ) with reference to the previous reference; - At least one descriptor at least one entry (
54 ) of couples (CP ) points, referred to as similarity points, each belonging to two successive views and having a certain similarity between the values of at least one of their representative data (VE .PP .PS ) as reference for the registration (53 ) to serve;
Somit wird in verschiedenen Ausführungsformen die Registrierung (
Zusätzlich werden in verschiedenen Ausführungsformen die Paare (
- - Bildregistrierung/Bildneueinstellung (
55 ) basierend auf den repräsentativen Daten der Pixel, die während der Erfassung der aufeinanderfolgenden Ansichten (VE ) erfasst wurden, wobei diese Bildneueinstellung (55 ) mindestens eine Auswahl (551 ,552 ) der Paare (CP ) unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte (SRFT ,SRFR ) der Differenz zwischen den beiden Punkten eines Paares (CP ) in Bezug auf die Translation und/oder Drehung; und/oder - - geometrische Neuneinstellung auf der Grundlage der repräsentativen Daten der Koordinaten der Punkte in den Punktwolken durch das Identifizieren für einen Punkt in einer Punktwolke, die einer gegebenen Erfassung entspricht, von mindestens drei Punkten, die in der Punktwolke der vorherigen Ansicht am nächsten sind, die im globalen Koordinatensystem festgelegt ist, so dass diese geometrische Neueinstellung diese drei Punkte, die als Referenzstandorten bezeichnet werden, als Bezugspunkt innerhalb der Punktwolke der vorherigen Ansicht verwendet, wobei diese drei Referenzstandorte ein Dreieck bilden, für das die Projektion des zurückzusetzenden Punktes der geringsten Entfernung entspricht.
- - Image Registration / Image Recalibration (
55 ) based on the representative data of the pixels that are captured during the acquisition of the successive views (VE ), this image resetting (55 ) at least one selection (551 .552 ) of couples (CP ) using at least one filter based on the representative values (Srft .srfr ) the difference between the two points of a pair (CP ) in terms of translation and / or rotation; and or - Nine geometric adjustment based on the representative data of the coordinates of the points in the point clouds by identifying, for a point in a point cloud corresponding to a given detection, at least three points closest in the point cloud of the previous view that in the point cloud global coordinate system, so that this geometric resetting uses these three points, called reference locations, as a reference point within the point cloud of the previous view, these three reference locations forming a triangle for which the projection of the point to be reset corresponds to the shortest distance.
Man versteht daher, wie oben erwähnt, dass die Erfindung entweder eine Registrierung verwenden kann, die auf den „Bild“-Daten basiert ist, die für eine erfasste Ansicht (
Andererseits in verschiedenen Ausführungsformen, wenn die Daten (
Zum Beispiel ermöglichen es die Daten eines Bildes mit seiner Tiefentabelle, ein Raster von 3D-Punkten in einer Referenz zu definieren, die als „Ansicht“ bezeichnet wird und der Kamera zugeordnet ist. Diese Referenz hat die Position der Kamera als Ursprung und ihre Basis setzt sich aus einer für jede Ansicht spezifischen Ansichtsachse (Z-Achse) zusammen. Die zur Kamera senkrechte Achse und die anderen Achsen (X, Y) sind mit dem Tablett ausgerichtet. Der Begriff Tablett wird in dieser Anmeldung verwendet, um sich auf das Erfassungssystem zu beziehen (das auch das System zum Rekonstruieren bilden kann, wenn es die ausführbaren Instruktionen für die Implementierung des Verfahrens enthält), aber dieser Begriff ist nicht als Einschränkung der Arten möglicher Systeme zu interpretieren.For example, the data of an image with its depth table allows defining a raster of 3D points in a reference, called a "view", associated with the camera. This reference has the position of the camera as the origin, and its base is composed of a view axis (Z-axis) specific to each view. The axis perpendicular to the camera and the other axes (X, Y) are aligned with the tray. The term tray is used in this application to refer to the detection system (which may also constitute the system for reconstruction if it contains the executable instructions for implementing the method), but this term is not intended to limit the types of possible systems to interpret.
In dieser Referenz werden die Koordinaten der Punkte des Rasters entsprechend dem Öffnungswinkel der Kamera berechnet, der das gesamte Bild abdeckt.In this reference, the coordinates of the points of the grid are calculated according to the aperture angle of the camera covering the entire image.
In Anbetracht einer ersten Basisänderung werden diese Koordinaten in der Basis des Tabletts ausgedrückt, deren Z-Achse sich in entgegengesetzter Richtung zur Z-Achse der Basisansicht befindet, und die Achsen (X, Y) sind in der entgegengesetzten Richtung invertiert.In consideration of a first base change, these coordinates are expressed in the base of the tablet whose Z-axis is in the opposite direction to the Z-axis of the base view, and the axes (X, Y) are inverted in the opposite direction.
Insbesondere kann man für jede Aufnahme oder jedes Bild die entsprechende Ausrichtung des Tabletts identifizieren, indem man die zeitlich nächste Entfernung unter den letzten Ausrichtungen betrachtet, die von einen Gyrosensor gespeichert werden.In particular, for each shot or image, the appropriate orientation of the tablet can be identified by looking at the next nearest distance under the last alignments stored by a gyro sensor.
Durch Aufheben der Wirkungen dieser Ausrichtung über eine zweite Basisänderung werden die Koordinaten der Punkte in einer sogenannten üblichen oder universellen Basis gefunden, wobei die Z-Achse die vertikale Achse ist. Die anderen Achsen (X, Y) der üblichen Basis sind standardmäßig definiert und können vom Benutzer festgelegt werden (zum Beispiel wenn die Achse Y als die nach Norden gerichtete Achse gesehen wird).By canceling the effects of this alignment over a second base change, the coordinates of the points are found in a so-called common or universal base, where the Z-axis is the vertical axis. The other axes (X, Y) of the usual base are defined by default and can be set by the user (for example, if the Y axis is seen as the north facing axis).
Die zweite Basisänderung ermöglicht das Erreichen der gleichen Basis für alle Erfassungen. Somit ist mit jeder Erfassung eine gewöhnliche (lokale) Referenz verbunden, deren Ursprung die Position der Kamera und die Basis ist, wobei die übliche Basis über die beiden grundlegenden Änderungen definiert wird, die auf die ursprüngliche Basis der Ansicht angewendet werden.The second base change allows you to reach the same base for all acquisitions. Thus, with each capture, there is associated an ordinary (local) reference whose origin is the position of the camera and the base, the usual basis being defined by the two fundamental changes applied to the original base of the view.
Insbesondere aufgrund der Variation der Positionierung der Erfassungsvorrichtung zwischen Erfassungen befinden sich die erhaltenen Punkte nicht an derselben Stelle im Raum, wenn das Bild in diesem Stadium durch separate Ansichten rekonstruiert wird. Dies führt zu einem rekonstruierten Bild, das dem Originalbild nicht sehr treu ist, und dadurch zu einer verzerrten Untersuchung der Tiefen des Bildes oder einer unzuverlässigen Wiedergabe beim dreidimensionalen Drucken.In particular, due to the variation of the position of the detection device between detections, the points obtained are not located at the same location in space when the image is reconstructed at this stage by separate views. This results in a reconstructed image that is not very faithful to the original image, thereby distorting the depth of the image or rendering it unreliable in three-dimensional printing.
Es ist daher notwendig, mindestens eine Neueinstellung der Bildpunkte durchzuführen, um ein rekonstruiertes Bild zu erhalten, das der Realität näher kommt. Gemäß verschiedenen Ausführungsformen wird mindestens eine Art von Korrektur zwischen zwei Arten von Korrekturen der repräsentativen Daten der aufeinanderfolgenden Ansichten angewendet, die auf sie angewendet werden können, um die Rekonstruktion dank mindestens einer Auswahl (
Gemäß verschiedenen Ausführungsformen implementiert das Verfahren die Auswahl (
In einigen Ausführungsformen umfasst die Bildregistrierung (
In einigen dieser Ausführungsformen entspricht die Abweichung (
Im Allgemeinen können die in der vorliegenden Anmeldung beschriebenen Variablen oder einstellbaren Werte von einem Benutzer oder Entwickler definiert werden, der die Implementierung des Verfahrens in dem System (
Gemäß verschiedenen Ausführungsformen entspricht der Deskriptor, der für die Erfassung (
In einigen Ausführungsformen wird, wie oben erwähnt, die geometrische Registrierung (
Die Erfindung betrifft auch ein Programm, das Codeabschnitte umfasst, die Instruktionen für die Implementierung des in der vorliegenden Anmeldung beschriebenen Verfahrens repräsentieren, wenn das Programm durch Datenverarbeitungsmittel (
Andererseits betrifft die Erfindung ein System (
Die verschiedenen beschriebenen Ausführungsformen sollen die Berücksichtigung der Tiefendaten bei einem dreidimensionalen Rekonstruiere verbessern und/oder die Fehler aufgrund der Bewegungen der Sensoren während der Erfassungen korrigieren oder sogar die Ungenauigkeiten der Sensoren selbst korrigieren.The various embodiments described are intended to improve the consideration of depth data in a three-dimensional reconstruction and / or to correct the errors due to the movements of the sensors during the acquisitions or even to correct the inaccuracies of the sensors themselves.
Beispielexample
Bildbasierte NeueinstellungImage based resetting
Die erste sogenannte „bildbasierte Registrierung“ ist auf die Abstimmung von Pixeln zwischen zwei Bildern gestützt. Diese Abstimmung wird in entsprechende 3D-Punkte übersetzt, die die 3D-Umgebung diskret abdecken.The first so-called "image-based registration" is based on the matching of pixels between two images. This vote is translated into corresponding 3D points that discretely cover the 3D environment.
In dem ersten Schritt der sogenannten „bildbasierte Registrierung“, für eine bestimmte Ansicht wird nur die vorige Ansicht in Betracht gezogen und die Neueinstellung wird bezüglich dieser durchgeführt. In der Tat ist diese Aufnahme normalerweise die, die die meisten Ähnlichkeitspunkte (Pixel) enthält.In the first step of the so-called "image-based registration", for a particular view, only the previous view is considered and the re-adjustment is made with respect to it. In fact, this shot is usually the one that contains the most similarity points (pixels).
Die bildbasierte Registrierung umfasst zwei aufeinanderfolgende Phasen. Die erste ist ein klassisches Verfahren zum Bestimmen von Paaren von Ähnlichkeitspunkten zwischen diesen beiden Bildern, die durch eine Abbildung von bedeutenden Punkten in den beiden Ansichten definiert werden.Image-based registration involves two consecutive phases. The first is a classical method for determining pairs of similarity points between these two images defined by a mapping of significant points in the two views.
Diese Punkte werden beispielsweise über einen Harris-Detektor erfasst, wodurch die Singularitäten eines Bildes identifiziert werden können.These points are detected, for example, via a Harris detector, whereby the singularities of an image can be identified.
Die Abstimmung dieser Punkte zwischen den beiden Bildern erfolgt anhand ihres Farbdurchschnittswertes in ihrer Umgebung.The coordination of these points between the two images is based on their average color value in their environment.
Die Paare von Ähnlichkeitspunkten können möglicherweise fehlerhafte Ähnlichkeiten enthalten. Um diese falschen Paare von Ähnlichkeiten zu beseitigen, wird eine zweite Registrierungsphase vorgeschlagen, indem die 3D-Punkte verwendet werden, die den Paaren von Ähnlichkeitspunkten zugeordnet sind.The pairs of similarity points may possibly contain erroneous similarities. To eliminate these false pairs of similarities, a second registration phase is proposed by using the 3D points associated with the pairs of similarity points.
An jedem Paar von Ähnlichkeitspunkten oder -pixeln mit (p, q) (wobei p zur aktuellen Ansicht und q zu der vorhergegangenen Ansicht gehört), ist ein 3D-Punktepaar (P, Q) zugeordnet, wobei P (beziehungsweise Q) der 3D-Punkt (wobei die Koordinaten in der üblichen Referenz ausgedrückt sind) ist, de dem Pixel p (beziehungsweise q) entspricht.At each pair of similarity points or pixels with (p, q) (where p belongs to the current view and q to the previous view), a 3D point pair (P, Q) is assigned, where P (or Q) of the 3D Point (where the coordinates are expressed in the usual reference), which corresponds to the pixel p (or q).
Wenn das Paar von Ähnlichkeitspunkten (p, q) gültig ist, ist die gesuchte Übersetzung gleich
Zunächst wird ein erster Filter angewendet. Das erste Filter ist auf die Längen basiert und besteht aus dem Identifizieren eines Maximums von Paaren (p, q) mit einem entsprechenden Vektor
Das Paar mit einer maximalen Anzahl von verbundenen Paaren ist mit seinen verbundenen Paaren beibehalten.The pair with a maximum number of connected pairs is maintained with its connected pairs.
Dann wird ein zweites Filter angewendet. Das zweite Filter ist auf den Winkeln basiert und besteht aus dem Identifizieren (unter den beibehaltenen Paaren) eines Maximums von Paaren (p, q) mit einem entsprechenden Vektor
In der Praxis wird dies so ausgedrückt:
Das Paar mit einer maximalen Anzahl von verbundenen Paaren, Paar, das als Referenzpaar bezeichnet wird, ist mit seinen verbundenen Paaren beibehalten. Somit haben die beibehaltene Paare (p, q), fast die gleichen entsprechenden
Alternativ ist der Winkelfilter eine minimierte Funktion von drei entsprechenden Vektordrehwinkeln. Dieser Aspekt ermöglicht es, mögliche Ungenauigkeiten des Gyrosensors auszugleichen.Alternatively, the angle filter is a minimized function of three corresponding vector rotation angles. This aspect makes it possible to compensate for possible inaccuracies of the gyrosensor.
Daher ist die übliche Basis der aktuellen Ansicht relativ zur Basis der globalen Referenz leicht geneigt. Eine Korrekturmethode wird vorgeschlagen, wenn die Anzahl der oben beibehaltene Paare von Ähnlichkeitspunkten ausreichend ist. Wenn das entsprechende Paar (pr, qr) der entsprechenden 3D-Punkte (Pr und Qr) das Referenzpaar ist, bezeichnen wir mit (pi, qi) die Paare, die den Punkten zugeordnet sind, die Pi und Qi entsprechen.Therefore, the common base of the current view is slightly inclined relative to the base of the global reference. A correction method is proposed if the number of similarity point pairs retained above is sufficient. If the corresponding pair (p r , q r ) of the corresponding 3D points (P r and Q r ) is the reference pair, we denote (p i , q i ) the pairs associated with the points P i and Q i correspond.
Wir betrachten die Funktion:
Diese Funktion ermöglicht die Quantifizierung der Abweichung der Vektoren
Im Idealfall, wenn die übliche Basis der aktuellen Ansicht mit der Basis der üblichen Referenz ausgerichtet ist, ist diese Funktion im Wesentlichen gleich Null.Ideally, if the usual base of the current view is aligned with the base of the usual reference, this function is essentially zero.
Um die Ungenauigkeit des Gyroskops zu korrigieren, wird daher vorgeschlagen, diese Funktion zu minimieren, indem iterativ kleine elementare Drehungen um die X-, Y- und Z-Achse in der üblichen lokalen Referenz der aktuellen Ansicht angewendet werden, um die übliche lokale Basis mit der Basis der globalen Referenz auszurichten , was zur Wiederherstellung der lokalen Referenz in Bezug auf die globale Referenz führt.Therefore, to correct the inaccuracy of the gyroscope, it is proposed to minimize this function by iteratively applying small elementary rotations about the X, Y, and Z axes in the usual local reference of the current view to the usual local basis aligning the base of the global reference, resulting in the restoration of the local reference relative to the global reference.
Jede Iteration des Minimierungsschemas der Funktion F(α, β, γ) umfasst möglicherweise drei aufeinanderfolgende Drehungen α, β und γ um die X-, Y- und Z-Achse der lokalen Referenz der aktuellen Ansicht. Jede Drehung wird auch iterativ durch kleine Drehschritte bestimmt, solange die Funktion F(α, β, γ) kleiner wird.Each iteration of the function F (α, β, γ) minimization scheme may comprise three consecutive rotations α, β, and γ about the X, Y, and Z axes of the local reference of the current view. Each rotation is also iteratively determined by small rotation steps as long as the function F (α, β, γ) becomes smaller.
Die möglichen Drehungen (die die Funktion minimieren), die sowohl in der direkten als auch in der indirekten Richtung untersucht werden, werden kumuliert. Wenn am Ende einer Iteration des Minimierungsschemas keine Drehung möglich ist, stellen das konvergente Schema und die Kumulation der gefundenen Drehungen die Korrektur dar, die an der üblichen Basis vorzunehmen ist, um sie an die übliche allgemeine Basis anzupassen.The possible rotations (which minimize the function) that are examined in both the direct and indirect directions are cumulated. If no rotation is possible at the end of an iteration of the minimization scheme, the convergent scheme and the accumulation of rotations found represent the correction to be made on the usual basis to conform to the usual general basis.
Die erste Bildbasiseinstellung wird durch eine Translation der üblichen lokalen Referenz der aktuellen Ansicht mit einem Vektor, der dem Durchschnitt der Vektoren
Geometrische RegistrierungGeometric registration
Die erste Neueinstellung wird durch eine zweite Neueinstellung abgeschlossen, die als „geometrische Neueinstellung“ bezeichnet wird, um die Umgebung besser abzudecken. Tatsächlich ermöglicht die geometrische Neueinstellung eine kontinuierliche Erkundung der Umgebung.The first re-adjustment is completed by a second re-adjustment called "geometric re-adjustment" to better cover the environment. In fact, the geometric resetting allows a continuous exploration of the environment.
In diesem zweiten Schritt der geometrischen Neueinstellung werden für eine gegebene Ansicht die entsprechenden 3D-Punkte (aktuelle Punkte) in Bezug auf alle 3D-Punkte der vorhergehenden Ansichten registriert.
Diese letzten Punkte, die als Referenzstandorte bezeichnet werden, werden in die globale Referenz eingefügt.In this second step of geometric repositioning, for a given view, the corresponding 3D points (current points) are registered with respect to all the 3D points of the previous views.
These last points, called reference locations, are inserted into the global reference.
Das Verfahren besteht darin, die Entfernung der aktuellen Punkte mit der Wolke der Referenzstandorte in den überlappenden Zonen zu berechnen und aus diesen Entfernungen die gewünschte Translation zu definieren.The method consists in calculating the distance of the actual points with the cloud of the reference locations in the overlapping zones and to define the desired translation from these distances.
Bei einem 3D-Punkt einer aktuellen Ansicht werden beispielsweise die drei nächsten Referenzorte bestimmt. Wenn diese Stellen ein Dreieck bilden, wird die Projektion des 3D-Punkts auf die Unterstützungsebene dieses Dreiecks berechnet.For example, in a 3D point of a current view, the three nearest reference locations are determined. If these digits form a triangle, the projection of the 3D point on the support plane of that triangle is calculated.
Wenn diese Projektion in das Dreieck fällt, kann davon ausgegangen werden, dass der Punkt mit der Referenzwolke, die als Wiederherstellungszone verstanden wird, über eine lokale Translation korreliert werden kann, um den Punkt wieder auf seine Projektion zu bringen.If this projection falls into the triangle, it can be assumed that the point with the reference cloud, which is understood as the recovery zone, can be correlated via a local translation in order to bring the point back to its projection.
Bei Betrachtung des Mittelwerts dieser lokalen Translationsvektoren erhält man einen globalen Translationsvektor, der den besten Korrelationskompromiss der aktuellen Ansicht mit den Referenzstandorten darstellt.By looking at the mean of these local translation vectors, one obtains a global translation vector that represents the best correlation tradeoff of the current view with the reference sites.
Im Allgemeinen besteht der Algorithmus des Programms gemäß einer Variante der Erfindung dann für eine gegebene Ansicht darin, dieses Korrelationsverfahren iterativ anzuwenden, solange der entsprechende globale Translationsvektor signifikant ist.In general, the algorithm of the program according to a variant of the invention for a given view then consists of iteratively applying this correlation method as long as the corresponding global translation vector is significant.
In der Tat werden bei jeder Anwendung dieses Korrelationsverfahrens die 3D-Punkte der aktuellen Ansicht neu positioniert und die Korrelation wird vorzugsweise erneut geprüft. Die endgültige Translation wird auf alle 3D-Punkte der aktuellen Ansicht angewendet und diese Ansicht wird in die Referenzstandorte eingefügt.In fact, each time this correlation method is used, the 3D points of the current view are repositioned and the correlation is preferably rechecked. The final translation is applied to all 3D points in the current view, and this view is inserted into the reference locations.
Für eine Effizienzfrage wird ein Beschleunigungsraster eingerichtet, um die drei Standorte, die einem bestimmten Punkt am nächsten liegen, schnell zu identifizieren. Ebenso wird dieses oder ein anderes Raster verwendet, um eine Ansicht in die Referenzstandorte einzufügen. Darüber hinaus können die Referenzstandorte über dieses oder ein anderes Raster unter einander über eine auferlegte Schwellenentfernung gefiltert werden.For an efficiency question, an acceleration grid is set up to quickly identify the three locations closest to a particular point. Likewise, this or another raster is used to insert a view into the reference locations. In addition, the reference locations may be filtered through this or another grid with each other over an imposed threshold distance.
Man versteht daher, dass die in der vorliegenden Anmeldung verschiedene beschriebene Ausführungsformen mindestens einen Teil der Ziele erreichen, indem erfasste Daten (
Für den Fachmann ist es offensichtlich, dass die vorliegende Erfindung Ausführungsformen in vielen anderen spezifischen Formen ermöglicht, ohne vom Schutzumfang der beanspruchten Erfindung abzuweichen. Daher sind die vorliegenden Ausführungsformen zur Veranschaulichung zu betrachten, können jedoch in dem durch den Umfang der beigefügten Ansprüche definierten Bereich modifiziert werden, und die Erfindung sollte nicht auf die oben angegebenen Details beschränkt sein.It will be apparent to those skilled in the art that the present invention enables embodiments in many other specific forms without departing from the scope of the claimed invention. Therefore, the present embodiments are to be considered as illustrative, but may be modified within the scope defined by the scope of the appended claims, and the invention should not be limited to the details given above.
Claims (13)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1656559 | 2016-07-07 | ||
FR1656559A FR3053817B1 (en) | 2016-07-07 | 2016-07-07 | METHOD AND SYSTEM OF RECONSTRUCTION OF A THREE-DIMENSIONAL REPRESENTATION |
PCT/EP2017/067164 WO2018007628A1 (en) | 2016-07-07 | 2017-07-07 | Method and system for reconstructing a three-dimensional representation |
Publications (1)
Publication Number | Publication Date |
---|---|
DE112017003426T5 true DE112017003426T5 (en) | 2019-03-28 |
Family
ID=56990595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112017003426.4T Withdrawn DE112017003426T5 (en) | 2016-07-07 | 2017-07-07 | Method and system for reconstructing a three-dimensional representation |
Country Status (3)
Country | Link |
---|---|
DE (1) | DE112017003426T5 (en) |
FR (1) | FR3053817B1 (en) |
WO (1) | WO2018007628A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3690822A1 (en) * | 2019-01-30 | 2020-08-05 | Koninklijke Philips N.V. | Image representation of a scene |
CN111238477B (en) * | 2019-03-25 | 2023-07-14 | 武汉珈鹰智能科技有限公司 | Positioning method and device for unmanned aerial vehicle in chimney |
CN110341192B (en) * | 2019-07-12 | 2020-07-17 | 东北大学 | Guide plate 3D printing model establishing method based on VR |
CN112215942B (en) * | 2020-09-14 | 2024-01-12 | 中国科学院计算技术研究所 | Method and system for reconstructing partial tomographic three-dimensional image of refrigeration electron microscope |
CN117496073B (en) * | 2023-12-29 | 2024-03-26 | 山东省国土测绘院 | Method and system for constructing multi-time-phase live-action three-dimensional model |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3025918B1 (en) * | 2014-09-11 | 2018-04-06 | Snapkin | METHOD AND SYSTEM FOR AUTOMATED MODELING OF A PART |
US9449397B2 (en) * | 2014-10-15 | 2016-09-20 | Caterpillar Inc. | Real-time visual odometry system for determining motion of a machine with a range detection unit |
-
2016
- 2016-07-07 FR FR1656559A patent/FR3053817B1/en not_active Expired - Fee Related
-
2017
- 2017-07-07 DE DE112017003426.4T patent/DE112017003426T5/en not_active Withdrawn
- 2017-07-07 WO PCT/EP2017/067164 patent/WO2018007628A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
FR3053817A1 (en) | 2018-01-12 |
WO2018007628A1 (en) | 2018-01-11 |
FR3053817B1 (en) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112017003426T5 (en) | Method and system for reconstructing a three-dimensional representation | |
DE102012108567B4 (en) | Method of obtaining depth information using a light pattern | |
DE102016202512B3 (en) | Method for 2D-3D registration, computing device and computer program | |
DE102006055758B4 (en) | Method for calibrating cameras and projectors | |
DE102015015194A1 (en) | Image processing apparatus and method and program | |
DE102006005036B4 (en) | Device and method for improved shape characterization | |
DE112016004540T5 (en) | Camera calibration using synthetic images | |
DE10354752B4 (en) | Method and device for the automatic equalization of single-channel or multi-channel images | |
DE102016013274A1 (en) | IMAGE PROCESSING DEVICE AND METHOD FOR RECOGNIZING AN IMAGE OF AN OBJECT TO BE DETECTED FROM ENTRY DATA | |
DE60133026T2 (en) | ACCURATE ALIGNMENT OF IMAGES IN DIGITAL PICTURE SYSTEMS BY ADJUSTING POINTS IN THE PICTURES | |
DE112013003214T5 (en) | Method for registering data | |
DE112011103452T5 (en) | Method for matching pixels of a distance representation | |
EP3034995A1 (en) | Method for determining a position and orientation offset of a geodetic surveying device and corresponding measuring device | |
DE102021102233B4 (en) | Device and method for correspondence analysis in images | |
EP3775767B1 (en) | Method and system for measuring an object by means of stereoscopy | |
DE102013211492A1 (en) | Determination of a measurement error | |
DE102014113433A1 (en) | Device and method for three-dimensional imaging of an object | |
DE102016123149A1 (en) | IMAGE-DATA-BASED RECONSTRUCTION OF THREE-DIMENSIONAL SURFACES | |
EP4000005A1 (en) | Method for determining the position of a first image region in a correspondence image, soc and control device, and system for carrying out the method, and computer program | |
DE102017113615A1 (en) | System, method and marker for determining the position of a moving object in space | |
EP3539085B1 (en) | 3d localization | |
AT511460B1 (en) | METHOD FOR DETERMINING THE POSITION OF AN AIRCRAFT | |
DE102019105293A1 (en) | Estimation of the movement of an image position | |
DE112014002943T5 (en) | Method of registering data using a set of primitives | |
DE102015007934A1 (en) | A method and computer program product for generating an artifact reduced voxel data set |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |