Nothing Special   »   [go: up one dir, main page]

DE112017003426T5 - Method and system for reconstructing a three-dimensional representation - Google Patents

Method and system for reconstructing a three-dimensional representation Download PDF

Info

Publication number
DE112017003426T5
DE112017003426T5 DE112017003426.4T DE112017003426T DE112017003426T5 DE 112017003426 T5 DE112017003426 T5 DE 112017003426T5 DE 112017003426 T DE112017003426 T DE 112017003426T DE 112017003426 T5 DE112017003426 T5 DE 112017003426T5
Authority
DE
Germany
Prior art keywords
points
data
representative
pairs
successive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017003426.4T
Other languages
German (de)
Inventor
Houman Borouchaki
Yannick Folliard
Cao Vu Bui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Levels3d
Universite de Technologie de Troyes
Original Assignee
Levels3d
Universite de Technologie de Troyes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Levels3d, Universite de Technologie de Troyes filed Critical Levels3d
Publication of DE112017003426T5 publication Critical patent/DE112017003426T5/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm und ein System zum Rekonstruieren eines dreidimensionalen Bild.Ansichten des Bildes werden mittels eines Registrierungsvektors erfasst und verarbeitet, der relativ zu den repräsentativen Daten der Pixel einer Ansicht, die den Pixeln der vorherigen Ansicht entsprechen und/oder den repräsentativen Daten der dreidimensionalen Koordinaten von gegebenen Punkten in einer Ansicht relativ zu der vorherigen Ansicht, definiert wird.The present invention relates to a method, a computer program and a system for reconstructing a three-dimensional image. Views of the image are captured and processed by means of a registration vector relative to the representative data of the pixels of a view corresponding to the pixels of the previous view and / or the representative data of the three-dimensional coordinates of given points in a view relative to the previous view.

Description

TECHNISCHER BEREICH DER ERFINDUNGTECHNICAL FIELD OF THE INVENTION

Die vorliegende Anmeldung bezieht sich auf den Bereich der computerimplementierten Verfahren zum Rekonstruieren einer dreidimensionalen Darstellung. Darüber hinaus bezieht sich die Anmeldung auf die zugehörigen Computerprogrammprodukte und Systeme.The present application relates to the field of computer-implemented methods for reconstructing a three-dimensional representation. In addition, the application relates to the associated computer program products and systems.

TECHNOLOGISCHER HINTERGRUND DER ERFINDUNGTECHNOLOGICAL BACKGROUND OF THE INVENTION

In der Technik ist es bekannt, dreidimensionale Bilder von einer Video- oder Fotokamera zu rekonstruieren und eine Computerverarbeitung der erfassten Bilder durchzuführen, um eine dreidimensionale „Darstellung“, beispielsweise einer Szene oder eines Objektes, zu rekonstruieren insbesondere um sie in einer Umgebung virtueller Realität oder erweiterter Realität zu studieren und / oder zu verwenden.It is known in the art to reconstruct three-dimensional images from a video or photo camera and perform computer processing of the captured images to reconstruct a three-dimensional "representation" of, for example, a scene or object, in particular in a virtual reality environment to study and / or use advanced reality.

Es sind auch verschiedene Vorrichtungen oder dreidimensionale Datenerfassungssysteme bekannt, bei denen im Allgemeinen zwei Sensoren verwendet werden, von denen mindestens einer ein optischer Sensor (oder optoelektronisch, jedoch wird hier kein Unterschied zwischen den beiden Begriffen gemacht) ist. Um die Genauigkeit der Rekonstruktionen zu verbessern, wird häufig vorgeschlagen, mehrere Kameras zu verwenden und die Daten in einen Computer zu integrieren. Diese Art von Lösung führt zu erheblichen Rechenzeiten und verringert die Lebensdauer der für ihre Implementierung verwendeten Geräte. Selbst wenn manchmal zwei optische Sensoren verwendet werden, um eine stereoskopische Erfassung durchzuführen, verwenden viele andere Geräte eher einen zweiten Sensor einer anderen Art, um dreidimensionale Daten bereitzustellen, die oft als „Tiefendaten“ bezeichnet werden. Als Beispiel eines zweiten Sensortyps können die bekannten Infrarotsensoren erwähnt werden, es können jedoch andere Technologien verwendet werden, um ähnliche Daten zu erhalten, die im Allgemeinen die Entfernung zwischen dem Sensor und dem erfassten Ziel darstellen. Daten dieser Art, die aus der Erfassung von Bildern und dreidimensionalen Informationen stammen, die die „dreidimensionale Erfassung“ darstellen, können vorteilhafterweise Daten zugeordnet werden, die sich auf die Position der Sensoren im Raum während der Erfassung beziehen, um einen Bezug zu den dreidimensionalen Daten bereitzustellen und sie so in den Raum platzieren zu lassen. Diese Daten ermöglichen es beispielsweise, Darstellungen (oder Rekonstruktionen) von Einheiten wie Räumen oder Umgebungen sowie Objekte, die insbesondere reproduzierbar sind, beispielsweise mit dreidimensionalen Druckern, zu erzeugen (in den Computerspeichermitteln).Also known are various devices or three-dimensional data acquisition systems that generally use two sensors, at least one of which is an optical sensor (or optoelectronic, but no distinction is made here between the two terms). To improve the accuracy of the reconstructions, it is often suggested to use multiple cameras and to integrate the data into a computer. This type of solution leads to significant computation times and reduces the lifespan of the devices used for their implementation. Even if sometimes two optical sensors are used to perform stereoscopic detection, many other devices use a second sensor of a different type to provide three-dimensional data, often referred to as "depth data." As an example of a second type of sensor, the known infrared sensors may be mentioned, but other technologies may be used to obtain similar data, which generally represents the distance between the sensor and the detected target. Data of this kind, which originate from the acquisition of images and three-dimensional information representing the "three-dimensional detection", can advantageously be associated with data relating to the position of the sensors in space during the detection in relation to the three-dimensional data to have them placed in the room. These data make it possible, for example, to create representations (or reconstructions) of units such as rooms or environments as well as objects which are in particular reproducible, for example with three-dimensional printers (in the computer storage means).

In dieser Optik ist die Genauigkeit der Rekonstruktion ein kritischer Punkt und hängt von der Position des optischen Sensors (im Allgemeinen einer Kamera) ab, insbesondere aber von den Positionen dieses Sensors bei jeder der aufeinanderfolgenden Aufnahmen sowie von der Bildqualität des durch die Kamera erhaltenen Bildes. Darüber hinaus erfordert diese Rekonstruktion im Allgemeinen immer effizientere Computersysteme für die Verarbeitung von immer komplexer werdenden Daten, um Berechnungen durchzuführen, die es ermöglichen, verschiedene Punkte innerhalb mehrerer Bilder zu charakterisieren, um die dreidimensionale Darstellung der erfassten Einheit rekonstruieren zu können.In this optic, the accuracy of the reconstruction is a critical point and depends on the position of the optical sensor (generally a camera), but especially on the positions of that sensor in each successive shot and on the image quality of the image obtained by the camera. Moreover, this reconstruction generally requires ever more efficient computer systems for processing increasingly complex data to perform computations that allow characterizing various points within multiple images to reconstruct the three-dimensional representation of the acquired entity.

ALLGEMEINE BESCHREIBUNG DER ERFINDUNGGENERAL DESCRIPTION OF THE INVENTION

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren vorzuschlagen, das Berechnungen vereinfacht und es ermöglicht, einerseits die für ihre Ausführung erforderlichen Rechenzeiten und andererseits die Ungenauigkeit der erhaltenen dreidimensionalen Darstellung zu reduzieren.The object of the invention is to propose a method which simplifies calculations and makes it possible, on the one hand, to reduce the computing times required for their execution and, on the other hand, to reduce the inaccuracy of the resulting three-dimensional representation.

Um diese Art von Ziel zu erreichen, schlägt die Erfindung vor, ein Verfahren zum Rekonstruieren von mindestens einer dreidimensionalen Darstellung von mindestens einer untersuchten physikalischen Einheit auf der Grundlage von Erfassungen, die n aufeinanderfolgenden Aufnahmen einer Vielzahl von Daten entsprechen, die vorzugsweise zeitlich miteinander synchronisiert sind und Folgendes aufweisen:

  • - repräsentative Daten von n Ansichten der Einheit, bestehend aus einer Vielzahl von Pixeln, die unter Verwendung mindestens einer ersten Erfassungsvorrichtung, optischer Sensor genannt, aufgenommen wurden, wobei n eine von Null verschiedene ganze Zahl ist,
  • - repräsentative Daten von mindestens einer Entfernung, genannt Tiefe, gemessen mit mindestens einer zweiten Erfassungsvorrichtung, genannt Tiefensensor, zwischen mindestens einem Teil der Pixel in den n Ansichten und mindestens einer der Erfassungsvorrichtungen,
  • - repräsentative Daten aufeinanderfolgender Positionen des Erfassungssystems bei jeder von n aufeinanderfolgenden Erfassungen, die unter Verwendung von mindestens einer dritten Erfassungsvorrichtung erfasst werden, genannt Positionssensor;

wobei das Verfahren durch ein System zum Rekonstruieren für eine dreidimensionale Darstellung implementiert wird, in dem die durch die Erfassungen erhaltenen n aufeinanderfolgenden Aufnahmen Daten liefern, deren Kombination Punktwolken darstellt, wobei das Verfahren dadurch gekennzeichnet ist, dass
  • • jede der Punktwolken in Bezug auf eine jeweils gewöhnliche Referenz im Raum referenziert wird;
  • • mindestens ein Vektor berechnet wird, um eine Neueinstellung zu definieren, die auf jede der aufeinanderfolgenden üblichen Referenz in Bezug auf die vorangehende Referenz anzuwenden ist;
  • • zumindest ein Deskriptor mindestens einer Erfassung von Punktepaaren implementiert, die als Ähnlichkeitspunkte bezeichnet werden, die jeweils zu zwei aufeinanderfolgenden Ansichten gehören und eine bestimmte Ähnlichkeit zwischen den Werten von mindestens einem ihrer repräsentativen Daten haben, um als Referenz für die Neueinstellung zu dienen;
  • • die Neueinstellung wird inkrementell auf die n aufeinanderfolgenden Erfassungen angewendet, so dass, einerseits jede Wiederholung es ermöglicht, die repräsentativen Daten einer gegebenen Ansicht und/oder die entsprechende Punktewolke in Bezug auf die vorangehenden zu registrieren und dass, andererseits die aufeinanderfolgenden Iterationen die Neueinstellung der Daten in Bezug auf das für die erste Punktwolke definierte übliche Referenz ermöglichen und als globale Referenz für die Rekonstruktion der dreidimensionalen Darstellung dienen,
  • • die Paare, die als Referenz für die Neueinstellung dienen, werden durch mindestens einen der folgenden Schritte ausgewählt:
    • - Bildneueinstellung basierend auf den repräsentativen Daten der Pixel, die während der Erfassung der aufeinanderfolgenden Ansichten erfasst wurden, wobei diese Bildneueinstellung mindestens eine Auswahl der Paare unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte der Differenz zwischen den beiden Punkten eines Paares in Bezug auf die Translation und/oder Rotation;
    • • geometrische Neueinstellung basierend auf den Daten, die die Koordinaten der Punkte innerhalb der Punktwolken darstellen. und/oder
  • • geometrische Neueinstellung auf der Grundlage der repräsentativen Daten der Koordinaten der Punkte in den aufeinanderfolgenden Punktwolken durch das Identifizieren für einen Punkt in einer Punktwolke, die einer gegebenen Erfassung entspricht, von mindestens drei Punkten, die in der Punktwolke der vorherigen Ansicht am nächsten sind, die im globalen Koordinatensystem festgelegt ist, so dass diese geometrische Neueinstellung diese drei Punkte, die als Referenzstandorte bezeichnet werden, als Bezugspunkt innerhalb der Punktwolke der vorherigen Ansicht verwendet, wobei diese drei Referenzstandorten ein Dreieck bilden, für das die Projektion des zurückzusetzenden Punktes der geringsten Entfernung entspricht.
In order to achieve this kind of goal, the invention proposes a method of reconstructing at least one three-dimensional representation of at least one examined physical unit based on detections corresponding to n successive recordings of a plurality of data which are preferably synchronized with each other in time and having:
  • representative data of n views of the unit consisting of a plurality of pixels recorded using at least a first detector, called an optical sensor, where n is an integer other than zero,
  • representative data of at least one distance, called depth, measured with at least one second detection device, called depth sensor, between at least a part of the pixels in the n views and at least one of the detection devices,
  • representative data of successive positions of the detection system in each of n consecutive acquisitions detected using at least one third detection device, called position sensor;

the method being implemented by a system for reconstructing a three-dimensional representation in which the n consecutive exposures obtained by the captures provide data the combination of which represent point clouds, the method being characterized in that
  • • each of the point clouds is referenced relative to a common reference in space;
  • • calculating at least one vector to define a resetting to be applied to each of the consecutive common references with respect to the previous reference;
  • • implements at least one descriptor of at least one detection of pairs of points, referred to as similarity points, each belonging to two consecutive views and having a certain similarity between the values of at least one of its representative data to serve as a reference for the readjustment;
  • The readjustment is applied incrementally to the n consecutive acquisitions, such that, on the one hand, each repetition allows the representative data of a given view and / or the corresponding cloud of points to be registered with respect to the previous one and, on the other hand, the successive iterations Allow data in relation to the usual reference defined for the first point cloud and serve as a global reference for the reconstruction of the three-dimensional representation,
  • • the reference reference pairs are selected by one or more of the following:
    • Image re-adjustment based on the representative data of the pixels acquired during the acquisition of the successive views, this re-adjustment of at least one selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair on translation and / or rotation;
    • • geometric resetting based on the data representing the coordinates of the points within the point clouds. and or
  • • geometric resetting based on the representative data of the coordinates of the points in the successive point clouds by identifying, for a point in a point cloud corresponding to a given detection, at least three points closest in the point cloud of the previous view in the global coordinate system, so that this geometric re-adjustment uses these three points, referred to as reference locations, as a reference point within the point cloud of the previous view, these three reference locations forming a triangle for which the projection of the point to be reset corresponds to the shortest distance ,

Gemäß einem weiteren Merkmal umfasst das Verfahren, wenn die durch die verschiedenen Vorrichtungen des Erfassungssystems erhaltenen Daten unter Bezugnahme auf mindestens zwei unterschiedliche dreidimensionale Referenzen definiert wurden, für jede der aufeinanderfolgenden Aufnahmen mindestens eine Transposition dieser Daten in einer gemeinsamen dreidimensionalen Referenz beim Ausrichten der jeweiligen Basen jeder dieser Daten relativ zueinander, um repräsentative Daten von n Punktwolken zu erhalten, die in Bezug auf n aufeinanderfolgende übliche dreidimensionale Referenzen, die auf eine gemeinsame Weise definiert sind, referenziert werden bei jeder der aufeinanderfolgenden Erfassungen, um die Registrierung der Punktwolken zu ermöglichen, um die Rekonstruktion zu erhalten.According to a further feature, when the data obtained by the various devices of the detection system have been defined with reference to at least two different three-dimensional references, the method comprises, for each successive acquisition, at least one transposition of that data in a common three-dimensional reference in aligning the respective bases of these data relative to each other to obtain representative data of n point clouds referenced with respect to n consecutive common three-dimensional references defined in a common manner at each of the successive acquisitions to allow the registration of the point clouds To get reconstruction.

Gemäß einem weiteren Merkmal implementiert das Verfahren die Auswahl der Paare unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Translation dank einer Suche nach eine maximalen Anzahl von Paaren, zwischen denen die Translation durch einen Vektor mit einem Wert definiert ist, der niedriger als ein bestimmter Translationsschwellenwert ist, beispielsweise ein einstellbarer Translationschwellenwert.According to another feature, the method implements the selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair in translation, thanks to a search for a maximum number of pairs between which the translation is defined by a vector having a value which is lower than a certain translation threshold, for example an adjustable translation threshold.

Gemäß einem weiteren Merkmal umfasst die Bildregistrierung:

  • • mindestens eine Auswahl der Paare unter Verwendung von mindestens einem Filter basierend auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Drehung unter Verwendung von mindestens einer Auswahl von Referenzpunkten mit der größten Anzahl von Paaren, definiert als ihre zugehörigen Paare, mit denen sich ihre Registrierungsvektoren um einen Winkel unterscheiden, der kleiner ist als eine Winkelschwelle eines bestimmten Werts, beispielsweise ein einstellbarer Winkelschwellenwert,
  • • die Auswahl basiert auf einer Abweichung, ausgedrückt durch ein Triplett von Drehwinkeln, zwischen den repräsentativen Vektoren von Paaren von Referenzpunkten in Bezug auf die repräsentativen Vektoren ihrer zugehörigen Paare.
According to another feature, the image registration comprises:
  • At least one selection of the pairs using at least one filter based on the representative values of the difference between the two points of a pair with respect to the rotation using at least one selection of reference points having the largest number of pairs defined as their associated pairs with their registration vectors differing by an angle less than an angle threshold of a particular value, such as an adjustable angle threshold,
  • The selection is based on a deviation, expressed by a triplet of rotation angles, between the representative vectors of pairs of reference points with respect to the representative vectors of their respective pairs.

Gemäß einem weiteren Merkmal entspricht die Abweichung einer Funktion, und die Auswahl entspricht einer Minimierung dieser Funktion durch aufeinanderfolgende Iterationen einzelner Drehungen mit einem bestimmten Winkelwert, der beispielsweise einstellbar ist.According to another feature, the deviation corresponds to a function and the selection corresponds to a minimization of this function by successive iterations of individual rotations with a certain angle value, which is adjustable, for example.

Gemäß einem weiteren Merkmal wird der einstellbare Wert von einem Benutzer oder Entwickler definiert, der die Implementierung des Verfahrens in dem System vorbereitet.According to another feature, the settable value is defined by a user or developer preparing the implementation of the method in the system.

Gemäß einem weiteren Merkmal entspricht der Deskriptor, der für die Erfassung von Punktepaaren zuständig ist, einem Harris-Detektor, der die Ähnlichkeit zwischen den Durchschnittswerten der Farben in ihren jeweiligen Umgebungen bestimmt.According to another feature, the descriptor, which is responsible for the detection of pairs of points, corresponds to a Harris detector, which determines the similarity between the average values of the colors in their respective environments.

Gemäß einem weiteren Merkmal verwendet der Auswahlschritt, der auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Translation basiert, einen Translationsschwellenwert in der Größenordnung von 10%.According to another feature, the selection step, which is based on the representative values of the difference between the two points of a pair with respect to the translation, uses a translation threshold of the order of 10%.

Gemäß einem weiteren Merkmal basiert der Auswahlschritt, der auf den repräsentativen Werten der Differenz zwischen den zwei Punkten eines Paares in Bezug auf die Drehung basiert, auf einem Winkelschwellenwert in der Größenordnung von einem Grad.According to another feature, the selection step based on the representative values of the difference between the two points of a pair with respect to the rotation is based on an angle threshold on the order of one degree.

Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit Abschnitten von Code darstellenden Anweisungen zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11, wenn das Programm mittels eines Datenverarbeitungsmittels ausgeführt wird.Another object of the invention relates to a computer program comprising sections of code representing instructions for carrying out the method according to one of claims 1 to 11, when the program is executed by means of a data processing means.

Ein weiterer Gegenstand der Erfindung betrifft ein System zum Rekonstruieren eines dreidimensionalen Bildes, das eine Datenverarbeitungsmitteln umfasst, die die Anweisungen ausführen, die in einer Speichereinrichtung gespeichert sind, um das Verfahren gemäß einer der in der vorliegenden Anmeldung beschriebenen Ausführungsformen zu implementieren.Another object of the invention is a system for reconstructing a three-dimensional image comprising data processing means executing the instructions stored in a storage device to implement the method according to one of the embodiments described in the present application.

Ein weiterer Gegenstand der Erfindung betrifft ein System zum Rekonstruieren gemäß dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass es die Erfassungseinrichtungen umfasst, die die repräsentativen Daten der aufeinanderfolgenden Aufnahmen bereitstellen.A further subject of the invention relates to a system for reconstructing according to the preceding claim, characterized in that it comprises the detection means which provide the representative data of the consecutive recordings.

Figurenlistelist of figures

Weitere Merkmale und Vorteile verschiedener Ausführungsformen der vorliegenden Anmeldung werden in der nachstehenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:

  • 1 eine Datenerfassungsvorrichtung zeigt, die eine Einheit erfasst, um die Rekonstruktion einer dreidimensionalen Darstellung gemäß einigen Ausführungsformen zu ermöglichen;
  • 2A ein Beispiel einer Punktewolke darstellt, die von einer Datenerfassung stammt, die durch ein Erfassungssystem gemäß bestimmten Ausführungsformen durchgeführt wurde, und 2B zeigt ein Beispiel eines Satzes von ausgewählten Referenzstandorten, die durch ein Translationsfilter eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen ausgewählt wurden;
  • 3A ein Beispiel eines Satzes von Referenzstandorten zeigt, der durch ein Rotationsfilter eines Systems zum Rekonstruierens einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen ausgewählt wurde, und 3B zeigt ein Beispiel eines Satzes von geometrisch neu eingestellten Punkten eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung gemäß bestimmten Ausführungsformen;
  • 4 einige Ausführungsformen eines Verfahrens zum Rekonstruieren einer dreidimensionalen Darstellung darstellt, das innerhalb von zwei möglichen Ausführungsformen eines Systems zum Rekonstruieren einer dreidimensionalen Darstellung implementiert ist.
Further features and advantages of various embodiments of the present application will be described in the following description with reference to the accompanying drawings, in which:
  • 1 a data acquisition device that detects a unit to enable the reconstruction of a three-dimensional representation according to some embodiments;
  • 2A FIG. 4 illustrates an example of a point cloud resulting from data acquisition performed by a detection system according to certain embodiments; and FIG 2 B FIG. 12 shows an example of a set of selected reference locations selected by a translation filter of a system for reconstructing a three-dimensional representation according to certain embodiments; FIG.
  • 3A shows an example of a set of reference locations selected by a rotation filter of a system for reconstructing a three-dimensional representation according to certain embodiments, and 3B FIG. 12 shows an example of a set of geometrically reset points of a system for reconstructing a three-dimensional representation according to certain embodiments; FIG.
  • 4 some embodiments of a A method of reconstructing a three-dimensional representation implemented within two possible embodiments of a system for reconstructing a three-dimensional representation.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN DER ERFINDUNGDESCRIPTION OF THE PREFERRED EMBODIMENTS OF THE INVENTION

Die vorliegende Anmeldung betrifft ein Verfahren und ein System zum Rekonstruieren eines dreidimensionalen Bildes. Diese Art von Verfahren wird im Allgemeinen durch Computermittel implementiert, und das System (1, 1') zum Rekonstruieren einer dreidimensionalen Darstellung, die seine Implementierung zulassen, umfasst diese Computermittel, in denen Datenverarbeitungsmitteln (14) Anweisungen ausführen, die in Speichermitteln (13) enthalten sind (im System enthalten oder von diesem abrufbar), so dass die verarbeiteten Daten transformiert werden und zu dem Ergebnis führen, das das Verfahren vorteilhafterweise erhalten kann. Somit beschreibt die vorliegende Anmeldung die Computermittel nicht detailliert, da sie nach Bedarf variieren können. Darüber hinaus verarbeitet, wie beispielsweise in 4 dargestellt, das System (1, 1') zum Rekonstruieren einer dreidimensionalen Darstellung Daten, die von mehreren Erfassungseinrichtungen (10, 11, 12) erfasst werden, und kann entweder ein System (1) sein, das diese Erfassungseinrichtungen integriert, oder ein System (1 ') sein, das nur die erfassten Daten (VE, PP, PS) und die Anweisungen verwendet, die für das zu reproduzierende Verfahren auszuführen sind. Somit stellt 4 bestimmte Ausführungsformen eines Verfahrens zum Rekonstruieren einer dreidimensionalen Darstellung dar, das in zwei möglichen Ausführungsbeispielen eines Systems (1, 1') zum Rekonstruieren einer dreidimensionalen Darstellung implementiert sind. Es wird darauf hingewiesen, dass die vorliegende Anmeldung manchmal das Verfahren durch den Begriff Prozess bezeichnet, ohne besondere Unterscheidung oder Einschränkung. In 4 sind mögliche Schritte in dem Verfahren gezeigt, jedoch können manchmal einige Schritte ausgelassen werden, wie etwa eine der Auswählen (551, 552) während der Bildregistrierung (55).The present application relates to a method and system for reconstructing a three-dimensional image. This type of method is generally implemented by computer means, and the system ( 1 . 1' ) for reconstructing a three-dimensional representation that allow its implementation, this computer means, in which data processing means ( 14 ) Execute statements written in storage means ( 13 ) are included (included in or retrievable by the system) so that the processed data is transformed and results in the result that the method can advantageously obtain. Thus, the present application does not describe the computer means in detail as they may vary as needed. In addition, processed, such as in 4 represented, the system ( 1 . 1' ) for reconstructing a three-dimensional representation of data from several detection devices ( 10 . 11 . 12 ) and can either be a system ( 1 ), which integrates these detection devices, or a system ( 1 ' ) containing only the data collected ( VE . PP . PS ) and the instructions to be used for the process to be reproduced. Thus presents 4 certain embodiments of a method for reconstructing a three-dimensional representation that in two possible embodiments of a system ( 1 . 1' ) are implemented to reconstruct a three-dimensional representation. It should be noted that the present application sometimes refers to the method by the term process, without particular distinction or limitation. In 4 possible steps are shown in the process, but sometimes some steps may be omitted, such as one of the choices ( 551 . 552 ) during image registration ( 55 ).

Das Verfahren ermöglicht es, dreidimensionale Bilder von Einheiten (E) oder Elementen zu rekonstruieren, um beispielsweise Ausdrücke mit dreidimensionalen Druckern zu erzeugen oder die Tiefe des wiederhergestellten Elements zu untersuchen.The method allows three-dimensional images of units ( e ) or to reconstruct elements, for example, to create expressions with three-dimensional printers or to examine the depth of the restored element.

Diese Art von Verfahren wird im Allgemeinen unter Verwendung eines Systems (1, 1') zum Rekonstruieren einer dreidimensionalen Darstellung implementiert, das tatsächlich die Datenerfassungsvorrichtung(en) zum Rekonstruieren integrieren kann oder nicht, wie in 4, die ein System (1) mit einer Vielzahl von Erfassungsvorrichtungen (10, 11, 12) zeigt, die von ihrer Kombination profitieren, um die Daten bereitzustellen, die die Ausführung des Verfahrens durch Datenverarbeitungsmittel (14) des Systems (1, 1') ermöglichen, beispielsweise mittels Anweisungen, die in Speichermitteln (13) gespeichert sind und von diesen Verarbeitungsmitteln (14) ausgeführt werden können. Mit „Erfassungsvorrichtung“ wird manchmal eine Vorrichtung zur Aufnahme von Bildern bezeichnet, insbesondere von dem zu rekonstruierenden dreidimensionalen Bild. Beispielsweise ist die erste Erfassungsvorrichtung (10) eine optische Datenerfassungsvorrichtung, beispielsweise eine Video- oder Fotokamera. Die zweite Erfassungsvorrichtung (11) ist in der Lage, Tiefendaten zu messen.This type of process is generally performed using a system ( 1 . 1' ) for reconstructing a three-dimensional representation that may or may not actually integrate the data acquisition device (s) for reconstruction, as in 4 that a system ( 1 ) with a plurality of detection devices ( 10 . 11 . 12 ) that benefit from their combination to provide the data that the execution of the method by data processing means ( 14 ) of the system ( 1 . 1' ), for example by means of instructions stored in storage means ( 13 ) and by these processing means ( 14 ) can be performed. By "detection device" is sometimes referred to an apparatus for capturing images, in particular the three-dimensional image to be reconstructed. For example, the first detection device ( 10 ) An optical data acquisition device, such as a video or photo camera. The second detection device ( 11 ) is able to measure depth data.

Ein Problem auf diesem Bereich betrifft die Bestimmung einer Übereinstimmung zwischen den zwischen einer Erfassung und der nächsten erfassten Daten innerhalb eines dreidimensionalen Erfassungssystems, insbesondere wenn die physikalische Position der Erfassungsvorrichtungen zwischen diesen beiden Aufnahmen variiert. Die vorliegende Anmeldung zielt daher darauf ab, die Ungenauigkeiten dieser geschätzten Übereinstimmung zu reduzieren oder sogar zu beseitigen und/oder die zum Erreichen eines derartigen Ergebnisses erforderlichen Ressourcen zu reduzieren. So erhalten wir Daten, die in Bezug auf eine bestimmbare globale Referenz referenziert werden, aus einer Abfolge von üblichen Referenzen, deren Korrespondenz hergestellt werden muss.A problem in this area concerns the determination of a correspondence between the data acquired between a detection and the next acquired data within a three-dimensional detection system, in particular if the physical position of the detection devices varies between these two recordings. The present application therefore aims to reduce or even eliminate the inaccuracies of this estimated match, and / or to reduce the resources required to achieve such a result. Thus, we obtain data referenced in relation to a determinable global reference from a sequence of common references whose correspondence needs to be established.

Diese Übereinstimmung ist besonders problematisch in dem häufigen Fall einer Verschiebung der üblichen aufeinander folgenden Referenzen, das heißt einer Verschiebung der Sensoren relativ zu der erfassten Einheit. Zusätzlich kann diese Verschiebung mindestens eine Translation des Ursprungs der aufeinanderfolgenden üblichen Referenzen (wenn der optische Sensor bewegt wird) und/oder eine Drehung der Achsen umfassen, die die Basis dieser aufeinanderfolgenden Referenzen definieren (wenn die Ausrichtung des optischen Sensors geändert wird).This coincidence is particularly problematic in the frequent case of a shift of the usual successive references, that is, a displacement of the sensors relative to the detected unit. In addition, this shift may include at least one translation of the origin of the successive common references (as the optical sensor is moved) and / or rotation of the axes defining the basis of these successive references (if the orientation of the optical sensor is changed).

Diese Verschiebung des ersten und des zweiten Sensors (10, 11) während der Erfassung der aufeinanderfolgenden Aufnahmen kann vorteilhafterweise mit mindestens einer Positionsüberwachungseinrichtung (12) gemessen werden (basierend auf verschiedenen Technologien, die manchmal miteinander verbunden sind), unter denen das Girometer ein nicht einschränkendes Beispiel ist, jedoch insofern relevant ist, als er kostengünstig und weit verbreitet ist und es ermöglicht, dreidimensionale Daten zu sammeln, die im Allgemeinen für die damit verbundenen Verwendungen ausreichend sind. Insbesondere wird im Allgemeinen angestrebt, eine Beziehung zwischen Daten herzustellen, beispielsweise optischen oder GPS-Daten oder anderen, die während aufeinanderfolgender Erfassungen erfasst werden. Die Ungenauigkeit des Girometers (oder sogar der meisten Vorrichtungen zum Erfassen dreidimensionaler Koordinaten verschiedener Art) begrenzt jedoch zu oft die Qualität der dreidimensionalen Darstellung, die durch die im Stand der Technik bekannten Verfahren erhalten werden kann oder die Kosten um das Problem zu lösen sind zu groß.This displacement of the first and second sensors ( 10 . 11 ) during the acquisition of the successive recordings can advantageously be carried out with at least one position monitoring device ( 12 ), among which the gurometer is a non-limiting example, but is relevant in that it is inexpensive and widely used, and that it allows three-dimensional data to be collected in general are sufficient for the associated uses. In particular, it is generally desired to establish a relationship between data, such as optical or GPS data or others acquired during successive acquisitions. However, the inaccuracy of the gurometer (or even most devices for acquiring three-dimensional coordinates of various kinds) too often limits the quality of the three-dimensional representation that can be obtained by the methods known in the art or the cost to solve the problem is too great ,

Die vorliegende Anmeldung beschreibt somit eine Erfindung, die darüber hinaus einen besonderen Vorteil bietet, der in diesen genauen Kontext passt, indem die Daten bezüglich der (durch die Vorrichtungen zum Erfassen dreidimensionaler Koordinaten) geschätzten dreidimensionalen Positionen der Pixel oder Punkte innerhalb der aufeinanderfolgende Ansichten oder Bilder korrigiert werden, die während der Erfassung dieser beiden Datentypen gesammelt wurden, was zur Verbesserung der Verarbeitung dient.The present application thus describes an invention which, moreover, offers a particular advantage that fits into this precise context by providing the data regarding the three-dimensional positions of the pixels or dots within the successive views or images (estimated by the three-dimensional coordinate detection devices) corrected while collecting these two types of data, which improves processing.

Zu diesem Zweck schlagen verschiedene Ausführungsformen der vorliegenden Anmeldung vor, den durch die Positioniervorrichtung möglicherweise eingeführten Fehler (Erfassung von Koordinaten im Raum) während der Schätzung der Verschiebung des Optischen und/oder Tiefenerfassungssystems zu begrenzen.For this purpose, various embodiments of the present application propose to limit the error (detection of coordinates in space) possibly introduced by the positioning device during the estimation of the displacement of the optical and / or depth detection system.

Da die Verschiebung der Sensoren von einer Erfassung zur anderen eine Translation und/oder Drehung des Erfassungssystems betreffen kann, kann die vorgeschlagene Korrektur in einigen Ausführungsformen innerhalb der vorgeschlagenen Optionen von einem Benutzer einstellbar und/oder auswählbar sein (dieser legt fest, ob mindestens eine dieser Korrekturen verwendet werden muss und/oder wie hoch der Wert sein soll, um zu bestimmen, wie diese Korrektur angewendet werden soll, beispielsweise über eine Benutzerinteraktionsschnittstelle (15), deren Varianten dem Fachmann bekannt sind, und für die es hier nicht nötig ist, ins Detail zu gehen). Daher kann es vorteilhaft sein, eine Parameterflexibilität bereitzustellen, da die Translation und die Drehung aus verschiedenen Störfaktoren resultieren können, aber unabhängige Wirkungen oder Konsequenzen haben können.Since the displacement of the sensors from one detection to another may involve translation and / or rotation of the detection system, in some embodiments, the suggested correction may be user adjustable and / or selectable within the suggested options (this determines whether at least one of these corrections must be used and / or how high the value should be to determine how this correction should be applied, for example via a user interaction interface ( 15 ), the variants of which are known to the person skilled in the art, and for which it is not necessary to go into detail here). Therefore, it may be advantageous to provide parameter flexibility since translation and rotation may result from various confounding factors but may have independent effects or consequences.

Außerdem beziehen sich verschiedene Ausführungsformen der vorliegenden Anmeldung vorteilhafterweise auf mindestens ein Problem, das sich auf die Übereinstimmung zwischen den Basen und den Ursprüngen bezieht, die den verschiedenen Sensoren entsprechen, die die Erfassung von Daten in Bezug zueinander ermöglichten. Diese Art von Problem und Lösung impliziert im Allgemeinen, dass die Basen und Ursprünge relativ zueinander neu eingestellt werden (vorzugsweise, wenn die Beziehungen zwischen diesen Sensoren hinsichtlich der Position und gemessener physikalischer Werte identifiziert werden). In bestimmten Ausführungsformen schlägt dieses Verfahren vor, in einem globalen Referenz, jede der aufeinanderfolgenden Referenzen in Bezug aufeinander zu transponieren und dann diese Umsetzung durch mindestens eine Translation des Ursprungs der aufeinanderfolgenden üblichen Referenzen nacheinander zu korrigieren relativ zu den anderen und/oder mindestens eine Drehung der Basen dieser aufeinander folgend üblichen Referenz. Beispielsweise kann das Verfahren auf der Grundlage von Daten durchgeführt werden, die mit einer Bilderfassungskamera (10) und einer an einem System (1) zur Erfassung oder zum Rekonstruieren angebrachten Tiefenkamera (11) erfasst werden, einfach ein elektronisches Tablett sein, das mit diesen Geräten ausgestattet ist. Darüber hinaus kann eine Vorrichtung zur Erfassung von Positionsdaten beispielsweise ein Girometer und/oder ein GPS oder eine andere Art von Vorrichtung sein, die die Bewegung von Erfassungsvorrichtungen erfasst, obwohl sich das Verfahren genau auf die Notwendigkeit bezieht, Ansichten zu registrieren beim Verschieben von Sensoren von einer Ansicht zur anderen. Verschiedene Ausführungsformen der vorliegenden Anmeldung haben die Besonderheit, umso vorteilhafter zu sein, wenn die aufeinanderfolgenden Bewegungen, die während der Aufnahmen gemessen werden, ungenau sind.In addition, various embodiments of the present application advantageously relate to at least one problem relating to the correspondence between the bases and the origins corresponding to the various sensors that enabled the collection of data with respect to each other. This type of problem and solution generally implies that the bases and origins are readjusted relative to each other (preferably, if the relationships between these sensors are identified in terms of position and measured physical values). In certain embodiments, this method proposes, in a global reference, to transpose each of the successive references in relation to each other and then sequentially correct that translation by at least one translation of the origin of the successive conventional references relative to the others and / or at least one rotation Bases this successive conventional reference. For example, the method may be performed on the basis of data obtained with an image capture camera ( 10 ) and one on a system ( 1 ) for capturing or reconstructing attached depth camera ( 11 ) are simply an electronic tablet equipped with these devices. In addition, a position data acquisition device may be, for example, a gurometer and / or a GPS or other type of device that senses the movement of detection devices, although the method relates precisely to the need to register views when moving sensors one view to the other. Various embodiments of the present application have the peculiarity of being more advantageous when the successive movements measured during the recordings are inaccurate.

Vorzugsweise werden die Aufnahmen über ein Programm ausgelöst, das den optischen Sensor (10), der mit dem Begriff Kamera bezeichnet wird, ohne Begrenzung zu steuert, und den Tiefensensor (11), vorzugsweise synchron, steuert. Um die Kamera zu steuern, verwenden verschiedene Ausführungsformen Computermodule (sogenannte „software development kit“ auf Englisch), die in der Lage sind, verschiedene Aufnahmen und/oder Erfassungen (51) bei einer gegebenen Frequenz und Auflösung auszulösen. Somit ist das Programm gemäß verschiedenen Ausführungsformen vorzugsweise so konfiguriert, dass es die Kamera auf diese Weise steuert.Preferably, the images are triggered by a program that the optical sensor ( 10 ), which is termed camera, controls without limitation, and the depth sensor ( 11 ), preferably synchronously, controls. In order to control the camera, various embodiments use computer modules (so-called "software development kit") that are capable of taking various pictures and / or acquisitions ( 51 ) at a given frequency and resolution. Thus, according to various embodiments, the program is preferably configured to control the camera in this manner.

Das vorgeschlagene Verfahren basiert auf Daten, die von diesen Arten von Erfassungsvorrichtungen erfasst werden, ist jedoch nicht auf diese Erfassung beschränkt, da es vorzugsweise nur das dreidimensionale Rekonstruieren betrifft, obwohl es Erfassungsschritte enthalten kann, wie zum Beispiel in 1 dargestellt, die eine Ausführungsform eines Erfassungssystems (1) zeigt, das repräsentative Daten einer Einheit (E) erfasst, während 4 zwei Beispiele von Systemen (1, 1') zeigt, die sich dadurch unterscheiden, dass das linke ein System (1) zum Rekonstruieren und zur Erfassung ist, während das rechte System nur ein System (1') zum Rekonstruieren ist, das keine Vorrichtung (10, 11, 12) enthält, die die Erfassung (51) der zum Rekonstruieren verwendeten Daten ermöglichen.The proposed method is based on data captured by these types of detection devices, but is not limited to this detection, since it preferably only relates to three-dimensional reconstruction, although it may include detection steps, such as in FIG 1 1, which shows an embodiment of a detection system ( 1 ) shows the representative data of a unit ( e ), while 4 two examples of systems ( 1 . 1' ), which differ in that the left one system ( 1 ) is to reconstruct and capture, while the right system is only one system ( 1' ) to reconstruct that is not a device ( 10 . 11 . 12 ) that captures the 51 ) allow the data used for the reconstruction.

Verschiedene Ausführungsformen betreffen ein Verfahren, ein ausführbares Programm oder ein System zum Rekonstruieren von mindestens einer dreidimensionalen Darstellung (RE) mindestens einer untersuchten physikalischen Einheit (E) basierend auf Erfassungen (51) entsprechend n aufeinanderfolgenden Aufnahmen einer Vielzahl von Daten, die vorzugsweise zeitlich miteinander synchronisiert sind, und die Folgendes umfasst:

  • • repräsentative Daten (VE) von n Ansichten der Einheit (E), bestehend aus einer Vielzahl von Pixeln, die unter Verwendung mindestens einer ersten Erfassungsvorrichtung erfasst werden, optischer Sensor (10) genannt, wobei n eine von Null verschiedene ganze Zahl ist,
  • • repräsentative Daten (PP) wenigstens einer Entfernung, gemessen mit mindestens einer zweiten Erfassungsvorrichtung, Tiefensensor (11) genannt, zwischen mindestens einem Teil der Pixel innerhalb der n Ansichten (VE) und mindestens einer der Erfassungsvorrichtungen;
  • • repräsentative Daten (PS) von aufeinanderfolgenden Positionen des Erfassungssystems (1), bei jeder von n aufeinanderfolgenden Erfassungen, die unter Verwendung von mindestens einer dritten Erfassungsvorrichtung erfasst werden, Positionssensor (12) genannt;
Various embodiments relate to a method, an executable program or a system for reconstructing at least one three-dimensional representation ( RE ) of at least one examined physical unit ( e ) based on observations ( 51 ) corresponding to n successive recordings of a plurality of data, which are preferably synchronized with each other in time, and which comprises:
  • • representative data ( VE ) of n views of the unit ( e ), consisting of a plurality of pixels detected using at least one first detection device, optical sensor ( 10 ), where n is an integer other than zero,
  • • representative data ( PP ) at least one distance, measured with at least one second detection device, depth sensor ( 11 ) between at least a part of the pixels within the n views ( VE ) and at least one of the detection devices;
  • • representative data ( PS ) of successive positions of the detection system ( 1 ), in each of n consecutive acquisitions detected using at least one third detection device, position sensor ( 12 ) called;

In verschiedenen Ausführungsformen wird ein Verfahren durch ein System (1, 1') zum Rekonstruieren einer dreidimensionalen Darstellung (RE) implementiert, in dem die durch die Erfassungen (51) erhaltenen aufeinanderfolgenden Aufnahmen Daten (VE, PP, PP) liefern, deren Kombination repräsentativ für Punktewolken (NP) ist.In various embodiments, a method is implemented by a system ( 1 . 1' ) for reconstructing a three-dimensional representation ( RE ), in which the data collected by the observations ( 51 ) successive recordings of data ( VE . PP . PP ) whose combination is representative of point clouds ( NP ).

In verschiedenen Ausführungsformen ermöglicht das Verfahren die Verwendung von erfassten Informationen zum Erzeugen von Tiefendaten (PP) der erfassten Ansichten (VE). In diesem Fall werden die Tiefen bestimmter Punkte des erfassten Bildes bestimmt, um eine entsprechende Tiefentabelle zu erstellen, die in Beziehung mit den erfassten Werte der Pixel des Bildes (Farbe oder Schwarzweiß) der Einheit steht. In various embodiments, the method allows the use of acquired information to generate depth data ( PP ) of the acquired views ( VE ). In this case, the depths of certain points of the captured image are determined to create a corresponding depth map that is related to the detected values of the pixels of the image (color or black and white) of the device.

Zum Beispiel können Computermodule verwendet werden, um Tiefentabellen für jede Ansicht zu erstellen. Parallel dazu ermöglichen diese Computermodule die Synchronisierung jeder Ansicht und der Tiefentabelle mit einem Bild eines Farbsensors des Tabletts.For example, computer modules can be used to create depth tables for each view. In parallel, these computer modules enable the synchronization of each view and the depth table with an image of a color sensor of the tablet.

Das Verfahren kann auch von Positionsdaten profitieren, die sich auf die Positionierung der Erfassungsvorrichtung während der Erfassung beziehen. Durch diesen Schritt kann festgestellt werden, bei welcher Position, insbesondere bei welcher Neigung sich die Erfassungseinrichtung befand, als sie die Erfassung der Daten von Pixeln und/oder der Tiefe durchführte.The method may also benefit from position data related to the positioning of the detector during detection. By this step it can be determined at which position, in particular at which inclination the detection device was, when it performed the acquisition of the data of pixels and / or the depth.

Beispielsweise werden unterschiedliche Ausrichtungen des Tabletts über grundlegende Änderungsmatrizen relativ zu der Rotation mit einer höheren Frequenz als der Erfassungsfrequenz abgerufen.For example, different orientations of the tablet are retrieved via fundamental change matrices relative to the rotation at a higher frequency than the acquisition frequency.

In verschiedenen Ausführungsformen umfasst das Verfahren ferner das Erzeugen von repräsentativen Daten von Punktwolken (NP), die Positionen der Punkte jeder Ansicht im Raum entsprechen, die aus den erfassten Ansichten, den Tiefendaten und den Positionsdaten kombiniert wurden. In diesem Schritt werden die Positionen von mindestens einigen der während der Erfassungen erfassten Punkte aufgelistet, um das dreidimensionales Rekonstruieren durchführen zu können.In various embodiments, the method further comprises generating representative data from point clouds ( NP ), which correspond to positions of the points of each view in space, which were combined from the acquired views, the depth data and the position data. In this step, the positions of at least some of the points acquired during the acquisitions are listed in order to perform the three-dimensional reconstruction.

In verschiedenen Ausführungsformen nutzt das Verfahren die Tatsache, dass:

  • • jede der Punktewolken (NP) in Bezug auf eine jeweilige gewöhnliche Referenz (RN) im Raum referenziert ist;
  • • mindestens ein Vektor berechnet wird, um eine Registrierung/Neueinstellung (53) zu definieren, die auf jede der aufeinanderfolgenden üblichen Referenz (RN) in Bezug auf die vorangehende Referenz anzuwenden ist;
  • • mindestens ein Deskriptor mindestens eine Erfassung (54) von Paaren (CP) von Punkten, als Ähnlichkeitspunkte bezeichnet, implementiert, die jeweils zu zwei aufeinander folgenden Ansichten gehören und eine bestimmte Ähnlichkeit zwischen den Werten von mindestens einem ihrer repräsentativen Daten haben (VE, PP, PS), um als Referenz für die Registrierung (53) zu dienen;
In various embodiments, the method uses the fact that:
  • • each of the point clouds ( NP ) with respect to a respective ordinary reference ( RN ) is referenced in the room;
  • • at least one vector is calculated in order to register / readjust ( 53 ) to be defined on each successive common reference ( RN ) with reference to the previous reference;
  • At least one descriptor at least one entry ( 54 ) of couples ( CP ) points, referred to as similarity points, each belonging to two successive views and having a certain similarity between the values of at least one of their representative data ( VE . PP . PS ) as reference for the registration ( 53 ) to serve;

Somit wird in verschiedenen Ausführungsformen die Registrierung (53) inkrementell auf die n aufeinanderfolgenden Aufnahmen angewendet, so dass jede Iteration die Registrierung der repräsentativen Daten einer gegebenen Ansicht (VE) und/oder der entsprechenden Punktwolke (NP) bezüglich den vorherigen. Darüber hinaus ermöglichen die aufeinanderfolgenden Iterationen die Neueinstellung (53) der Daten bezüglich der üblichen Referenz, die für die erste Punktwolke (NP) definiert ist, und verwendet sie als globale Referenz (RG), insbesondere für das Rekonstruieren (57) der dreidimensionalen Darstellung (RE).Thus, in various embodiments, the registration ( 53 ) are applied incrementally to the n consecutive recordings so that each iteration records the registration of the representative data of a given view ( VE ) and / or the corresponding point cloud ( NP ) with respect to the previous ones. In addition, the successive iterations allow the re-adjustment ( 53 ) of the data relative to the usual reference, which for the first point cloud ( NP ) and uses it as a global reference ( RG ), in particular for the reconstruction ( 57 ) of the three-dimensional representation ( RE ).

Zusätzlich werden in verschiedenen Ausführungsformen die Paare (CP), die als Referenz für die Registrierung (53) dienen, durch mindestens einen der folgenden Schritte ausgewählt:

  • - Bildregistrierung/Bildneueinstellung (55) basierend auf den repräsentativen Daten der Pixel, die während der Erfassung der aufeinanderfolgenden Ansichten (VE) erfasst wurden, wobei diese Bildneueinstellung (55) mindestens eine Auswahl (551, 552) der Paare (CP) unter Verwendung von mindestens einem Filter auf der Grundlage der repräsentativen Werte (SRFT, SRFR) der Differenz zwischen den beiden Punkten eines Paares (CP) in Bezug auf die Translation und/oder Drehung; und/oder
  • - geometrische Neuneinstellung auf der Grundlage der repräsentativen Daten der Koordinaten der Punkte in den Punktwolken durch das Identifizieren für einen Punkt in einer Punktwolke, die einer gegebenen Erfassung entspricht, von mindestens drei Punkten, die in der Punktwolke der vorherigen Ansicht am nächsten sind, die im globalen Koordinatensystem festgelegt ist, so dass diese geometrische Neueinstellung diese drei Punkte, die als Referenzstandorten bezeichnet werden, als Bezugspunkt innerhalb der Punktwolke der vorherigen Ansicht verwendet, wobei diese drei Referenzstandorte ein Dreieck bilden, für das die Projektion des zurückzusetzenden Punktes der geringsten Entfernung entspricht.
Additionally, in various embodiments, the pairs ( CP ), which is the reference for registration ( 53 ) are selected by at least one of the following steps:
  • - Image Registration / Image Recalibration ( 55 ) based on the representative data of the pixels that are captured during the acquisition of the successive views ( VE ), this image resetting ( 55 ) at least one selection ( 551 . 552 ) of couples ( CP ) using at least one filter based on the representative values ( Srft . srfr ) the difference between the two points of a pair ( CP ) in terms of translation and / or rotation; and or
  • Nine geometric adjustment based on the representative data of the coordinates of the points in the point clouds by identifying, for a point in a point cloud corresponding to a given detection, at least three points closest in the point cloud of the previous view that in the point cloud global coordinate system, so that this geometric resetting uses these three points, called reference locations, as a reference point within the point cloud of the previous view, these three reference locations forming a triangle for which the projection of the point to be reset corresponds to the shortest distance.

Man versteht daher, wie oben erwähnt, dass die Erfindung entweder eine Registrierung verwenden kann, die auf den „Bild“-Daten basiert ist, die für eine erfasste Ansicht (VE) repräsentativ sind, oder eine Registrierung, die auf den „räumlichen“ Daten basiert ist, die für die Koordinaten der Punkte der Wolke (NP) repräsentativ sind, oder die beiden Arten von Registrierung. Vorzugsweise verwendet die Erfindung beide Arten von Registrierungen nacheinander. Es ist in der Tat bevorzugt, die beiden Registrierungen zu kombinieren, um bessere Ergebnisse zu erzielen. Zusätzlich ist es vorzuziehen, mit der Bildregistrierung (55) anzufangen und dann als nächstes mit der geometrischen Registrierung (56) fortzufahren. In der Tat werden aufeinanderfolgende Ansichten in der Regel mit einer Frequenz erfasst, die die notwendigen Informationen liefert, um die Translationen und Drehungen zu bestimmen, die zwischen aufeinanderfolgenden Bildern aufgetreten sind. Die nach der Bildregistrierung (55) angewendete geometrische Registrierung (56) ermöglicht es dann, eine ungleiche Genauigkeit bereitzustellen. Trotzdem kann der Benutzer je nach Anwendung einen Parameter auswählen, der die Verwendung der zu verwendenden Neueinstellung(en) bestimmt.It is therefore understood, as mentioned above, that the invention can either use a registration based on the "image" data that is required for a captured view (FIG. VE ), or a registration based on the "spatial" data that represents the coordinates of the points of the cloud ( NP ) are representative, or the two types of registration. Preferably, the Invention both types of registrations successively. It is indeed preferable to combine the two registrations to get better results. In addition, it is preferable to use image registration ( 55 ) and then next with the geometric registration ( 56 ) continue. In fact, successive views are typically acquired at a frequency that provides the information necessary to determine the translations and rotations that have occurred between successive images. The after image registration ( 55 ) applied geometric registration ( 56 ) then allows to provide unequal accuracy. Nevertheless, depending on the application, the user may select a parameter that determines the use of the new setting (s) to be used.

Andererseits in verschiedenen Ausführungsformen, wenn die Daten (VE, PP, PS), die von den verschiedenen Vorrichtungen (10, 11, 12) des Erfassungssystems erhalten werden, zumindest mit Bezug auf zwei unterschiedliche dreidimensionale Referenzen definiert wurden, umfasst das Verfahren für jede der aufeinanderfolgenden Aufnahmen mindestens eine Transposition (52) dieser Daten (VE, PP, PS) in einer gemeinsamen dreidimensionalen Referenz, wobei die jeweiligen Basen dieser Daten (VE, PP, PS) relativ zueinander ausgerichtet werden, um repräsentative Daten von n Punktwolken (NP) zu erhalten, die in Bezug auf n aufeinanderfolgende gewöhnliche dreidimensionale Referenzen referenziert werden, die in einer gemeinsamen Weise für jede der aufeinanderfolgenden Aufnahmen definiert sind, um die Neueinstellung (53) der Punktewolken (NP) zu ermöglichen, um die Rekonstruktion (57) zu erhalten.On the other hand, in various embodiments, when the data ( VE . PP . PS ) generated by the various devices ( 10 . 11 . 12 ) of the detection system have been defined, at least with reference to two different three-dimensional references, the method comprises for each of the successive recordings at least one transposition ( 52 ) of this data ( VE . PP . PS ) in a common three-dimensional reference, the respective bases of these data ( VE . PP . PS ) are aligned relative to one another to obtain representative data of n point clouds ( NP ), which are referenced with respect to n consecutive ordinary three-dimensional references defined in a common manner for each of the successive recordings, in order to obtain the readjustment ( 53 ) of the point clouds ( NP ) to enable the reconstruction ( 57 ) to obtain.

Zum Beispiel ermöglichen es die Daten eines Bildes mit seiner Tiefentabelle, ein Raster von 3D-Punkten in einer Referenz zu definieren, die als „Ansicht“ bezeichnet wird und der Kamera zugeordnet ist. Diese Referenz hat die Position der Kamera als Ursprung und ihre Basis setzt sich aus einer für jede Ansicht spezifischen Ansichtsachse (Z-Achse) zusammen. Die zur Kamera senkrechte Achse und die anderen Achsen (X, Y) sind mit dem Tablett ausgerichtet. Der Begriff Tablett wird in dieser Anmeldung verwendet, um sich auf das Erfassungssystem zu beziehen (das auch das System zum Rekonstruieren bilden kann, wenn es die ausführbaren Instruktionen für die Implementierung des Verfahrens enthält), aber dieser Begriff ist nicht als Einschränkung der Arten möglicher Systeme zu interpretieren.For example, the data of an image with its depth table allows defining a raster of 3D points in a reference, called a "view", associated with the camera. This reference has the position of the camera as the origin, and its base is composed of a view axis (Z-axis) specific to each view. The axis perpendicular to the camera and the other axes (X, Y) are aligned with the tray. The term tray is used in this application to refer to the detection system (which may also constitute the system for reconstruction if it contains the executable instructions for implementing the method), but this term is not intended to limit the types of possible systems to interpret.

In dieser Referenz werden die Koordinaten der Punkte des Rasters entsprechend dem Öffnungswinkel der Kamera berechnet, der das gesamte Bild abdeckt.In this reference, the coordinates of the points of the grid are calculated according to the aperture angle of the camera covering the entire image.

In Anbetracht einer ersten Basisänderung werden diese Koordinaten in der Basis des Tabletts ausgedrückt, deren Z-Achse sich in entgegengesetzter Richtung zur Z-Achse der Basisansicht befindet, und die Achsen (X, Y) sind in der entgegengesetzten Richtung invertiert.In consideration of a first base change, these coordinates are expressed in the base of the tablet whose Z-axis is in the opposite direction to the Z-axis of the base view, and the axes (X, Y) are inverted in the opposite direction.

Insbesondere kann man für jede Aufnahme oder jedes Bild die entsprechende Ausrichtung des Tabletts identifizieren, indem man die zeitlich nächste Entfernung unter den letzten Ausrichtungen betrachtet, die von einen Gyrosensor gespeichert werden.In particular, for each shot or image, the appropriate orientation of the tablet can be identified by looking at the next nearest distance under the last alignments stored by a gyro sensor.

Durch Aufheben der Wirkungen dieser Ausrichtung über eine zweite Basisänderung werden die Koordinaten der Punkte in einer sogenannten üblichen oder universellen Basis gefunden, wobei die Z-Achse die vertikale Achse ist. Die anderen Achsen (X, Y) der üblichen Basis sind standardmäßig definiert und können vom Benutzer festgelegt werden (zum Beispiel wenn die Achse Y als die nach Norden gerichtete Achse gesehen wird).By canceling the effects of this alignment over a second base change, the coordinates of the points are found in a so-called common or universal base, where the Z-axis is the vertical axis. The other axes (X, Y) of the usual base are defined by default and can be set by the user (for example, if the Y axis is seen as the north facing axis).

Die zweite Basisänderung ermöglicht das Erreichen der gleichen Basis für alle Erfassungen. Somit ist mit jeder Erfassung eine gewöhnliche (lokale) Referenz verbunden, deren Ursprung die Position der Kamera und die Basis ist, wobei die übliche Basis über die beiden grundlegenden Änderungen definiert wird, die auf die ursprüngliche Basis der Ansicht angewendet werden.The second base change allows you to reach the same base for all acquisitions. Thus, with each capture, there is associated an ordinary (local) reference whose origin is the position of the camera and the base, the usual basis being defined by the two fundamental changes applied to the original base of the view.

Insbesondere aufgrund der Variation der Positionierung der Erfassungsvorrichtung zwischen Erfassungen befinden sich die erhaltenen Punkte nicht an derselben Stelle im Raum, wenn das Bild in diesem Stadium durch separate Ansichten rekonstruiert wird. Dies führt zu einem rekonstruierten Bild, das dem Originalbild nicht sehr treu ist, und dadurch zu einer verzerrten Untersuchung der Tiefen des Bildes oder einer unzuverlässigen Wiedergabe beim dreidimensionalen Drucken.In particular, due to the variation of the position of the detection device between detections, the points obtained are not located at the same location in space when the image is reconstructed at this stage by separate views. This results in a reconstructed image that is not very faithful to the original image, thereby distorting the depth of the image or rendering it unreliable in three-dimensional printing.

Es ist daher notwendig, mindestens eine Neueinstellung der Bildpunkte durchzuführen, um ein rekonstruiertes Bild zu erhalten, das der Realität näher kommt. Gemäß verschiedenen Ausführungsformen wird mindestens eine Art von Korrektur zwischen zwei Arten von Korrekturen der repräsentativen Daten der aufeinanderfolgenden Ansichten angewendet, die auf sie angewendet werden können, um die Rekonstruktion dank mindestens einer Auswahl (551, 552) der repräsentativen Daten zuverlässiger Werte für die Registrierung (53) einer Ansicht in Bezug auf die vorherige weiter zu verbessern.It is therefore necessary to perform at least one re-adjustment of the pixels to obtain a reconstructed image that is closer to reality. According to various embodiments, at least one type of correction is applied between two types of corrections of the representative data of the successive views that can be applied to them in order to make the reconstruction possible by virtue of at least one selection ( 551 . 552 ) of representative data for reliable registry values ( 53 ) to further improve one view in relation to the previous one.

Gemäß verschiedenen Ausführungsformen implementiert das Verfahren die Auswahl (551) der Paare (CP) unter Verwendung von mindestens einem Filter basierend auf den Werten (SRFT), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Translation repräsentativ sind , dank einer Suche nach einer maximalen Anzahl von Paaren (CP), zwischen denen die Translation durch einen Vektor mit einem Wert definiert ist, der niedriger als ein bestimmter Schwellenwert ist, der beispielsweise einstellbar ist.According to various embodiments, the method implements the selection ( 551 ) of couples ( CP ) using at least one filter based on the values ( Srft ), which for the Difference between the two points of a pair ( CP ) are representative in terms of translation, thanks to a search for a maximum number of pairs ( CP ) between which the translation is defined by a vector having a value that is lower than a certain threshold, which is adjustable, for example.

In einigen Ausführungsformen umfasst die Bildregistrierung (55) mindestens eine Auswahl (552) der Paare (CP) unter Verwendung von mindestens einem Filter basierend auf den Werten (SRFR), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Drehung repräsentativ sind, wobei mindestens eine Auswahl eines Paares von Referenzpunkten (P r . Q r ) mit der größten Anzahl von Paaren verwendet wird, die als ihre zugehörigen Paare definiert sind (Pi, Qi), mit denen sich ihre Ausrichtungsvektoren in einem Winkel unterscheiden, der niedriger als eine Winkelschwelle eines bestimmten Wertes ist, der beispielsweise einstellbar iat. Bei dieser Art von Ausführungsform basiert die Auswahl (552) auf einer Abweichung (F), ausgedrückt durch ein Triplett von Drehwinkeln (α, ß, γ) zwischen den repräsentativen Vektoren von Paaren von Bezugspunkten (P r , Q r ) relativ zu den repräsentativen Vektoren ihrer zugehörigen Paare (Pi, Qi).In some embodiments, the image registration ( 55 ) at least one selection ( 552 ) of couples ( CP ) using at least one filter based on the values ( srfr ), which is the difference between the two points of a pair ( CP ) are representative of rotation, using at least one selection of a pair of reference points (P r . Q r ) having the largest number of pairs defined as their associated pairs (P i , Q i ) with which their orientation vectors differ at an angle which is lower than an angle threshold of a certain value, for example adjustable. In this type of embodiment, the selection is based on 552 ) on a deviation ( F expressed by a triplet of rotational angles (α, β, γ) between the representative vectors of pairs of reference points (P r , Q r ) relative to the representative vectors of their respective pairs (P i , Q i ).

In einigen dieser Ausführungsformen entspricht die Abweichung (F) einer Funktion, und die Auswahl (552) entspricht einer Minimierung dieser Funktion durch aufeinanderfolgende Iterationen von einzelnen Drehungen eines bestimmten Winkelwerts, der beispielsweise einstellbar ist.In some of these embodiments, the deviation corresponds to ( F ) of a function, and the selection ( 552 ) corresponds to a minimization of this function by successive iterations of individual rotations of a certain angle value, which is adjustable, for example.

Im Allgemeinen können die in der vorliegenden Anmeldung beschriebenen Variablen oder einstellbaren Werte von einem Benutzer oder Entwickler definiert werden, der die Implementierung des Verfahrens in dem System (1, 1') vorbereitet, und die bereitgestellten Beispiele sind nicht einschränkend. Zum Beispiel verwendet in bestimmten Ausführungsformen die Auswahl (551) basierend auf den Werten (SRFT), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Translation repräsentativ sind, einen Schwellenwert von 10%. Andererseits basiert in bestimmten Ausführungsformen der Auswahlschritt (552), der auf den Werten (SRFR), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Drehung repräsentativ sind, auf einem Winkelschwellenwert in der Größenordnung von einem Grad.In general, the variables or adjustable values described in the present application may be defined by a user or developer who is responsible for implementing the method in the system ( 1 . 1' ) and the examples provided are not limiting. For example, in certain embodiments, the selection ( 551 ) based on the values ( Srft ), which is the difference between the two points of a pair ( CP ) are representative of translation, a threshold of 10%. On the other hand, in certain embodiments, the selection step ( 552 ), based on the values ( srfr ), which is the difference between the two points of a pair ( CP ) are representative of the rotation, on an angle threshold on the order of one degree.

Gemäß verschiedenen Ausführungsformen entspricht der Deskriptor, der für die Erfassung (54) von Punktepaaren (CP) zuständig ist, einem Harris-Detektor, der die Ähnlichkeit zwischen den Durchschnittswerten der Farben in ihren jeweiligen Umgebungen bestimmt. Dieser an sich bekannte Detektor ermöglicht es, mit ausreichender Genauigkeit zu bestimmen, welcher Bildpunkt einer vorherigen Ansicht einem Bildpunkt einer nächsten Ansicht entspricht. Die Bestimmung des Vektors erfolgt dann anhand der so identifizierten Bildpunkte.According to various embodiments, the descriptor used for the collection ( 54 ) of pairs of points ( CP ), a Harris detector that determines the similarity between the averages of the colors in their respective environments. This detector, which is known per se, makes it possible to determine with sufficient accuracy which pixel of a previous view corresponds to a pixel of a next view. The determination of the vector then takes place on the basis of the pixels thus identified.

In einigen Ausführungsformen wird, wie oben erwähnt, die geometrische Registrierung (56) auf Punkte angewendet, die sich in einer Punktwolke (NP) befinden, die während einer gegebenen Erfassung erhalten wurden, wobei diese sich auf Raumkoordinaten einer Vielzahl von Punkten innerhalb der Punktwolke (NP) beziehen und als Referenz für die Neueinstellung benutzt werden, die während der vorherigen Erfassung erhalten wurden. In einigen dieser Ausführungsformen definiert die geometrische Registrierung (56) die Vielzahl von Punkten der vorherigen Erfassung als Referenzstandorte für diese Neueinstellung relativ zu den Raumkoordinaten der zu rekalibrierenden Punkte in Bezug auf mindestens drei Referenzstandorte, die ein Dreieck definieren, bei dem die Entfernung, die der Projektion des zu verschiebenden Punktes entspricht, aufgrund der Identifizierung für einen Punkt innerhalb einer Punktwolke (NP), der einer bestimmten Erfassung entspricht, der schwächste der drei Punkte ist, die in sind die nächsten in der Punktwolke (NP) der vorherigen Ansicht, die in der globalen Referenz (RG) neu berechnet wurde. Es versteht sich somit, dass die geometrische Registrierung (56) eine Triangulation (562) der Daten verwendet, um die Genauigkeit der Neueinstellung in Bezug auf ein Dreieck von Punkten der vorherigen Erfassung zu verbessern, anstatt auf einen einzelnen Punkt beschränkt zu sein. Diese Triangulation bietet eine weitaus höhere Genauigkeit als die aus dem Stand der Technik bekannten Verfahren, beispielsweise Verfahren vom ICP-Typ („Iterative Closest Point“ in Englisch). Mit anderen Worten werden für eine gegebene Ansicht die Punkte der vorherigen Ansicht als Referenzstandorte definiert, in Bezug auf die die geometrische Registrierung durchgeführt werden soll. Diese Neueinstellung für einen bestimmten Punkt einer zu rekalibrierenden Ansicht basiert auf der Suche der drei Referenzstandorte, deren räumliche Position der des gegebenen Punktes am nächsten ist. Diese drei Referenzstellen bilden somit ein Dreieck, auf dem nach der kürzesten Projektion des gegebenen Punktes gesucht wird. Durch den Einsatz der beiden Filter kann die Genauigkeit der Rekonstruktion weiter verbessert werden. In einigen dieser Ausführungsformen nutzt die geometrische Neueinstellung (56) einen Klassifizierungsschritt (561) der Daten unter Verwendung eines Beschleunigergitters (GA), um den Triangulationsschritt zu beschleunigen. Diese Art von Beschleunigungsgitter (GA) ist auf dem Gebiet bekannt und wird in der vorliegenden Anmeldung zusätzlich dazu verwendet, die Klassifizierung von Punkten als Referenzstellen zu beschleunigen, insbesondere durch Filtern der Referenzstellen zwischen ihnen durch Verwendung von einer Schwellenentfernung, beispielsweise eines einstellbaren Wertes. Die Suche nach Referenzseiten, die einem bestimmten Punkt am nächsten sind, wird somit beschleunigt.In some embodiments, as noted above, the geometric registration ( 56 ) are applied to points that are in a point cloud ( NP ) obtained during a given acquisition, which are based on spatial coordinates of a plurality of points within the point cloud ( NP ) and used as reference for the readjustment obtained during the previous acquisition. In some of these embodiments, the geometric registration ( 56 ) the plurality of points of previous detection as reference locations for this readjustment relative to the spatial coordinates of the points to be recalibrated with respect to at least three reference locations defining a triangle in which the distance corresponding to the projection of the point to be displaced is due to the identification for a point within a point cloud ( NP ), which corresponds to a certain detection, is the weakest of the three points that are in the next in the point cloud ( NP ) of the previous view described in the global reference ( RG ) was recalculated. It is thus understood that the geometric registration ( 56 ) a triangulation ( 562 ) of the data is used to improve the accuracy of readjustment with respect to a triangle of previous detection points, rather than being limited to a single point. This triangulation offers far greater accuracy than the methods known in the art, for example ICP-type ("Iterative Closest Point") methods. In other words, for a given view, the points of the previous view are defined as reference locations with respect to which the geometric registration is to be performed. This re-setting for a particular point in a view to be recalibrated is based on finding the three reference locations whose spatial position is closest to that of the given point. These three reference points thus form a triangle on which to search for the shortest projection of the given point. By using the two filters, the accuracy of the reconstruction can be further improved. In some of these embodiments, the geometric repositioning ( 56 ) a classification step ( 561 ) of the data using an accelerator grid ( GA ) to accelerate the triangulation step. This type of accelerator grid ( GA ) is known in the art and is additionally used in the present application to speed up the classification of points as reference points, in particular by filtering the reference points between them by using a threshold distance, for example an adjustable one Value. Searching for reference pages closest to a particular point will thus be speeded up.

Die Erfindung betrifft auch ein Programm, das Codeabschnitte umfasst, die Instruktionen für die Implementierung des in der vorliegenden Anmeldung beschriebenen Verfahrens repräsentieren, wenn das Programm durch Datenverarbeitungsmittel (14) ausgeführt wird.The invention also relates to a program comprising code sections which represent instructions for the implementation of the method described in the present application, when the program is processed by data processing means ( 14 ) is performed.

Andererseits betrifft die Erfindung ein System (1, 1') zum Rekonstruieren eines dreidimensionalen Bildes, das Datenverarbeitungsmittel (14) umfasst, die Instruktionen ausführen, die in Speichermitteln (13) zur Durchführung des in der vorliegenden Anmeldung beschriebenen Verfahrens gespeichert sind. In einigen Ausführungsformen umfasst das System (1) zum Rekonstruieren die Erfassungseinrichtungen (10, 11, 12), die die repräsentativen Daten der aufeinanderfolgenden Aufnahmen bereitstellen.On the other hand, the invention relates to a system ( 1 . 1' ) for reconstructing a three-dimensional image, the data processing means ( 14 ) executing instructions contained in storage means ( 13 ) are stored for carrying out the method described in the present application. In some embodiments, the system comprises ( 1 ) for reconstructing the detection devices ( 10 . 11 . 12 ), which provide the representative data of the successive shots.

Die verschiedenen beschriebenen Ausführungsformen sollen die Berücksichtigung der Tiefendaten bei einem dreidimensionalen Rekonstruiere verbessern und/oder die Fehler aufgrund der Bewegungen der Sensoren während der Erfassungen korrigieren oder sogar die Ungenauigkeiten der Sensoren selbst korrigieren.The various embodiments described are intended to improve the consideration of depth data in a three-dimensional reconstruction and / or to correct the errors due to the movements of the sensors during the acquisitions or even to correct the inaccuracies of the sensors themselves.

Beispielexample

Bildbasierte NeueinstellungImage based resetting

Die erste sogenannte „bildbasierte Registrierung“ ist auf die Abstimmung von Pixeln zwischen zwei Bildern gestützt. Diese Abstimmung wird in entsprechende 3D-Punkte übersetzt, die die 3D-Umgebung diskret abdecken.The first so-called "image-based registration" is based on the matching of pixels between two images. This vote is translated into corresponding 3D points that discretely cover the 3D environment.

In dem ersten Schritt der sogenannten „bildbasierte Registrierung“, für eine bestimmte Ansicht wird nur die vorige Ansicht in Betracht gezogen und die Neueinstellung wird bezüglich dieser durchgeführt. In der Tat ist diese Aufnahme normalerweise die, die die meisten Ähnlichkeitspunkte (Pixel) enthält.In the first step of the so-called "image-based registration", for a particular view, only the previous view is considered and the re-adjustment is made with respect to it. In fact, this shot is usually the one that contains the most similarity points (pixels).

Die bildbasierte Registrierung umfasst zwei aufeinanderfolgende Phasen. Die erste ist ein klassisches Verfahren zum Bestimmen von Paaren von Ähnlichkeitspunkten zwischen diesen beiden Bildern, die durch eine Abbildung von bedeutenden Punkten in den beiden Ansichten definiert werden.Image-based registration involves two consecutive phases. The first is a classical method for determining pairs of similarity points between these two images defined by a mapping of significant points in the two views.

Diese Punkte werden beispielsweise über einen Harris-Detektor erfasst, wodurch die Singularitäten eines Bildes identifiziert werden können.These points are detected, for example, via a Harris detector, whereby the singularities of an image can be identified.

Die Abstimmung dieser Punkte zwischen den beiden Bildern erfolgt anhand ihres Farbdurchschnittswertes in ihrer Umgebung.The coordination of these points between the two images is based on their average color value in their environment.

Die Paare von Ähnlichkeitspunkten können möglicherweise fehlerhafte Ähnlichkeiten enthalten. Um diese falschen Paare von Ähnlichkeiten zu beseitigen, wird eine zweite Registrierungsphase vorgeschlagen, indem die 3D-Punkte verwendet werden, die den Paaren von Ähnlichkeitspunkten zugeordnet sind.The pairs of similarity points may possibly contain erroneous similarities. To eliminate these false pairs of similarities, a second registration phase is proposed by using the 3D points associated with the pairs of similarity points.

An jedem Paar von Ähnlichkeitspunkten oder -pixeln mit (p, q) (wobei p zur aktuellen Ansicht und q zu der vorhergegangenen Ansicht gehört), ist ein 3D-Punktepaar (P, Q) zugeordnet, wobei P (beziehungsweise Q) der 3D-Punkt (wobei die Koordinaten in der üblichen Referenz ausgedrückt sind) ist, de dem Pixel p (beziehungsweise q) entspricht.At each pair of similarity points or pixels with (p, q) (where p belongs to the current view and q to the previous view), a 3D point pair (P, Q) is assigned, where P (or Q) of the 3D Point (where the coordinates are expressed in the usual reference), which corresponds to the pixel p (or q).

Wenn das Paar von Ähnlichkeitspunkten (p, q) gültig ist, ist die gesuchte Übersetzung gleich P Q

Figure DE112017003426T5_0001
(da die 3D-Punkte alle in der üblichen Basis ausgedrückt werden).If the pair of similarity points (p, q) is valid, the translation sought is the same P Q
Figure DE112017003426T5_0001
(as the 3D points are all expressed in the usual base).

Zunächst wird ein erster Filter angewendet. Das erste Filter ist auf die Längen basiert und besteht aus dem Identifizieren eines Maximums von Paaren (p, q) mit einem entsprechenden Vektor P Q

Figure DE112017003426T5_0002
vom identischen Standard. Somit wird für jedes verbundene Paar (p, q) (von entsprechenden 3D-Punkten P' und Q') die Anzahl der Paare (p', q') so gezählt, dass P ' Q ' P Q .
Figure DE112017003426T5_0003
In der Praxis wird dieser Ausdruck so geschrieben: P Q ( 1 ε ) P ' Q ' P Q [ 1 + ε ]
Figure DE112017003426T5_0004
wobei ε einen Prozentsatz darstellt (zum Beispiel 10%).First, a first filter is applied. The first filter is based on lengths and consists of identifying a maximum of pairs (p, q) with a corresponding vector P Q
Figure DE112017003426T5_0002
of the same standard. Thus, for each connected pair (p, q) (of corresponding 3D points P 'and Q'), the number of pairs (p ', q') is counted such that P ' Q ' P Q ,
Figure DE112017003426T5_0003
In practice, this expression is written as: P Q ( 1 - ε ) P ' Q ' P Q [ 1 + ε ]
Figure DE112017003426T5_0004
where ε represents a percentage (for example 10%).

Das Paar mit einer maximalen Anzahl von verbundenen Paaren ist mit seinen verbundenen Paaren beibehalten.The pair with a maximum number of connected pairs is maintained with its connected pairs.

Dann wird ein zweites Filter angewendet. Das zweite Filter ist auf den Winkeln basiert und besteht aus dem Identifizieren (unter den beibehaltenen Paaren) eines Maximums von Paaren (p, q) mit einem entsprechenden Vektor P Q ,

Figure DE112017003426T5_0005
von quasi identischer Richtung. In ähnlicher Weise werden für jedes Paar (p, q) (von entsprechenden 3D-Punkten P' und Q') die Anzahl der verbundenen Paare (p', q') so gezählt, dass P ' Q ' P Q .
Figure DE112017003426T5_0006
Then a second filter is applied. The second filter is angle based and consists of identifying (among the retained pairs) a maximum of pairs (p, q) with a corresponding vector P Q .
Figure DE112017003426T5_0005
of a nearly identical direction. Similarly, for each pair (p, q) (of corresponding 3D points P 'and Q'), the number of connected pairs (p ', q') are counted such that P ' Q ' P Q ,
Figure DE112017003426T5_0006

In der Praxis wird dies so ausgedrückt: P Q , P ' Q ' θ

Figure DE112017003426T5_0007
wobei 〈.,.〉 das Punktprodukt darstellt und θ eine Winkelschwelle ist (zum Beispiel 1 Grad).In practice this is expressed as: < P Q . P ' Q ' > θ
Figure DE112017003426T5_0007
where <.,.> represents the dot product and .theta. is an angle threshold (for example, 1 degree).

Das Paar mit einer maximalen Anzahl von verbundenen Paaren, Paar, das als Referenzpaar bezeichnet wird, ist mit seinen verbundenen Paaren beibehalten. Somit haben die beibehaltene Paare (p, q), fast die gleichen entsprechenden P Q

Figure DE112017003426T5_0008
Vektoren. Es sei daran erinnert, dass diese letzten Vektoren gedacht sind, um die gesuchte Translation darzustellen.The pair with a maximum number of connected pairs, pair referred to as the reference pair, is maintained with its associated pairs. Thus, the retained pairs (p, q) have almost the same corresponding ones P Q
Figure DE112017003426T5_0008
Vectors. It should be remembered that these last vectors are intended to represent the translation sought.

Alternativ ist der Winkelfilter eine minimierte Funktion von drei entsprechenden Vektordrehwinkeln. Dieser Aspekt ermöglicht es, mögliche Ungenauigkeiten des Gyrosensors auszugleichen.Alternatively, the angle filter is a minimized function of three corresponding vector rotation angles. This aspect makes it possible to compensate for possible inaccuracies of the gyrosensor.

Daher ist die übliche Basis der aktuellen Ansicht relativ zur Basis der globalen Referenz leicht geneigt. Eine Korrekturmethode wird vorgeschlagen, wenn die Anzahl der oben beibehaltene Paare von Ähnlichkeitspunkten ausreichend ist. Wenn das entsprechende Paar (pr, qr) der entsprechenden 3D-Punkte (Pr und Qr) das Referenzpaar ist, bezeichnen wir mit (pi, qi) die Paare, die den Punkten zugeordnet sind, die Pi und Qi entsprechen.Therefore, the common base of the current view is slightly inclined relative to the base of the global reference. A correction method is proposed if the number of similarity point pairs retained above is sufficient. If the corresponding pair (p r , q r ) of the corresponding 3D points (P r and Q r ) is the reference pair, we denote (p i , q i ) the pairs associated with the points P i and Q i correspond.

Wir betrachten die Funktion: F ( α , β , γ ) = i P r Q r P l Q l 2

Figure DE112017003426T5_0009
wobei α, β und γ jeweils Drehwinkel um die Koordinatenachsen X, Y und Z in der üblichen Referenz der aktuellen Ansicht sind.We consider the function: F ( α . β . γ ) = Σ i P r Q r - P l Q l 2
Figure DE112017003426T5_0009
where α, β, and γ are rotation angles about the coordinate axes X, Y, and Z, respectively, in the usual reference of the current view.

Diese Funktion ermöglicht die Quantifizierung der Abweichung der Vektoren P l Q l

Figure DE112017003426T5_0010
relativ zum Referenzvektor P r Q r
Figure DE112017003426T5_0011
für ein bestimmtes Triplett von Drehwinkeln (α, β, γ) welcher auf die Koordinaten des Punktes Pr und der Punkte Pi wirkt.This function allows the quantification of the deviation of the vectors P l Q l
Figure DE112017003426T5_0010
relative to the reference vector P r Q r
Figure DE112017003426T5_0011
for a given triplet of angles of rotation (α, β, γ) which acts on the coordinates of point P r and points P i .

Im Idealfall, wenn die übliche Basis der aktuellen Ansicht mit der Basis der üblichen Referenz ausgerichtet ist, ist diese Funktion im Wesentlichen gleich Null.Ideally, if the usual base of the current view is aligned with the base of the usual reference, this function is essentially zero.

Um die Ungenauigkeit des Gyroskops zu korrigieren, wird daher vorgeschlagen, diese Funktion zu minimieren, indem iterativ kleine elementare Drehungen um die X-, Y- und Z-Achse in der üblichen lokalen Referenz der aktuellen Ansicht angewendet werden, um die übliche lokale Basis mit der Basis der globalen Referenz auszurichten , was zur Wiederherstellung der lokalen Referenz in Bezug auf die globale Referenz führt.Therefore, to correct the inaccuracy of the gyroscope, it is proposed to minimize this function by iteratively applying small elementary rotations about the X, Y, and Z axes in the usual local reference of the current view to the usual local basis aligning the base of the global reference, resulting in the restoration of the local reference relative to the global reference.

Jede Iteration des Minimierungsschemas der Funktion F(α, β, γ) umfasst möglicherweise drei aufeinanderfolgende Drehungen α, β und γ um die X-, Y- und Z-Achse der lokalen Referenz der aktuellen Ansicht. Jede Drehung wird auch iterativ durch kleine Drehschritte bestimmt, solange die Funktion F(α, β, γ) kleiner wird.Each iteration of the function F (α, β, γ) minimization scheme may comprise three consecutive rotations α, β, and γ about the X, Y, and Z axes of the local reference of the current view. Each rotation is also iteratively determined by small rotation steps as long as the function F (α, β, γ) becomes smaller.

Die möglichen Drehungen (die die Funktion minimieren), die sowohl in der direkten als auch in der indirekten Richtung untersucht werden, werden kumuliert. Wenn am Ende einer Iteration des Minimierungsschemas keine Drehung möglich ist, stellen das konvergente Schema und die Kumulation der gefundenen Drehungen die Korrektur dar, die an der üblichen Basis vorzunehmen ist, um sie an die übliche allgemeine Basis anzupassen.The possible rotations (which minimize the function) that are examined in both the direct and indirect directions are cumulated. If no rotation is possible at the end of an iteration of the minimization scheme, the convergent scheme and the accumulation of rotations found represent the correction to be made on the usual basis to conform to the usual general basis.

Die erste Bildbasiseinstellung wird durch eine Translation der üblichen lokalen Referenz der aktuellen Ansicht mit einem Vektor, der dem Durchschnitt der Vektoren P Q

Figure DE112017003426T5_0012
entspricht, die den Paaren (p, q) der beibehaltenen Ähnlichkeitspunkte entsprechen.The first image base setting is made by translating the usual local reference of the current view with a vector that is the average of the vectors P Q
Figure DE112017003426T5_0012
corresponding to the pairs (p, q) of the retained similarity points.

Geometrische RegistrierungGeometric registration

Die erste Neueinstellung wird durch eine zweite Neueinstellung abgeschlossen, die als „geometrische Neueinstellung“ bezeichnet wird, um die Umgebung besser abzudecken. Tatsächlich ermöglicht die geometrische Neueinstellung eine kontinuierliche Erkundung der Umgebung.The first re-adjustment is completed by a second re-adjustment called "geometric re-adjustment" to better cover the environment. In fact, the geometric resetting allows a continuous exploration of the environment.

In diesem zweiten Schritt der geometrischen Neueinstellung werden für eine gegebene Ansicht die entsprechenden 3D-Punkte (aktuelle Punkte) in Bezug auf alle 3D-Punkte der vorhergehenden Ansichten registriert.
Diese letzten Punkte, die als Referenzstandorte bezeichnet werden, werden in die globale Referenz eingefügt.
In this second step of geometric repositioning, for a given view, the corresponding 3D points (current points) are registered with respect to all the 3D points of the previous views.
These last points, called reference locations, are inserted into the global reference.

Das Verfahren besteht darin, die Entfernung der aktuellen Punkte mit der Wolke der Referenzstandorte in den überlappenden Zonen zu berechnen und aus diesen Entfernungen die gewünschte Translation zu definieren.The method consists in calculating the distance of the actual points with the cloud of the reference locations in the overlapping zones and to define the desired translation from these distances.

Bei einem 3D-Punkt einer aktuellen Ansicht werden beispielsweise die drei nächsten Referenzorte bestimmt. Wenn diese Stellen ein Dreieck bilden, wird die Projektion des 3D-Punkts auf die Unterstützungsebene dieses Dreiecks berechnet.For example, in a 3D point of a current view, the three nearest reference locations are determined. If these digits form a triangle, the projection of the 3D point on the support plane of that triangle is calculated.

Wenn diese Projektion in das Dreieck fällt, kann davon ausgegangen werden, dass der Punkt mit der Referenzwolke, die als Wiederherstellungszone verstanden wird, über eine lokale Translation korreliert werden kann, um den Punkt wieder auf seine Projektion zu bringen.If this projection falls into the triangle, it can be assumed that the point with the reference cloud, which is understood as the recovery zone, can be correlated via a local translation in order to bring the point back to its projection.

Bei Betrachtung des Mittelwerts dieser lokalen Translationsvektoren erhält man einen globalen Translationsvektor, der den besten Korrelationskompromiss der aktuellen Ansicht mit den Referenzstandorten darstellt.By looking at the mean of these local translation vectors, one obtains a global translation vector that represents the best correlation tradeoff of the current view with the reference sites.

Im Allgemeinen besteht der Algorithmus des Programms gemäß einer Variante der Erfindung dann für eine gegebene Ansicht darin, dieses Korrelationsverfahren iterativ anzuwenden, solange der entsprechende globale Translationsvektor signifikant ist.In general, the algorithm of the program according to a variant of the invention for a given view then consists of iteratively applying this correlation method as long as the corresponding global translation vector is significant.

In der Tat werden bei jeder Anwendung dieses Korrelationsverfahrens die 3D-Punkte der aktuellen Ansicht neu positioniert und die Korrelation wird vorzugsweise erneut geprüft. Die endgültige Translation wird auf alle 3D-Punkte der aktuellen Ansicht angewendet und diese Ansicht wird in die Referenzstandorte eingefügt.In fact, each time this correlation method is used, the 3D points of the current view are repositioned and the correlation is preferably rechecked. The final translation is applied to all 3D points in the current view, and this view is inserted into the reference locations.

Für eine Effizienzfrage wird ein Beschleunigungsraster eingerichtet, um die drei Standorte, die einem bestimmten Punkt am nächsten liegen, schnell zu identifizieren. Ebenso wird dieses oder ein anderes Raster verwendet, um eine Ansicht in die Referenzstandorte einzufügen. Darüber hinaus können die Referenzstandorte über dieses oder ein anderes Raster unter einander über eine auferlegte Schwellenentfernung gefiltert werden.For an efficiency question, an acceleration grid is set up to quickly identify the three locations closest to a particular point. Likewise, this or another raster is used to insert a view into the reference locations. In addition, the reference locations may be filtered through this or another grid with each other over an imposed threshold distance.

Man versteht daher, dass die in der vorliegenden Anmeldung verschiedene beschriebene Ausführungsformen mindestens einen Teil der Ziele erreichen, indem erfasste Daten (VE, PP, PS) an einer Einheit (E) und deren Transformation dazu verwendet werden, um sie realistischer zu machen durch die Verwendung spezifischer Daten (SRFT, SRFR usw.) durch Beschränkung der Ungenauigkeiten oder Fehler dieser Daten in Bezug auf die tatsächlichen physikalischen Werte, die von der untersuchten (rekonstruierten )Einheit (E) dargestellt werden. Sobald also eine registrierte Punktwolke (NPR) erhalten wurde, können verschiedene Ausführungsformen des in der vorliegenden Anmeldung beschriebenen Verfahrens und/oder Systems eine Repräsentation (RE) (in digitaler Form) der Einheit (E) erzeugt werden, zum Beispiel in Form von Daten, die für viele physische oder virtuelle Anwendungen wie dreidimensionales Drucken oder virtuelle Realität, erhöhte Realität oder sogar das Studium verschiedener Merkmale oder Parameter verwendet werden können, beispielsweise zum Studium physikalischer Werte wie dem mechanischen Widerstand der untersuchten Einheit, deren weniger genaue Darstellung keine befriedigende Zuverlässigkeit garantiert.It is therefore understood that the various embodiments described in the present application achieve at least a portion of the goals by providing collected data (FIG. VE . PP . PS ) on a unit ( e ) and their transformation to make them more realistic through the use of specific data ( Srft . srfr etc.) by limiting the inaccuracies or errors of these data in relation to the actual physical values obtained by the (reconstructed) unit under investigation ( e ) being represented. So as soon as a registered point cloud ( NPR ), various embodiments of the method and / or system described in the present application may include a representation ( RE ) (in digital form) of the unit ( e ), for example in the form of data that can be used for many physical or virtual applications such as three-dimensional printing or virtual reality, augmented reality, or even the study of various features or parameters, for example, to study physical values such as the mechanical resistance of the examined one Unit whose less accurate representation does not guarantee satisfactory reliability.

Für den Fachmann ist es offensichtlich, dass die vorliegende Erfindung Ausführungsformen in vielen anderen spezifischen Formen ermöglicht, ohne vom Schutzumfang der beanspruchten Erfindung abzuweichen. Daher sind die vorliegenden Ausführungsformen zur Veranschaulichung zu betrachten, können jedoch in dem durch den Umfang der beigefügten Ansprüche definierten Bereich modifiziert werden, und die Erfindung sollte nicht auf die oben angegebenen Details beschränkt sein.It will be apparent to those skilled in the art that the present invention enables embodiments in many other specific forms without departing from the scope of the claimed invention. Therefore, the present embodiments are to be considered as illustrative, but may be modified within the scope defined by the scope of the appended claims, and the invention should not be limited to the details given above.

Claims (13)

Verfahren zum Rekonstruieren von mindestens einer dreidimensionalen Darstellung (RE) mindestens einer untersuchten physikalischen Einheit (E) auf der Grundlage von Erfassungen (51), die n aufeinanderfolgenden Erfassungen einer Vielzahl von Daten entsprechen, vorzugsweise zeitlich miteinander synchronisiert und aufweisend: • repräsentative Daten (VE) von n Ansichten der Einheit (E), bestehend aus einer Vielzahl von Pixeln, die unter Verwendung mindestens einer ersten Erfassungsvorrichtung erfasst werden, optischer Sensor (10) genannt, wobei n eine von Null verschiedene ganze Zahl ist, • repräsentative Daten (PP) wenigstens einer Entfernung, gemessen mit mindestens einer zweiten Erfassungsvorrichtung,Tiefensensor (11) genannt, zwischen mindestens einem Teil der Pixel innerhalb der n Ansichten (VE) und mindestens einer der Erfassungsvorrichtungen; • repräsentative Daten (PS) von aufeinanderfolgenden Positionen des Erfassungssystems (1), bei jeder von n aufeinanderfolgenden Erfassungen, die unter Verwendung von mindestens einer dritten Erfassungsvorrichtung erfasst werden, Positionssensor (12) genannt; wobei das Verfahren durch ein System (1, 1 ') zum Rekonstruieren einer dreidimensionalen Darstellung (RE) implementiert wird, in dem die durch die n Erfassungen (51) erhaltenen aufeinanderfolgenden Aufnahmen Daten (VE, PP, PP) liefern, deren Kombination repräsentativ für Punktewolken (NP) ist. wobei das Verfahren dadurch gekennzeichnet ist, dass: • jede der Punktewolken (NP) in Bezug auf eine jeweilige gewöhnliche Referenz (RN) im Raum referenziert ist; • mindestens ein Vektor berechnet wird, um eine Neueinstellung (53) zu definieren, die auf jede der aufeinanderfolgenden üblichen Referenz (RN) in Bezug auf die vorangehende Referenz anzuwenden ist; • mindestens ein Deskriptor mindestens eine Erfassung (54) von Paaren (CP) von Punkten, als Ähnlichkeitspunkte bezeichnet, implementiert, die jeweils zu zwei aufeinander folgenden Ansichten gehören und eine bestimmte Ähnlichkeit zwischen den Werten von mindestens einem ihrer repräsentativen Daten haben( VE, PP, PS), um als Referenz für die Registrierung (53) zu dienen; • die Neueinstellung (53) inkrementell auf die n aufeinanderfolgenden Aufnahmen angewendet wird, so dass einerseits jede Iteration die Registrierung der repräsentativen Daten einer gegebenen Ansicht (VE) und/oder der entsprechenden Punktwolke (NP) bezüglich den vorherigen ermöglicht und andererseits die aufeinanderfolgenden Iterationen die Neuneinstellung (53) der Daten bezüglich der üblichen Referenz, die für die erste Punktwolke (NP) definiert ist und die als globale Referenz (RG) verwendet wird, ermöglichen, insbesondere für das Rekonstruieren (57) der dreidimensionalen Darstellung (RE), wobei die Paare (CP), die als Referenz für die Neuneinstellung (53) dienen, durch eine geometrische Registrierung (56) auf der Grundlage der repräsentativen Daten der Koordinaten der Punkte in den aufeinanderfolgenden Punktwolken (NP) durch das Identifizieren für einen Punkt in einer Punktwolke (NP), die einer gegebenen Erfassung entspricht, von mindestens drei Punkten, die in der Punktwolke (NP) der vorherigen Ansicht am nächsten sind, die in der globalen Referenz (RG) festgelegt ist, so dass diese geometrische Neueinstellung (56) diese drei Punkte, die als Referenzstandorten bezeichnet werden, als Bezugspunkt innerhalb der Punktwolke (NP) der vorherigen Ansicht verwendet, wobei diese drei Referenzstandorten ein Dreieck bilden, für das die Projektion des zurückzusetzenden Punktes der geringsten Entfernung entspricht.A method for reconstructing at least one three-dimensional representation (RE) of at least one examined physical entity (E) based on acquisitions (51) corresponding to n consecutive acquisitions of a plurality of data, preferably synchronized with one another and comprising: • representative data (VE ) of n views of the unit (E) consisting of a plurality of pixels detected using at least one first detection device, called an optical sensor (10), where n is an integer other than zero, • representative data (PP) at least one distance, measured with at least one second detection device, called depth sensor (11), between at least part of the pixels within the n views (VE) and at least one of the detection devices; Representative data (PS) of successive positions of the detection system (1), in each of n consecutive acquisitions detected using at least one third detection device, called position sensor (12); the method being implemented by a system (1, 1 ') for reconstructing a three-dimensional representation (RE) in which the consecutive images obtained by the n acquisitions (51) provide data (VE, PP, PP) representative of their combination Point Clouds (NP) is. the method being characterized in that: • each of the point clouds (NP) is referenced relative to a respective ordinary reference (RN) in space; • calculating at least one vector to define a resetting (53) to be applied to each of the consecutive common reference (RN) with respect to the previous reference; • at least one descriptor implements at least one detection (54) of pairs (CP) of points, referred to as similarity points, each belonging to two successive views and having a certain similarity between the values of at least one of its representative data (VE, PP , PS) to serve as a reference for registration (53); • the new setting (53) is applied incrementally to the n consecutive shots, so on the one hand, each iteration allows the registration of the representative data of a given view (VE) and / or the corresponding point cloud (NP) with respect to the previous ones and, on the other hand, the successive iterations the nine setting (53) of the data with respect to the usual reference, that for the first point cloud (NP), which is used as a global reference (RG), in particular for reconstructing (57) the three-dimensional representation (RE), the pairs (CP) serving as a reference for the nine-setting (53), by a geometric registration (56) based on the representative data of the coordinates of the points in the successive point clouds (NP) by identifying, for a point in a point cloud (NP) corresponding to a given detection, at least three points located in the point cloud (NP) closest to the previous view set in the global reference (RG), such that this resequencing (56) uses these three points, referred to as reference locations, as a reference point within the point cloud (NP) of the previous view, these three reference locations forming a triangle for which the projection of the point to be reset corresponds to the smallest distance , Verfahren nach dem vorherigen Anspruch, dadurch gekennzeichnet, dass die geometrische Neueinstellung (56) durch eine Bildregistrierung (55) ersetzt wird oder ihr eine Bildneueinstellung (55) vorangeht, basierend auf den Daten, die für die Pixel repräsentativ sind, die während der Erfassung aufeinanderfolgender Ansichten (VE) erfasst wurden, wobei diese Bildneueinstellung (55) mindestens eine Auswahl (551, 552) der Paare (CP) umfasst, die verwendet werden mit Hilfe wenigstens eines Filter basierend auf den Werten (SRFT, SRFR), die für die Differenz zwischen den zwei Punkten eines Paars (CP) in Bezug auf die Translation und/oder Rotation repräsentativ sind.Method according to the preceding claim, characterized in that the geometric resetting (56) is replaced by an image registration (55) or preceded by an image reset (55) based on the data representative of the pixels which occur during the acquisition of successive ones Views (VE) were detected, this screen reset (55) comprising at least one selection (551, 552) of the pairs (CP) that are used by means of at least one filter based on the values (SRFT, SRFR) that are used for the difference between the two points of a pair (CP) are representative in terms of translation and / or rotation. Verfahren nach dem vorherigen Anspruch, dadurch gekennzeichnet, dass wenn die Daten (VE, PP, PS), die von den verschiedenen Vorrichtungen (10, 11, 12) des Erfassungssystems erhalten werden, zumindest mit Bezug auf zwei unterschiedliche dreidimensionale Referenzen definiert wurden, wobei das Verfahren für jede der aufeinanderfolgenden Aufnahmen mindestens eine Transposition (52) dieser Daten (VE, PP, PS) in einer gemeinsamen dreidimensionalen Referenz umfasst, wobei die jeweiligen Basen dieser Daten (VE, PP, PS) relativ zueinander ausgerichtet werden, um repräsentative Daten von n Punktwolken (NP) zu erhalten, die in Bezug auf n aufeinanderfolgende gewöhnliche dreidimensionale Referenzen referenziert werden, die in einer gemeinsamen Weise für jede der aufeinanderfolgenden Aufnahmen definiert sind, um die Neueinstellung (53) der Punktewolken (NP) zu ermöglichen, um die Rekonstruktion (57) zu erhalten.Method according to the preceding claim, characterized in that when the data (VE, PP, PS) obtained from the different devices (10, 11, 12) of the detection system have been defined at least with reference to two different three-dimensional references, the method comprises for each of the successive shots at least one transposition (52) of said data (VE, PP, PS) in a common three-dimensional reference, the respective bases of said data (VE, PP, PS) being aligned relative to each other to represent representative data of n point clouds (NP) referenced with respect to n consecutive ordinary three-dimensional references defined in a common manner for each of the consecutive exposures, to allow re-adjustment (53) of the point clouds (NP) to the Reconstruction (57). Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren die Auswahl (551) der Paare (CP) unter Verwendung von mindestens einem Filter basierend auf den Werten (SRFT) implementiert, die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Translation repräsentativ sind , dank einer Suche nach einer maximalen Anzahl von Paaren (CP), zwischen denen die Translation durch einen Vektor mit einem Wert definiert ist, der niedriger als ein bestimmter Schwellenwert ist, beispielsweise einstellbar.A method according to any one of the preceding claims, characterized in that the method implements the selection (551) of the pairs (CP) using at least one filter based on the values (SRFT) corresponding to the difference between the two points of a pair (CP ) are representative in terms of translation, thanks to a search for a maximum number of pairs (CP) between which the translation is defined by a vector having a value that is lower than a certain threshold, for example adjustable. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Neueinstellung der Bilder (55) Folgendes umfasst: - mindestens eine Auswahl (552) der Paare (CP) unter Verwendung von mindestens einem Filter basierend auf den Werten (SRFR), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Drehung repräsentativ sind, wobei mindestens eine Auswahl eines Paares von Referenzpunkten (P r , Q r ) mit der größten Anzahl von Paaren verwendet wird, die als ihre zugehörigen Paare definiert sind (Pi, Qi), mit denen sich ihre Ausrichtungsvektoren um einen Winkel unterscheiden, der niedriger als eine Winkelschwelle eines bestimmten Wertes ist, der beispielsweise einstellbar ist, - wobei die Auswahl (552) sich auf einer Abweichung (F) basiert, ausgedrückt durch ein Triplett von Drehwinkeln (a, ß, y) zwischen den repräsentativen Vektoren von Paaren von Bezugspunkten (P r , Q r ) relativ zu den repräsentativen Vektoren ihrer zugehörigen Paare (Pi, Qi).Method according to one of the preceding claims, characterized in that the readjustment of the images (55) comprises: - at least one selection (552) of the pairs (CP) using at least one filter based on the values (SRFR) used for the Difference between the two points of a pair (CP) with respect to the rotation, using at least one selection of a pair of reference points (P r , Q r ) having the largest number of pairs defined as their associated pairs ( P i , Q i ), with which their orientation vectors differ by an angle lower than an angle threshold of a certain value, which is adjustable, for example - the selection (552) being based on a deviation (F), expressed by a triplet of angles of rotation (a, β, y) between the representative vectors of pairs of reference points (P r , Q r ) relative to the representative vectors of their associated P aare (P i, Q i). Verfahren nach dem vorherigen Anspruch, dadurch gekennzeichnet, dass die Abweichung (F) einer Funktion entspricht, und die Auswahl (552) einer Minimierung dieser Funktion durch aufeinanderfolgende Iterationen von einzelnen Drehungen eines bestimmten Winkelwerts, der beispielsweise einstellbar ist, entspricht.Method according to the preceding claim, characterized in that the deviation (F) corresponds to a function, and the selection (552) corresponds to a minimization of this function by successive iterations of individual rotations of a given angle value which is adjustable, for example. Verfahren nach einem der Ansprüche 3 bis 6, indem der einstellbare Wert von einem Benutzer oder Entwickler definiert wird, der die Implementierung des Verfahrens in dem System (1, 1') vorbereitet.Method according to one of Claims 3 to 6 by defining the adjustable value by a user or developer preparing the implementation of the method in the system (1, 1 '). Verfahren nach einem dem vorherigen Anspruch, dadurch gekennzeichnet, dass der Deskriptor, der für die Erfassung (54) von Punktepaaren (CP) zuständig ist, einem Harris-Detektor entspricht, der die Ähnlichkeit zwischen den Durchschnittswerten der Farben in ihren jeweiligen Umgebungen bestimmt.A method according to any preceding claim, characterized in that the descriptor responsible for the detection (54) of pairs of points (CP) corresponds to a Harris detector which determines the similarity between the averages of the colors in their respective environments. Verfahren nach einem der vorherigen Ansprüche, in dem der Auswahlschritt (551) basierend auf den Werten (SRFT), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Translation repräsentativ sind, einen Schwellenwert von ca.10% benutzt. Method according to one of the preceding claims, in which the selection step (551) based on the values (SRFT), which are representative of the difference between the two points of a pair (CP) in relation to the translation, has a threshold value of approximately 10%. used. Verfahren nach einem der vorherigen Anspruch, in dem der Auswahlschritt (552), der auf den Werten (SRFR), die für die Differenz zwischen den zwei Punkten eines Paares (CP) in Bezug auf die Drehung repräsentativ sind, auf einem Winkelschwellenwert in der Größenordnung von einem Grad basiert.A method as claimed in any one of the preceding claims, wherein the selecting step (552) based on the values (SRFR) representative of the difference between the two points of a pair (CP) with respect to the rotation is on an angular threshold of the order of magnitude based on a degree. Computerprogramm, das Codeabschnitte umfasst, die Instruktionen für die Implementierung des Verfahrens nach einem der Ansprüche 1 bis 10 repräsentieren, wenn das Programm durch Datenverarbeitungsmittel (14) ausgeführt wird.A computer program comprising code sections containing instructions for implementing the method according to any one of Claims 1 to 10 represent when the program is executed by data processing means (14). System (1, 1 ') zum Rekonstruieren eines dreidimensionalen Bildes, das Datenverarbeitungsmittel (14) umfasst, die Instruktionen ausführen, die in Speichermitteln (13) gespeichert sind zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10.A system (1, 1 ') for reconstructing a three-dimensional image, comprising data processing means (14) executing instructions stored in memory means (13) for performing the method of any one of Claims 1 to 10 , System (1, 1 ') zum Rekonstruieren nach dem vorherigen Anspruch, dadurch gekennzeichnet dass, es Erfassungseinrichtungen (10, 11, 12) umfasst, die die repräsentativen Daten der aufeinanderfolgenden Aufnahmen bereitstellen.System (1, 1 ') for reconstructing according to the previous claim, characterized in that it comprises detecting means (10, 11, 12) providing the representative data of the successive shots.
DE112017003426.4T 2016-07-07 2017-07-07 Method and system for reconstructing a three-dimensional representation Withdrawn DE112017003426T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1656559 2016-07-07
FR1656559A FR3053817B1 (en) 2016-07-07 2016-07-07 METHOD AND SYSTEM OF RECONSTRUCTION OF A THREE-DIMENSIONAL REPRESENTATION
PCT/EP2017/067164 WO2018007628A1 (en) 2016-07-07 2017-07-07 Method and system for reconstructing a three-dimensional representation

Publications (1)

Publication Number Publication Date
DE112017003426T5 true DE112017003426T5 (en) 2019-03-28

Family

ID=56990595

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017003426.4T Withdrawn DE112017003426T5 (en) 2016-07-07 2017-07-07 Method and system for reconstructing a three-dimensional representation

Country Status (3)

Country Link
DE (1) DE112017003426T5 (en)
FR (1) FR3053817B1 (en)
WO (1) WO2018007628A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3690822A1 (en) * 2019-01-30 2020-08-05 Koninklijke Philips N.V. Image representation of a scene
CN111238477B (en) * 2019-03-25 2023-07-14 武汉珈鹰智能科技有限公司 Positioning method and device for unmanned aerial vehicle in chimney
CN110341192B (en) * 2019-07-12 2020-07-17 东北大学 Guide plate 3D printing model establishing method based on VR
CN112215942B (en) * 2020-09-14 2024-01-12 中国科学院计算技术研究所 Method and system for reconstructing partial tomographic three-dimensional image of refrigeration electron microscope
CN117496073B (en) * 2023-12-29 2024-03-26 山东省国土测绘院 Method and system for constructing multi-time-phase live-action three-dimensional model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025918B1 (en) * 2014-09-11 2018-04-06 Snapkin METHOD AND SYSTEM FOR AUTOMATED MODELING OF A PART
US9449397B2 (en) * 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit

Also Published As

Publication number Publication date
FR3053817A1 (en) 2018-01-12
WO2018007628A1 (en) 2018-01-11
FR3053817B1 (en) 2021-11-19

Similar Documents

Publication Publication Date Title
DE112017003426T5 (en) Method and system for reconstructing a three-dimensional representation
DE102012108567B4 (en) Method of obtaining depth information using a light pattern
DE102016202512B3 (en) Method for 2D-3D registration, computing device and computer program
DE102006055758B4 (en) Method for calibrating cameras and projectors
DE102015015194A1 (en) Image processing apparatus and method and program
DE102006005036B4 (en) Device and method for improved shape characterization
DE112016004540T5 (en) Camera calibration using synthetic images
DE10354752B4 (en) Method and device for the automatic equalization of single-channel or multi-channel images
DE102016013274A1 (en) IMAGE PROCESSING DEVICE AND METHOD FOR RECOGNIZING AN IMAGE OF AN OBJECT TO BE DETECTED FROM ENTRY DATA
DE60133026T2 (en) ACCURATE ALIGNMENT OF IMAGES IN DIGITAL PICTURE SYSTEMS BY ADJUSTING POINTS IN THE PICTURES
DE112013003214T5 (en) Method for registering data
DE112011103452T5 (en) Method for matching pixels of a distance representation
EP3034995A1 (en) Method for determining a position and orientation offset of a geodetic surveying device and corresponding measuring device
DE102021102233B4 (en) Device and method for correspondence analysis in images
EP3775767B1 (en) Method and system for measuring an object by means of stereoscopy
DE102013211492A1 (en) Determination of a measurement error
DE102014113433A1 (en) Device and method for three-dimensional imaging of an object
DE102016123149A1 (en) IMAGE-DATA-BASED RECONSTRUCTION OF THREE-DIMENSIONAL SURFACES
EP4000005A1 (en) Method for determining the position of a first image region in a correspondence image, soc and control device, and system for carrying out the method, and computer program
DE102017113615A1 (en) System, method and marker for determining the position of a moving object in space
EP3539085B1 (en) 3d localization
AT511460B1 (en) METHOD FOR DETERMINING THE POSITION OF AN AIRCRAFT
DE102019105293A1 (en) Estimation of the movement of an image position
DE112014002943T5 (en) Method of registering data using a set of primitives
DE102015007934A1 (en) A method and computer program product for generating an artifact reduced voxel data set

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee