DE102013102153A1

DE102013102153A1 - Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren

Info

Publication number: DE102013102153A1
Application number: DE201310102153
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-03-15
Filing date: 2013-03-05
Publication date: 2013-09-19
Also published as: CN103308923A; CN103308923B

Abstract

Ein System und ein Verfahren zum Registrieren von Entfernungsbildern von Objekten, die von mehreren LiDAR-Sensoren auf einem Fahrzeug detektiert werden. Das Verfahren umfasst das Ausrichten von Datenrahmen von zumindest zwei LiDAR-Sensoren, die überlappende Sichtfelder aufweisen, in einer Sensorsignalzusammenführungsoperation, um Objekte, die von den Sensoren detektiert werden, zu verfolgen. Das Verfahren definiert einen Transformationswert für zumindest einen der LiDAR-Sensoren, der einen Orientierungswinkel und eine Position des Sensors identifiziert und stellt Zielabtastpunkte von den Objekten, die von den Sensoren detektiert werden, bereit, wobei die Zielabtastpunkte für jeden Sensor eine separate Zielpunktkarte bereitstellen. Das Verfahren projiziert die Zielpunktkarte von dem zumindest einen Sensor auf den anderen der LiDAR-Sensoren unter Verwendung eines gegenwärtigen Transformationswertes, um die Zielabtastpunkte von den Sensoren zu überlappen.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht den Zeitrang der Priorität von der vorläufigen US-Patentanmeldung Nummer 61/611,465 mit dem Titel ”Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDARs”, angemeldet am 15. März 2012.
HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Diese Erfindung bezieht sich allgemein auf ein System und ein Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren und insbesondere auf ein System und ein Verfahren zum Registrieren von Entfernungsbildern von mehreren LiDAR-Sensoren auf einem Fahrzeug, wobei das Verfahren das Registrieren von zwei Datenrahmen von den mehreren LiDAR-Sensoren zur selben Zeit umfasst.
2. Diskussion des Standes der Technik
Viele moderne Fahrzeuge beinhalten Objektdetektionssensoren, die dazu verwendet werden, um vor einer Kollision zu warnen oder diese zu vermeiden, und andere aktive Sicherheitsanwendungen. Die Objektdetektionssensoren können jede Zahl von Detektionstechniken verwenden, beispielsweise Radar mit einer kurzen Reichweite, Kameras mit Bildverarbeitung, Laser oder LiDAR, Ultraschall etc. Die Objektedetektionssensoren detektieren Fahrzeuge und andere Objekte, die sich im Pfad des Trägerfahrzeuges befinden, und die Anwendungssoftware verwendet die Objektdetektionsinformation, um Warnungen bereitzustellen oder geeignete Aktionen vorzunehmen. In vielen Fahrzeugen sind die Objektdetektionssensoren direkt in den vorderen Stoßfängern oder anderen vorderen Verkleidungsteilen des Fahrzeuges integriert.
Damit die Anwendungssoftware optimal ausgeführt werden kann, müssen die Objektdetektionssensoren korrekt am Fahrzeug ausgerichtet sein. Wenn beispielsweise ein Sensor ein Objekt, das sich im Weg des Trägerfahrzeuges befindet, aufgrund einer fehlerhaften Ausrichtung bestimmt, dass das Objekt leicht links verschoben zu dem Weg des Trägerfahrzeugs ist, kann dies signifikante Konsequenzen für die Anwendungssoftware haben. Auch wenn eine Vielzahl von nach vorne gerichteten Objektdetektionssensoren sich auf einem Fahrzeug befinden, ist es wichtig, dass diese alle korrekt ausgerichtet sind, um sich widersprechende Sensorauswertungen zu minimieren oder zu eliminieren.
LiDAR-Sensoren sind eine Art von Sensor, welche manchmal auf Fahrzeugen verwendet werden, um Objekte, die sich um das Fahrzeug herum befinden, zu detektieren. Diese Sensoren stellen die Entfernung zu diesen Objekten bereit. LiDAR-Sensoren sind wünschenswert, da sie in der Lage sind, die Orientierung eines verfolgten Objekts bereitzustellen, was andere Arten von Sensoren, beispielsweise Bildsysteme und Radarsensoren im Allgemeinen nicht tun können. Bei einer Art von LiDAR-Sensor werden die Reflektionen von einem Objekt als ein Abtastpunkt als ein Teil von einer Punkt-Cluster-Bereichskarte wiedergegeben, wobei ein separater Abtastpunkt alle 0,5° über das Sichtfeld des Sensors bereitgestellt wird. Demzufolge können mehrere Abtastpunkte, welche wiedergegeben werden, die die Distanz des Zielfahrzeugs von dem Trägerfahrzeug identifizieren vorhanden sein, wenn ein Zielfahrzeug vor dem Trägerfahrzeug detektiert wird.
Ein Fahrzeug kann mehrere LiDAR-Sensoren aufweisen, um ein 360°-Sichtfeld um das Fahrzeug bereitzustellen. Diese mehreren LiDAR-Sensoren beinhalten zur Seite gerichtete Sensoren, nach hinten gerichtete Sensoren und nach vorne gerichtete Sensoren. Jeder dieser Sensoren verfolgt Objekte in seinem Sichtfeld unabhängig von den anderen Sensoren. Unter Verwendung von der Wiedergabe von Abtastpunkten von den mehreren Sensoren wird eine Entfernungskarte erzeugt, um die Objekte in der Nähe zum Trägerfahrzeug zu verfolgen. Für ein Fahrzeug mit mehreren LiDAR-Sensoren werden mehrere Punkt-Clusterkarten herausgegeben und für Sensoren, bei denen das Sichtfeld überlappt, können die Sensoren dasselbe Objekt verfolgen. Es ist notwendig, die Abtastpunktkarten der Sensoren so zu kombinieren, dass das gleiche Objekt, das von den Sensoren verfolgt wird, als einzelnes Ziel verarbeitet wird.
Die US Patentanmeldung 12/942,456 mit dem Titel ”Systeme und Verfahren zum Verfolgen von Objekten”, angemeldet am 9. November 2010 von dem Anmelder der vorliegenden Anmeldung und hiermit inkorporiert durch Bezugnahme, offenbart eine Technik zum Überwachen der Entfernung und der Orientierung eines Zielobjekts von einem Trägerfahrzeug unter Verwendung von LiDAR-Sensoren. Diese Patentanmeldung ist auf einen einzelnen LiDAR-Sensor beschränkt und diskutiert nicht die Verbindung von mehreren LiDAR-Sensoren.
ZUSAMMENFASSUNG DER ERFINDUNG
Im Einklang mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Registrieren von Entfernungsbildern von Objekten offenbart, die von mehreren LiDAR-Sensoren auf einem Fahrzeug detektiert werden. Das Verfahren beinhaltet das Ausrichten von Datenrahmen von zumindest zwei LiDAR-Sensoren, die überlappende Sichtfelder in einer Sensorsignalzusammenführungsoperation aufweisen, um Objekte, die von den Sensoren detektiert werden, zu verfolgen. Das Verfahren definiert einen Transformationswert für zumindest einen der LiDAR-Sensoren, der einen Orientierungswinkel und eine Position des Sensors identifiziert und Zielabtastpunkte von den Objekten, die von den Sensoren detektiert werden, bereitstellt, wobei die Zielabtastpunkte für jeden Sensor eine separate Zielpunktkarte bereitstellt. Das Verfahren projiziert die Zielpunktkarte von dem zumindest einen Sensor auf einen anderen der LiDAR-Sensoren unter Verwendung eines gegenwärtigen Transformationswertes, um die Zielabtastpunkte von den Sensoren zu überlappen, und bestimmt eine Vielzahl von Gewichtungswerten unter Verwendung des gegenwärtigen Transformationswertes, wobei jeder Gewichtungswert eine Positionsänderung von einem der Abtastpunkte für den zumindest einen Sensor auf einen Ort eines Abtastpunktes für einen anderen der Sensoren identifiziert. Das Verfahren berechnet einen neuen Transformationswert unter Verwendung der Gewichtungswerte, vergleicht den neuen Transformationswert mit dem gegenwärtigen Transformationswert, um eine Differenz daraus zu bestimmen, und korrigiert die Vielzahl der Gewichtungswerte basierend auf der Differenz zwischen dem neuen Transformationswert und dem gegenwärtigen Transformationswert bis der neue Transformationswert mit dem gegenwärtigen Transformationswert übereinstimmt, wobei die Sensoren zueinander ausgerichtet sind.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den beigefügten Patentansprüchen in Verbindung mit den beigefügten Figuren deutlich.
KURZE BESCHREIBUNG DER FIGUREN
1 ist eine Veranschaulichung eines Trägerfahrzeugs, das einem Zielfahrzeug folgt, und das die Sichtfelder von vier LiDAR-Sensoren auf dem Trägerfahrzeug zeigt;
2 ist ein allgemeines Blockdiagramm eines Zusammenführungssystems zum Zusammenführen von Abtastpunkten von mehreren LiDAR-Sensoren auf einem Fahrzeug;
3(A) und (B) zeigen Abtastpunkte von einem LiDAR-Sensor;
4 ist ein Flussdiagramm, das ein Verfahren zum Registrieren von Abtastpunkten von mehreren LiDAR-Sensoren zeigt;
5 ist eine Konturwahrscheinlichkeitsdichtefunktion von der Rückseite eines Objekts;
6 ist ein iterativer Grenzoptimierungsgraph;
7 ist ein Blockdiagramm, das zwei miteinander verwobene Verfahren zum Abschätzen einer Objektbewegung und zum Aktualisieren eines Objektmodells zeigt, wenn eine neue LiDAR-Abtastpunktkarte verfügbar ist;
8 ist ein dynamisches Bayes-Netzwerk für ein Objekt, das von einem Verfolgungsalgorithmus verfolgt wird;
9 ist ein Flussdiagramm, das ein Verfahren für einen Mehrobjektverfolgungsalgorithmus in einem einzelnen Zeitschritt zeigt;
10 ist ein bipartiter Graph, der vorhergesagte Objektmodellpunkte und segmentierte Abtastkartenpunkte für einen Schritt zum Matchen von Abtastclustern mit vorhergesagten Objektmodellen in dem Diagramm der 9 zeigt;
11 ist ein induzierter bipartiter Graph, der aus dem bipartiten Graph aus der 10 erzeugt wurde;
12 ist eine Veranschaulichung von Abtastpunkten von einem LiDAR-Sensor, einem Bildsystem und einem Radarsensor;
13 ist eine Darstellung eines Trägerfahrzeugs, das einem Zielfahrzeug folgt und das die Sichtfelder von einem LiDAR-Sensor, einem Radar-Sensor und einem Bildsystem auf dem Trägerfahrzeug zeigt;
14 ist ein allgemeines Flussdiagramm für einen Verfolgungsalgorithmus für einen LiDAR-Sensor, der ein Cueing von einem Radarsensor oder einem Bildsystem verwendet;
15 ist ein Flussdiagramm, das ein Verfahren für einen Mehrobjektverfolgungsalgorithmus zeigt, der ein Cueing von einem Radarsensor oder einem Bildsystem verwendet;
16 ist ein bipartiter Graph, der das Matchen von Zieldaten mit Objektmodellen von allen LiDAR-Abtastpunkten, Radarsensorwiedergaben und Bildsystembildern zeigt;
17 ist ein induzierter bipartiter Graph, der aus dem bipartiten Graph aus der 16 erzeugt wurde;
18 ist ein bipartiter Graph, der das Zusammenlegen von zwei projizierten Objektmodellen durch die Bereitstellung von Matchen unter Verwendung eines Bildsystems zeigt;
19 ist ein induzierter bipartiter Graph, der das Matchen der Objektmodelle aus der 18 zeigt;
20 ist ein bipartiter Graph, der das Aufspalten der projizierten Objektmodelle durch Matchen unter Verwendung eines Bildsystems zeigt;
21 ist ein induzierter bipartiter Graph, der das Matchen der Objektmodelle aus der 20 zeigt;
22 ist ein bipartiter Graph, der die projizierten Objektmodelle durch Matchen unter Verwendung eines Radarsensors zeigt;
23 ist ein induzierter bipartiter Graph, der das Matchen der Modelle aus der 22 zeigt; und
24 ist ein dynamisches Bayes-Netzwerk für einen Verfolgungsalgorithmus und zum Modellieren einer Aktualisierung mit Cueing-Information von einem Radarsensor oder einem Bildsystem.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Die folgende Diskussion der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zum Registrieren von Entfernungsbildern von mehreren LiDAR-Sensoren auf einem Fahrzeug gerichtet ist, ist rein beispielhafter Natur und in keiner Weise dazu gedacht, die Erfindung oder ihre Anwendungen oder Verwendungen einzuschränken. Beispielsweise wird die vorliegende Erfindung anhand der Registrierung von Entfernungsbildern für LiDAR-Sensoren auf einem Fahrzeug beschrieben. Fachleuten ist es jedoch klar, dass das Registrierungsverfahren der Erfindung auch eine Anwendung außerhalb von Fahrzeuganwendungen haben wird.
1 zeigt eine Übersicht eines Fahrzeugsystems 10 mit einem Trägerfahrzeug 12, das hinter einem Zielfahrzeug 14 liegt und dieses verfolgt. Das Trägerfahrzeug 12 beinhaltet vier LiDAR-Sensoren, nämlich einen nach vorne gerichteten Sensor 16 mit einem Sichtfeld 18, einen nach hinten gerichteten Sensor 20 mit einem Sichtfeld 22, einen nach links gerichteten Sensor 24 mit einem Sichtfeld 26 und einen nach rechts gerichteten Sensor 28 mit einem Sichtfeld 30. Die Sensoren 16, 24 und 28 sind auf der Front des Fahrzeugs 12 angebracht und weisen, wie gezeigt, überlappende Sichtfelder auf. Wenn ein Objekt, beispielsweise das Zielfahrzeug 14, sich in dem Sichtfeld eines bestimmten Sensors der Sensoren 16, 20, 24 und 30 befindet, gibt der jeweilige Sensor eine Vielzahl von Abtastpunkten wieder, die das Objekt identifizieren. Die Punkte 32 auf dem Zielfahrzeug 14 stellen die Abtastpunkte dar, die von dem Zielfahrzeug 14 von jedem der Sensoren 16, 24 und 28 wiedergegeben werden. Die Punkte 32 werden in das Fahrzeugkoordinatensystem (x, y) auf dem Trägerfahrzeug 12 unter Verwendung einer Koordinatentransformationstechnik transferiert. Danach wird die Objektdetektion in dem Fahrzeugkoordinatensystem unter Verwendung der Punkte 32 ausgeführt. Die Punkte 32 können dazu verwendet werden, um die rückwärtige Gestalt des Zielfahrzeugs 14, wie unten diskutiert werden wird, zu definieren.
Jeder Sensor 16, 20, 24 und 28 wird eine Abtastpunktwolke für jedes separate Objekt, das von dem Sensor detektiert wird, bereitstellen. Die vorliegende Erfindung schlägt einen Zusammenführungsalgorithmus vor, der die Ausgänge von jedem der Sensoren 16, 20, 24 und 28 so kombiniert, dass, wenn die Sensoren 16, 20, 24 und 28 das gleiche Objekt verfolgen, dieses Objekt als ein einzelnes Ziel verarbeitet wird, wobei der Algorithmus die Position, die Orientierung und die Geschwindigkeit jedes verfolgten Objekts ausgibt. Obwohl diese Diskussion vier LiDAR-Sensoren beinhaltet, kann der vorgeschlagene Zusammenführungsalgorithmus für jegliche Anzahl und Positionen von mehreren LiDAR-Sensoren, die miteinander überlappende Sichtfelder haben, anwendbar sein.
Die Position des Zielfahrzeugs 14 wird in diesem Diagramm durch einen Ankerpunkt 34, nämlich dem Zentrum der Abtastkarte, dargestellt. Die folgenden Werte werden dazu verwendet, um ein Objektmodell M des Zielfahrzeugs 14 in einem Zeitschritt t darzustellen. Insbesondere definiert das Objektmodell M die relative longitudinale Geschwindigkeit V_X, die relative laterale Geschwindigkeit V_Y, die laterale Verschiebung Y und die Fahrzeugrichtung ξ, oder die Richtung des Bodengeschwindigkeitsvektors des Zieles dar. Der Wert M ist eine Liste von Gauß-Komponenten, die durch den Parametermittelwert m_J und die Varianz σ² dargestellt werden. Der Mittelwert ist durch mehrere Hyperparameter v_j, η_j, k_j und Flags als gesehen und gealtert charakterisiert.
2 ist ein schematisches Blockdiagramm für ein Zusammenführungssystem 36 zum Zusammenführen von Abtastpunktwolkenwerten von mehreren LiDAR-Sensoren, beispielsweise den Sensoren 16, 20, 24 und 28. Der Kasten 38 stellt die Abtastpunktwolkendarstellung aus dem nach links gerichteten LiDAR-Sensor 24, der Kasten 40 die Abtastpunktwolkendarstellung aus dem nach rechts gerichteten LiDAR-Sensor 28, der Kasten 42 die Abtastpunktwolkendarstellung aus dem nach vorne gerichteten LiDAR-Sensor 16 und der Kasten 44 die Abtastpunktwolkendarstellung aus dem nach hinten gerichteten LiDAR-Sensor 20 dar. Die Entfernungskarten aus den LiDAR-Sensoren 16, 20, 24 und 28 werden registriert und im Kasten 46 wird eine 360°-Entfernungskarte (Punktwolke) konstruiert. Sobald die Punktwolken aus den Sensoren 16, 20, 24 und 28 registriert sind und eine 360°-Punktwolke in den Fahrzeugkoordinaten aufgestellt ist, legt der Algorithmus die Punktwolken von den mehreren Zielen im Kasten 48 zusammen, wie unten diskutiert werden wird. Nachdem die Ziele in dem Fahrzeugkoordinatenrahmen zusammengelegt sind, gibt der Algorithmus die Position, die Orientierung und die Geschwindigkeit der Ziele im Kasten 50 aus.
Bevor das Zusammenlegungsverfahren zum Kombinieren der Abtastpunkte von mehreren LiDAR-Sensoren genau diskutiert werden wird, wird eine Diskussion eines Abtastpunktregistrieralgorithmus, der in dem Kasten 46 ausgeführt wird, vorgenommen, um die Bewegung des Objekts zu schätzen, falls das Objektmodell M und die gegenwärtige Abtastrate S, die zu dem Objekt gehören, verfügbar sind.
In vielen Fahrzeugen werden die Objektdetektionssensoren direkt in den vorderen Aufbau des Fahrzeugs integriert. Diese Art von Installation ist einfach, effektiv und ästhetisch ansprechend, hat aber den Nachteil, dass es keinen praktischen Weg gibt, um die Sensoren physisch zueinander auszurichten. Demzufolge gibt es herkömmlicherweise keinen anderen Weg, um eine Fehlausrichtung zu korrigieren, die davon herrühren kann, dass ein Sensor gegenüber der echten Fahrzeugrichtung aufgrund eines Schadens am Vorderaufbau oder einer Alterung oder einer witterungsbedingten Verbiegung fehlausgerichtet ist, als den gesamten Vorderaufbau mit den Sensoren auszutauschen.
Wie unten diskutiert werden wird, matcht die Rahmenregistrierung, die im Kasten 46 ausgeführt wird, die Entfernungsabtastpunkte von den Sensoren 20, 24 und 28, um eine mögliche Drift in der Position und Orientierung der Sensoren 20, 24 und 28 anzupassen. Die Sensoren 20, 24 und 28 werden am Anfang kalibriert, wenn das Fahrzeug 12 neu ist. Wie erwähnt, verursachen verschiedene Faktoren, dass sich diese Orientierungen mit der Zeit ändern und demzufolge muss ein Verfahren implementiert werden, um die Sensororientierung erneut zu kalibrieren, so dass Objekte, die in dem überlappenden Bereich der Sichtfelder 26 und 30 detektiert werden, genauer erfasst werden. Die vorliegende Erfindung schlägt einen Erwartungs-Maximierungs (EM)-Match-Algorithmus vor, um eine Transformation T zwischen mehreren LiDAR-Sensoren zu finden, der einen Orientierungswinkel und die x- und y-Position der Sensoren zu definieren. Beispielsweise wird der Algorithmus die Transformation T von dem nach links gerichteten LiDAR-Sensor 24 auf den nach rechts gerichteten LiDAR-Sensor 28 matchen und wenn die Transformationen T aus aufeinanderfolgenden Berechnungen miteinander übereinstimmen, werden die Sensoren 24 und 28 zueinander ausgerichtet werden.
Der EM-Algorithmus beginnt mit dem Auswählen eines Anfangstransformationswertes T₀, der Null, ein vorher geschätzten Wert, eine Orientierung zwischen den Sensoren 24 und 28, die von dem Hersteller bereitgestellt wird, etc. sein kann. Der Algorithmus projiziert dann eine linke Sensorentfernungskarte unter Verwendung der Transformation T auf den Rahmen für den nach rechts gerichteten LiDAR-Sensor 28. 3 ist eine Darstellung einer Abtastpunktkarte 120, wobei Kreise 124 Abtastpunktdarstellungen von dem linken LiDAR-Sensor 24 und Ovale 126 Abtastpunktdarstellungen von dem nach rechts gerichteten LiDAR-Sensor 28 darstellen. 3(A) zeigt alle Abtastpunktdarstellungen und 3(B) zeigt einen vergrößerten Bereich in dem Kreis 122 für einige der Abtastpunktdarstellungen. 3(B) zeigt, wie die Abtastpunktdarstellungen 124 des nach links gerichteten LiDAR-Sensors auf die Abtastpunktdarstellungen 126 des nach rechts gerichteten LiDAR-Sensors mit den Pfeilen 128 abgebildet werden. Unter Verwendung der gegenwärtig verfügbaren Transformation T für die Projektionskartenpfeile 128 werden die Abtastpunktdarstellungen 124 des nach links gerichteten LiDAR-Sensors relativ zu den Abtastpunktdarstellungen 126 des nach rechts gerichteten LiDAR-Sensors bewegt, um diese zu einer Überlappung zu bringen.
Die gegenwärtig verwendete Transformation T kann für die vorliegende Orientierung des nach links gerichteten LiDAR-Sensors 24 auf den nach rechts gerichteten LiDAR-Sensor 28 nicht genau genug sein, so dass die Transformation T für die gegenwärtige Position der Sensoren 24 und 28 aktualisiert werden muss. Der Algorithmus verwendet die gegenwärtige Transformation T, um eine Gewichtung a_jk zwischen dem linken Sensorabtastpunkt s_j und dem rechten Sensorabtastpunkt m_k folgendermaßen zu aktualisieren:
wobei die Kernel-Funktion K ist:
Eine neue Transformation T' wird dann unter Verwendung des neu berechneten Gewichts a_jk folgendermaßen bestimmt: T' = argmin_T – 1 / 2Σ_j,ka_jklogK(||s_j – T ∘ m_k||). (3)
Die neue Transformation T' wird dann mit der vorher berechneten Transformation T verglichen und basierend auf ihrer Differenz wird das Gewicht a_jk unter Verwendung der neuen Transformation T' erneut berechnet, bis die neu berechnete Transformation T' mit der zuvor berechneten Transformation T übereinstimmt, wobei die Sensoren 24 und 28 zueinander ausgerichtet sind.
In bestimmten Fällen wird die Transformation T zur Ausrichtung der Abtastdatenpunkte hinreichend groß sein, wobei es von Vorteil sein kann, die Lösung von T' in der Gleichung (3) zu verbessern. Für dieses Beispiel wird die Transformation T als x' = T·x definiert, wobei x' = Rx + t ist, und, wobei R eine Rotationsmatrix und t ein Translationsvektor ist. In dieser Analyse sei: S = [S₁, S₂, ..., S_L]^T, (4) M = [m₁, m₂, ..., m_N]^T, (5) A = [a_jk], (6) 1 = [1, 1, ..., 1]^T, (7) μ_s = 1 / LS^TA^T1, (8) μ_m = 1 / NM^TA1, (9) Ŝ = S – 1μ T / S (10) M ^ = M – 1μ T / m (11)
Die Lösung der neuen Transformation T' in der Gleichung (3) kann nun folgendermaßen wiedergegeben werden: T' = [R', t'], (12) wobei: R' = UCV, (13) t' = μ_s – R'μ_m, (14) und wobei U und V als die Faktoren für eine Einzelwertzerlegung von: USV = sνd(Ŝ^TA^TM ^), (15) sind und C ist:
Der oben beschriebene EM-Algorithmus zum Bestimmen der Transformation T kann nur lokal optimal sein und sensitiv für den Anfangstransformationswert sein. Der Algorithmus kann dahingehend verbessert werden, dass eine Partikelschwarmoptimierung (PSO) verwendet wird, um die Anfangstransformation T₀ zu finden. Bei dieser Optimierung sei E die Menge der auswählbaren Transformationen T von dem linken LiDAR-Sensor 24 auf den rechten LiDAR-Sensor 28. Der Algorithmus erzeugt zufällig N Partikel (t_i|t, ∊ E) gemäß einer gleichförmigen Verteilung in der auswählbaren Transformation E und jeder Partikel t_i ist mit einem normierten Gewicht w_i = 1/N assoziiert. Für jeden Partikel t_i wird der EM-Algorithmus auf die beste Transformation T_i gesetzt, wobei t_i als Anfangswert vorgegeben wird. Das Gewicht w_i sei dabei der Prozentsatz für die Übereinstimmung zwischen den beiden Abtastungen für die Transformation T_i. Der Algorithmus gibt dann die Transformation T_k mit dem besten Übereinstimmungsprozentsatz als Nominalwert für die Transformation von dem linken LiDAR-Sensor 24 auf den rechten LiDAR-Sensor 28 aus, wobei w_k = max(w_i) gilt.
In den meisten Fällen wird der Wechsel in der Transformation T von einer Abtastzeit auf die nächste Abtastzeit typischerweise gering sein und demzufolge ist es nicht notwendig, ein rechenintensives Verfahren zur Berechnung der neuen Transformation T' für große Änderungen in der Transformation T, wie oben beschrieben, zu verwenden. Insbesondere kann die neue Schätzung aus dem obigen PSO-Algorithmus der Transformation T_n rekursiv unter Verwendung des folgenden wenig rechenintensiven EM-Match-Algorithmus verfeinert werden. Zuerst wird die Transformation T_n auf jeden Abtastpunkt des rechten LiDAR-Sensors 28 wie folgt angewendet: S_j ← T_n ∘ S_j. (17)
Die korrigierte Transformation ΔT wird bestimmt als: ΔT:x' = ΔT ∘ x, (18) und definiert als: x' = x – Ɛy + t_x, (19) y' = Ɛx + y + t_y, (20) wobei die Transformation ΔT modelliert ist als (t_x, t_y, Ɛ), und wobei die vorhergehende Transformation ΔT_o (t_xo, t_yo, Ɛ_o) ist.
Gleichung (3) wird dann ersetzt durch: T' = argmin_T – 1 / 2Σ_j,kα_jklogK(||S_j – T ∘ m_k||) + λ||ΔT – ΔT_o||², (21) und die Lösung ist:
wobei: S_j = (x ' / j, y ' / j), (23) m_k = (x_k, y_k), (24)
und wobei λ ein Richtungsfaktor ist, der dazu eingestellt werden kann, inwieweit die vorausgegangene Schätzung verwendet wird.
4 ist ein Flussdiagramm 130, das die Operation zum Ausrichten der LiDAR-Sensoren, beispielsweise der LiDAR-Sensoren 24 und 28, wie oben diskutiert, zeigt. Im Kasten 132 wählt der Algorithmus die Anfangstransformation T_n, beispielsweise die vom Hersteller stammende Ursprungseinstellung, aus. Im Kasten 134 sammelt der Algorithmus Abtastentfernungskartendaten von den LiDAR-Sensoren 24 und 28 und bestimmt, falls eine genügende Anzahl von Abtastpunkten von einem Objekt in dem Sichtfeld der LiDAR-Sensoren 24 und 28 vorhanden sind, dass die Berechnungen adäquat in der Entscheidungsraute 136 ausgeführt werden. Falls nicht genügend Abtastpunkte vorhanden sind, kehrt der Algorithmus zu dem Kasten 134 zurück, um mehr Entfernungskartendaten zu sammeln. Falls genügend Abtastpunkte in der Entscheidungsraute 136 vorhanden sind, verwendet der Algorithmus dann den EM-Matching-Algorithmus, um die korrigierte Transformation ΔT der Daten im Kasten 138 zu finden. Der Algorithmus bestimmt dann, ob die korrigierte Transformation ΔT grösser als ein vorbestimmter Schwellenwert in der Entscheidungsraute 140 ist, und falls dies der Fall ist, wird eine große Transformationsschätzung verwendet, unter Verwendung des PSO-Algorithmus, um die neue Nominaltransformation T_n im Kasten 142 zu finden. Falls der Übereinstimmungsprozentsatz nicht größer als der Schwellenwert in der Entscheidungsraute 140 ist, kehrt der Algorithmus dann zu dem Kasten 134 zurück, um die nächsten Abtastpunkte zu sammeln.
Um zum Zusammenlegungsalgorithmus zurückzukommen, führt die unten geführte Diskussion zuerst einen vorgeschlagenen Abtastregistrieralgorithmus ein, der die Bewegung des Zielfahrzeugs 14 schätzt, falls das Objektmodell M und die gegenwärtige Abtastkarte S, die zu dem Zielfahrzeug 14 korrespondiert, vorgegeben sind. Die oben zum EM-Algorithmus geführte Diskussion zum Bestimmen der Transformation T, welche die Rahmen zwischen den LiDAR-Sensoren ausrichtet, gibt ein räumliches Matchen, insbesondere ein Matchen zwischen zwei Rahmen von verschiedenen LiDAR-Sensoren zur selben Zeit wieder. Die Diskussion bezüglich der Abtastpunktregistrierung verwendet ferner einen Abtastpunktregistrieralgorithmus, um die Transformation T aufzufinden, die zwei Rahmen zeitlich zwischen der gegenwärtigen Abtastkarte S und dem Objektmodell M, die von den vorangegangenen Abtastkarten abgeleitet wurde, zu matchen.
Ein wahrscheinlichkeitstheoretisches Objektmodell M wird zuerst definiert und danach wird ein vorgeschlagener iterativer Algorithmus bereitgestellt, um eine feste Transformation aufzufinden, so dass die Wahrscheinlichkeit maximiert wird, weil die Abtastkarten des darauf folgenden Rahmens vorgegeben sind. Um die geometrische Gestalt eines Objekts zu charakterisieren, wird eine Kontur-Wahrscheinlichkeitsdichtefunktion (PDF) in einem Abtastraum
definiert. 5 zeigt einen Schnappschuss für eine beispielhafte PDF für die Rückseite des Zielfahrzeugs 14. Die PDF wird lieber direkt durch eine Liste von Partikeln (Dots) dargestellt, welche als M = (m₁, m₂, ..., m_nM)^T bezeichnet werden, als dass sie unter Verwendung bestimmter Parameter dargestellt werden.
Diese Nichtparametrisierung der Art der Darstellung der PDF kann wiedergegeben werden als:
wobei
eine Gauß-Kernek-Funktion ist und σ > 0 ein Glättungsparameter, der als Bandbreite oder als Größe eines Parzen-Fensters bezeichnet wird.
Seien y die Parameter der Transformation T_Y. Die Operatoren werden als Transformationsoperator T_y(·) mit den Parametern Y und der korrespondierenden inversen Transformation T –1 / y(·) definiert. Ohne Verlust der Allgemeingültigkeit kann das Objektmodell M als im Ursprung 34 zentriert betrachtet werden. In dem darauf folgenden Rahmen wird ein Objekt am Ort Y durch die PDF charakterisiert:
Sei S = (s₁, s₂, ..., s_ns)^T die gegenwärtige Abtastkarte, die aus einer Liste von Abtastpunkten besteht. Die Wahrscheinlichkeitsfunktion kann ausgedrückt werden durch:
wobei Abtastpunkte s_k als unabhängig und gleichförmig verteilte Bereiche des Objektmodells M am Ort y angenommen werden.
Die Aufgabe ist es hier, das Maximum von L(S; y, M) im Hinblick auf die Transformationsparameter y zu finden, was äquivalent dazu ist, das Minimum von J(y; M) ≡ –Log L(S; y, M) zu finden: y* = argmin_yJ(y; M), (31) wobei:
Dieses lokale Minimum zeigt die Gegenwart des Objekts in dem folgenden Rahmen an, der eine Darstellung ähnlich definiert zu p(x; M) am Ursprung 34 aufweist.
Eine Hilfsmatrix A ≡ {a_kj} with a_kj ≥ 0 for j = 1, ..., n_M and k = 1, ..., n_s wird eingeführt, wobei:
für alle k.
Demzufolge wird die Gleichung (32):
In der Gleichung (32) wird der Normierungsfaktor
in einen konstanten Term aufgenommen, welcher vernachlässigt wird. Gleichung (36) ergibt sich dann durch Anwenden der Ungleichung von Jensen auf die Gleichung (34).
Unter der Vorgabe, dass die negative Logarithmusfunktion konvex ist, kann die beste obere Grenze
für die Gleichung (36) durch Bilden der Ableitung des Ausdrucks der Gleichung (36) und des Lagrange-Multiplikators der Randbedingung aus der Gleichung (33) im Hinblick auf a_kj und durch Nullsetzen erlangt werden. Die optimale Hilfsvariable kann ausgedrückt werden durch:
für j = 1, ..., n_M and k = 1, ..., n_s.
Demzufolge kann die Gleichung (31) iterativ durch ”Grenzoptimierung” gelöst werden, welche zwischen Optimieren von
in Hinblick auf die Hilfsmatrix A, der Parameter y der Transformation T und der Bandbreite der Kernel-Funktion σ terminiert wird.
6 ist ein Graph, bei der y auf der horizontalen Achse abgetragen ist, der die iterative ”Grenzoptimierungsbeziehung” zeigt, wobei die Linie 52 die durchgezogene Kurve J(y; M) ist und die gebrochenen Kurven aufeinanderfolgende obere Grenzen von y₀, y₁ und y₂ sind, nämlich die Graphenlinie 54
die Graphenlinie 56
und die Graphenlinie 58
Das iterative Verfahren aus dem Algorithmus 1 unten wird so lange wiederholt, bis Konvergenz auftritt, d. h. die Differenz des geschätzten y in zwei Iterationen weniger als eine vorbestimmte kleine Zahl ist. Empirische Resultate zeigen, dass 2–3 Iterationen für den vorgeschlagenen Algorithmus zur Konvergenzbildung ausreichen.
Algorithmus 1: Abtastpunktregistrierung

Input: Objektmodell M, gegenwärtige Abtastkarte S und Anfangstransformationsparameter y₀.

1) Sei σ = σ₀, wobei σ₀ eine positive Zahl ist.
2) Berechnen von A: unter Vorgabe der vorhergehenden Schätzung des Transformationsparameters y_n wird a_kj unter Verwendung der Gleichung (37) aktualisiert.
3) Minimieren von
Berechne y* zum Minimieren von
d. h.: y* = argmin_y – Σ_k,ja_kjlogK_σ(T –1 / y(s_k) – m_j). (38)
4) Berechnen von σ: Differenzieren der Gleichung (36) nach σ, Setzen der Ableitung auf Null ergibt:
5) Sei y_n+1 = y*. Falls
dann gehe zu Schritt 2. Ansonsten wird Ausgang y* als der geschätzte Parameter für die Transformation verwendet.

Die folgende Diskussion beschreibt einen speziellen Fall von Punktmengenregistrierungen, die in der Robotik mit LiDAR-Abtastern verwendet werden können. Eine feste Transformation x' = T_y(x) und x' = Rx + t können festgelegt werden, wobei der Parametervektor y aus einer Rotationsmatrix R und dem Translationsvektor t besteht. Gleichung (38) kann vereinfacht werden zu: y* = argmin_yΣ_k,ja_kj||s_k – Rm_j – t||², (40) so dass det(R) = 1 und R^TR = I ist.
Durch Bilden der partiellen Ableitung von Gleichung (40) jeweils nach t und R, kann die Gleichung (40) gelöst werden. Um die Lösung zu veranschaulichen, werden die folgenden Größen definiert:
wobei 1 = [1, 1, ..., 1]^T ist
Die Lösung der Gleichung (40) ist: R = UCV^T, (45) t = μ_s – Rμ_m, (46) wobei U und V als die Faktoren einer Einzelwertzerlegung definiert sind, d. h. USV^T = sνd(Ŝ^TA^TM ^) und C = diag(1, det(UV^T)).
Die unten geführte Diskussion schlägt einen Bayes-basierenden Algorithmus vor, der rekursiv die Bewegung schätzt und das Objektmodell M aktualisiert. Sei S₀, ..., S_t, und S_t+1 die Abtastkarten, die von einem dynamischen Objekt zu den Zeitschritten 0, ..., t, and t + 1 jeweils aufgenommen wurden.
7 zeigt, dass das Verfolgen als i) ein Problem für das Schätzen der Bewegung eines Objekts und ii) ein Problem für das Aktualisieren des Objektmodells M angesehen werden kann, wenn eine neue Rahmenabtastkarte empfangen wird. Insbesondere zeigt die 7 ein Verfahren 60 zum Schätzen eines Objektortes im Kasten 64, wobei der Objektort verwendet wird, um ein Objektmodell im Kasten 62 zu aktualisieren und den Objektort zu schätzen, wenn eine neue Abtastkarte verfügbar ist.
Die unten geführte Diskussion wird eine Bezugnahme auf bipartite Graphen und Bayes-Graphen beinhalten. Diese zwei Arten von Graphen beinhalten Knoten, die verschiedene Dinge darstellen. Die Knoten in einem Bayes-Graphen stellen Variablen dar, die geschätzt werden müssen, so beispielsweise die Transformation T und das Objektmodell M, welche zufällig sind und nur durch eine PDF dargestellt werden können. Diese Knoten sind in einer Sequenz über verschiedene Zeitrahmen angeordnet und jede einzelne Sequenz modelliert nur ein Objekt. Im Gegensatz dazu sind die Knoten in den bipartiten Graphen Segmentierungen von Abtastkarten. Jede Abtastkarte kann viele Objekte im selben Zeitrahmen enthalten. Demzufolge ist es Aufgabe, die Segmente aufzufinden, welche zu einem Objekt korrespondieren. Das Bilden der Assoziationen der Segmente (s₁, s₂, ..., s_n) entlang der Zeitachse kann zum Erhalten mehrerer Sequenzen führen, welche jeweils zu einem Objekt korrespondieren. Auf diese Art können die bipartiten Graphen dazu verwendet werden, um das Bayes-Verfahren anzuwenden, um jedes einzelne Objekt zu verfolgen.
8 veranschaulicht ein dynamisches Bayes-Netzwerk 70, das zwei Schritte des vorgeschlagenen Verfolgungsalgorithmus darstellt. In dem Netzwerk 70 stellen die Knoten 72 die Transformationsparameter y_t und y_t+1 dar, d. h. die Objektposition und die Lage der Ziele, die Knoten 74 stellen die Objektmodelle M_t und M_t+1 dar und die Knoten 76 stellen die Abtastkarten S_t und S_t+1 dar. In der 8 werden die Parameter y_t und y_t+1 der Transformation zu den Zeitschritten t und t + 1 jeweils geschätzt und M_t und M_t+1 sind die Objektmodelle zu den Zeitschritten t und t + 1. Um das Bayes-Netzwerk 70 anzupassen, wird p(y) als eine Dirac-Delta-Verteilungsparametrisierung um ihr Zentrum y und das Objektmodell M wird als die verbundene PDF der Gauß-Komponenten durch ihren Mittelwert {m_j} und eine feste Varianz σ² jeweils parametrisiert angesehen. Jeder Mittelwert m_j wird durch eine Gauß-PDF mit Hyperparametern dargestellt, nämlich dem Mittelwert und der Varianz
Die unten geführte Diskussion detailliert die Aktualisierungsregeln für den Parameter y und die Hyperparameter {v_j, η_j|j = 1, ..., n_M}. Unter Verwendung von Bayes- und Kettenregeln jeweils wird die nachfolgende PDF mit vorgegebenen Mengen von Abtastkarten bis zu der Zeit t + 1 geschrieben als: p(y, M|S^(0:t+1)) ∝ p(S|y, M)p(y, M|S^(0:t)) = p(S|y, M)p(y|S^(0:t))p(M|S^0:t), (47) wobei y und M zu t + 1 verkürzt sind, S^(0:t+1) Abtastkarten bis zum Zeitschritt t + 1 darstellen, S die Abtastkarte zur Zeit t + 1, p(S|y, M) eine äquivalente Darstellung von L(S; y, M) in der Gleichung (30) ist, und die letzte Gleichung durch Annehmen einer bedingten Unabhängigkeit gegeben durch S^(0:t) folgt.
In Gleichung (47) ist p(y|S^(0:t)) die vorhergehende PDF des Parameters y zum Zeitschritt t – 1 bei gegebenen vorherigen Abtastkarten S^(0:t), welche berechnet werden können als: p(y|S^(0:t)) = ∫p(y|y_t)p(y_t|S^(0:t))dy_t. (48)
In Gleichung (48) bezeichnet p(y_t|S^(0:t)) die nachfolgende PDF für Transformationsparameter zur Zeit t und p(y|y_t) die bedingte Wahrscheinlichkeit des folgenden Fortpflanzungsmodells der Objektbewegung: y = f(y_t) + w, (49) wobei w eine null-gemittelte Gauß-Zufallsvariable mit Varianzmatrix
ist. Falls p(y_t|S^(0:t)) eine Dirac-Delta-Verteilung zentriert um y ist, kann die vorhergehende PDF zum Zeitschritt t = 1 geschrieben werden als:
wobei ỹ ein vorhergesagter Wert des folgenden Fortpflanzungsmodells des Objekts ỹ = f(yt) ist.
Der Ausdruck p(M_t-1|S^(0:t)) kann als die konjugierte Verteilungsfamilie von L(S; y, M) in der Gleichung (30) modelliert werden, um eine verfolgbare nachfolgende PDF zu erzeugen. Ein Produkt der Gauß-Dichten mit bekannter Varianz σ² wird angenommen als:
wobei:
und wobei (η_j, ν_j) Hyperparameter der vorhergehenden PDF für die j-te Komponente von M_t-1 sind und c(η_j) ein Normierungsfaktor ist.
Wie aus der 8 hervorgeht, sind die vorhergehenden Daten für das Objektmodell M zum Zeitschritt t:
Wir betrachten nun das Problem des Schätzens der vorhergehenden p(y, M|S^(0:t+1) zur Zeit t + 1. Da y und M konditional unabhängig sind, d. h. p(y, M|S^(0:t+1) = p(y|S^(0:t+1))p(M|S^(0:t+1)), (54) können die darauf folgenden im Hinblick auf y und M separat voneinander mit den folgenden zwei Schritten geschätzt werden.
Unter der Annahme, dass p(y|S^(0:t+1)) die Dirac-Delta-PDF bei y _t+1 zentriert ist, welche durch Maximieren der Gleichung (47) im Hinblick auf y geschätzt werden kann, ergibt sich durch Einsetzen der Gleichung (50) in die Gleichung (47), Anwenden eines negativen Logarithmus auf die Gleichung (47) und Vernachlässigen von Termen, die für y irrelevant sind: y _t+1 = argmin_y – Σ_k,ja_kjlogK_σ(T –1 / y(s_k) – m_j) + ||y – ỹ|| 2 / Q, (55) wobei
und ||x|| 2 / Q = x^TQ^–1x sind. Demzufolge kann die Gleichung (38) durch die Gleichung (55) zum Integrieren von einer vorangegangenen Information von vorhergehenden Zeitschritten ersetzt werden und durch folgendes Anwenden des Algorithmus 1 kann y _t+1. abgeleitet werden.
Durch Vernachlässigen von Termen, die relevant sind für das Objektmodell M, kann der negative Logarithmus der Gleichung (47) geschrieben werden als:
Es wird angemerkt, dass Gleichung (56) die beste obere Grenze von J(M) für alle möglichen Werte von y ist.
Wie in der 6 zu sehen ist, kann die Grenzoptimierung dazu verwendet werden, um iterativ das optimale Objektmodell M durch Auffinden des Minimums der oben erwähnten oberen Grenzfunktion zu finden. Durch Setzen der Ableitungen der Gleichung (56) mit dem jeweiligen Objektmodell M auf Null kann die Schätzung für das Objektmodell M erhalten werden als:
wobei: ρ_j = Σ_ka_kj (58) s _j = Σ_ka_kjs_k/p_j. (59)
Die Aktualisierungsregeln für die neuen Hyperparameter (η ' / j, ν ' / j) für die darauffolgende Verteilung des Objektmodells M nach S zur Zeit t + 1 kann geschrieben werden als:
Demzufolge ist die darauffolgende PDF des Ziels zur Zeit t:
Es wird angemerkt, dass m in der Gleichung (57) der Mode ist und ν ' / i in Gleichung (61) der Mittelwert der j-ten Komponente (Partikel) des Objektmodells M ist. Aufgrund der Gauß-Annahme sind diese identisch.
Das rekursive Verfolgungs- und Modellaktualisierungsverfahren wird im Algorithmus 2 unten zusammengefasst. Schritt 1 stellt das Objektmodell M für den gegenwärtigen Zeitrahmen bereit, wobei Schritt 2 die Bewegung des Objektmodells M schätzt. Schritt 3 aktualisiert das Objektmodell M basierend auf der gegenwärtigen Abtastkarte. Schritt 4 addiert neue Partikel in das Objektmodell M, wobei Schritt 5 die „Ausreißer” aus dem Objektmodell M entfernt.
Algorithmus 2: Verfolgen und Aktualisieren des Objektmodells

Input: gegenwärtige Abtastkarte S_t+1, Objektmodell M_t-1 = {ν_j, η_j} und Transformation y _t.
Output: geschätztes y _t+1, und aktualisiertes M.

1) Berechnete Hyperparameter
für alle J von p(M_t|S^(0:t)) in Gleichung (51). Setze alle Partikel als unbetrachtet.
2) Sei
für alle J. Ersetze Gleichung (38) durch Gleichung (55) und lasse dann den Algorithmus 1 ablaufen, um y _t+1 und A_t+1 zu erhalten.
3) Falls ρ_j – Σ_ka_kj größer ist als ein Schwellenwert, berechne die Hyperparameter unter Verwendung der Gleichungen (60) und (61), setze die Partikel als betrachtet und erhöhe den Betrachtungswert K_j um 1. Wenn K_j > 5, wird der j-te Partikel als reif markiert.
4) Berechne
für alle K. Falls
kleiner als ein Schwellenwert ist, addiere einen neuen Partikel s_k mit den folgenden Werten K_k = 1, ν_k = s_k, η_k = 1 und markiere ihn als betrachtet.
5) Entferne Partikel, die nicht als betrachtet und nicht reif markiert sind.

9 ist ein Flussdiagramm 80, das den vorgeschlagenen Zusammenführungsalgorithmus, der zu jedem Zeitschritt t ausgeführt wird, zeigt. Der Kasten 78 stellt die Objekt-Files dar, die zu jedem Zeitschritt erzeugt werden und stellt die Position, die Geschwindigkeit und die Ausrichtung der Objekte, die detektiert und verfolgt werden, dar, und das Objektmodell M für jedes Objekt, das verfolgt wird. Wenn ein neuer Rahmen von Entfernungsdaten von den Sensoren 16, 20, 24 und 28 bei dem Trägerfahrzeug 12 im Kasten 82 angelangen, konstruiert der Algorithmus zuerst die 360°-Punktwolke im Kasten 84 in der oben diskutierten Art und Weise. Sobald die Punktwolke konstruiert ist, segmentiert der Algorithmus dann die Abtastpunkte in der Wolke in Cluster, die spezifische Objekte im Kasten 86 identifizieren können. Um die Segmentierungsoperation auszuführen, soll die Abtastkarte im gegenwärtigen Rahmen (t + 1) bezeichnen und
soll ein ungerichteter Graph mit der Textmenge R sein. Eine Kante
verbindet p₁ und p₂, falls ||p₁ – p₂|| kleiner ist als ein vorbestimmter Distanzschwellenwert. Das Bezeichnen der verbundenen Komponenten wird dann dazu verwendet, um die Abtastkarte R in eine Liste von Clustern {S (t+1) / n} zu segmentieren. Das Segmentieren der Abtastpunkte in Cluster beinhaltet das Separieren der Cluster von Abtastpunkten in Wiedergabepunktewolken, so dass die Cluster ein separates Objekt identifizieren, das verfolgt wird.
Sobald die Abtastpunkte in Cluster segmentiert sind, matcht der Algorithmus dann die Cluster mit vorhergesagten Objektmodellen M ~ im Kasten 88. Insbesondere projiziert der Algorithmus verfolgte Objektmodelle M im vorhergegangenen Zeitschritt im Kasten 90 unter Verwendung der Objekt-Files 78. Um die projizierten Objektmodelle vorherzusagen, soll {M n / t} eine Liste von Objektmodellen M zum Zeitschritt t sein. Für jedes Objektmodell M n / t wird der Mittelwert einer Gauß-Komponente bezeichnet als ν n / j. Falls y n / t die Schätzung der Transformation zum Zeitschritt t ist, ist die vorhergesagte Transformation zum Zeitschritt t + 1 ỹ n / t+1 = f(y n / t). Demzufolge ist das vorhergesagte Objektmodell M ~ für das n-te Objekt
für alle j. Durch
werden die vorhergesagten Objektpunkte aus dem Zeitschritt t bezeichnet.
Unter Verwendung der projizierten verfolgten Objektmodelle werden die segmentierten Cluster
mit vorhergesagten Objektmodellen
im Kasten 88 gematcht. Ein bipartiter Graph
wird aus der gesetzten Vertexmenge
über die Kantenmenge E_B konstruiert. Eine Kante existiert zwischen den Punkten
und
nur dann, wenn ||p – q|| < D, wobei D ein Distanzschwellenwert ist. Das Gewicht der Kante (p, q) ist definiert als w(p, q) = ||p – q||. Die Nachbarschaft von
ist definiert als
Ein induzierter bipartiter Graph
kann definiert werden aus dem bipartiten Graph B, wobei die Kantenmenge E_B die mögliche Assoziierung zwischen den Objekten in
und den segmentierten Clustern
darstellt. Eine Kante zwischen
und
existiert dann und nur dann, wenn eine Kante (p, q) in B so existiert, dass
und
gilt.
Sei E(p', q') die Untermenge der Kantenmenge in B, d. h.
Das Gewicht und die Kardinalität der Kante werden jeweils definiert als:
Sobald der induzierte bipartite Graph B' konstruiert ist und das Gewicht und die Kardinalität der Kanten berechnet sind, werden die starke Kante und die vorgeschobene schwache Verbindung unter Verwendung des Algorithmus 3 unten ausgewählt.
10 ist ein bipartiter Graph 100, nämlich B in einem Abtastpunktgrad für fünf vorhergesagte Objektmodelle M ~ und fünf Cluster S zum gegenwärtigen Zeitschritt t, wie oben diskutiert. In dem bipartiten Graphen 100 repräsentieren Dots 102 die vorhergesagten Objektmodellpunkte und Dreiecke 104 stellen die segmentierten Abtastkartenpunkte dar. Die Linien 106 zwischen den Dots 102 und den Dreiecken 104 sind die Kanten des Graphen 100.
Der Algorithmus legt dann die Datenpunktcluster zusammen und spaltet sie im Kasten 92 auf, um die detektierten Objekte, die gleich sind, zu kombinieren, und spaltet Objekte, die ursprünglich als ein einzelnes Objekt detektiert worden waren, sich aber als mehrere Objekte gezeigt haben, auf. Um das Zusammenlegen und Aufspalten der Cluster vorzunehmen, nimmt der Algorithmus 3 unten eine Abtastassoziierung vor.
11 veranschaulicht einen induzierten bipartiten Graphen 110, nämlich B', der von dem Graphen B durch Konsolidieren von Punkten in Gruppen abgeleitet ist. In dem induzierten bipartiten Graphen 110 stellen die Knoten 114 die Objektmodellpunkte (M), die Knoten 112 die Cluster der segmentierten Abtastpunkte (M) und die Linien 116 die Kanten, die das Übereinstimmen zwischen den Objektmodellpunkten (M) und den segmentierten Abtastpunkten (S) definieren, dar. Wie unten diskutiert werden wird, wird M ~₁ zur Zeit t auf S₁ zur Zeit t + 1 gematcht, M ~₂ und M ~₃ auf S₂ zur Zeit t + 1 zusammengelegt und M ~₄ aufgespalten. M ~₅ ist zur Zeit am Verschwinden und wird aus der Abtastkarte zur Zeit t + 1 entfernt und S5 kommt zur Zeit t + 1 an. Im Schritt 3 des Algorithmus 3 werden die Kanten (M ~₁, S₁), (M ~₂, S₂), (M ~₄, S₃), und (M ~₄, S₄) hervorgehoben. Im Schritt 4 wird M ~₃ mit S₂ gematcht und die Kante (M ~₃, S₂) wird hervorgehoben. Demzufolge wird im Schritt 5 die gebrochene Linie (M ~₅, S₂) als die weiche Verbindung beschnitten. 11 veranschaulicht, dass M ~₁ direkt mit S₁ gematcht wird. Die zwei anderen Fälle benötigen jedoch ein Zusammenlegen und Aufspalten der Cluster.
Das vorhergesagte Objektmodell M ~₄ wird in zwei gemischte Cluster S₃ und S₄. aufgespalten. Die Abtastpunkte der gegenwärtigen Cluster S₃ und S₄ werden erneut geclustert unter Verwendung der vorherigen Kenntnis, dass es ein Objekt in dem vorhergehenden Rahmen gegeben hat. Gewöhnlicherweise wird eine stärkere Evidenz von Unähnlichkeit für ein Aufspalten eines existierenden verfolgbaren Objekts in zwei Cluster benötigt.
Die zwei vorhergesagten Objektmodelle M ~₂ und M ~₃ sind zu einem Cluster S₂ in dem gegenwärtigen Rahmen assoziiert.
Die Abtastpunkte in dem Cluster S₂ werden erneut geclustert, da eine stärkere Nähe unter den Abtastpunkten für das Zusammenlegen der zwei verfolgbaren Objekte zu einem Objekt benötigt wird.
Algorithmus 3: Abtastassoziierungsalgorithmus

Input: der Cluster
und die vorhergesagten Objektmodelle
Output: der verkürzte induzierte bipartite Graph B'.

1) Konstruiere den bipartiten Graph B mit Abtastpunkten als Vertices.
2) Konstruiere den induzierten Graph B' mit Clustern und Konturen wie den Vertices und berechne das Gewicht und die Kardinalität der Kante unter Verwendung der Gleichungen (63) und (64) jeweils.
3) Für jeden
finde
so dass die Kardinalität größer als ein Schwellenwert (d. h., c(p ' / *, q') > C ) und

ist und hebe die Kante (p ' / *, q') hervor.
4) Für jeden
der nicht durch die hervorgehobenen Kanten abgedeckt ist, finde die Menge
so dass jedes Element q'' durch eine und nur eine hervorgehobene Kante abgedeckt ist. Finde p'', so dass (p'', q'') > C und
gilt, und hebe die Kante hervor.
5) Verkürze alle Kanten, die in B' nicht hervorgehoben sind.

Wie oben erwähnt werden neue Objekte erzeugt und verschwindende Objekte werden im Kasten 94 entfernt. Insbesondere müssen zwei spezielle Fälle abgehandelt werden, um neue Objekte zu erzeugen und existierende Objekte in dem Objekt-File zu entfernen, wobei keine Kante für den Abtastcluster S₅ existiert. Ein Verfolgungsinitialisierungsschritt wird ausgelöst und ein neues Objekt wird in das Objekt-File zum Abtasten des Clusters S₅, hinzugefügt und das vorhergesagte Objektmodell M ~₅ verschwindet, da keine Kante vorliegt. Demzufolge wird sie aus dem Objekt-File entfernt.
Sobald die neuen Objekte erzeugt sind und die verschwindenden Objekte im Kasten 94 entfernt sind, stellt der Algorithmus dann ein Verfolgen und Modellaktualisieren im Kasten 96 bereit. Für jedes gematchte Paar von Objektmodellen M_t und Abtastclustern S_t+1, wird beispielsweise durch das Abtastregistrierverfahren des Algorithmus 1 der Algorithmus 2 zum Verfolgen und Aktualisieren des Objektmodells verwendet.
Das Objekt-File 78 wird dann im Kasten 98 aktualisiert und für den nächsten Zeitschritt für das Objekt-File 78 abgespeichert. Die neue Transformation y_t+1 und das aktualisierte Objektmodell M_t für jedes Objekt werden auf das Objekt-File gespeichert und der Algorithmus wartet auf die Ankunft einer neuen Abtastkarte zum nächsten Zeitschritt.
Falls die Rotation zwischen zwei aufeinanderfolgenden Abtastrahmen klein ist, können die Parameter einer 2D-Transformation approximiert werden durch:

wobei (x, y) und (x', y') zwei Punkte in vorangegangenen und gegenwärtigen Rahmen jeweils sind,
der Rotationswinkel und (t, t) die Translationen sind.
Sei m_j = (x_j, y_j) und S_k = (x ' / k, y ' / k). Durch Einsetzen der Gleichungen (65) und (66) in die Gleichung (55) können die partiellen Ableitungen nach t_x, t_y und
jeweils gebildet werden und auf Null gesetzt werden. Möge
den vorhergesagten y mit der Gleichung (49) bezeichnen. Wenn ein konstantes Modell angenommen wird, werden t ~_x = ν_xδt, t ~_y = y_xδt und
mit bereitgestellt, wobei δt die Dauer zwischen den Zeitschritten t und t – 1 ist.
Die folgenden Aktualisierungsregeln können abgeleitet werden:
wobei λ_x, λ_y und
die von der Varianzmatrix Q in der Gleichung (50) abgeleiteten Gewichte sind.
Durch Ersetzen der Gleichung (38) mit den Gleichungen (67) bis (69) wird der Algorithmus 1 iterativ angewendet, um t_x, t_y und
bei y _t+1 zu berechnen.
Wenn ν und ω_H die HV-Bodengeschwindigkeit und Gierrate jeweils bezeichnen. Die Bodengeschwindigkeit des Fahrzeugs 14 wird berechnet durch: ν_gx = ν_x + ν_H – x_cω_H, (70) ν_gy = ν_y + y_cω_H, (71) und die Orientierung des Fahrzeugs 14 durch:
Das Verfahren und die Vorrichtung zum Detektieren und Verfolgen mehrerer Objekte, wie oben beschrieben, kann eine 360°-Sichtfeldlösung für das Detektieren von Objekten durch das Trägerfahrzeug 12 bereitstellen. Die folgenden Probleme für einen LiDAR-Sensor müssen jedoch adressiert werden.
Das erste Problem ist der Teil der Observierung, die entweder durch Okklusion oder Lasermessausfall, beispielsweise wegen niedrigerer Reflektanz oder Spiegelreflexion. Beispielsweise ist der Detektionsbereich eines schwarzen Fahrzeugs viel kleiner als der eines weißen Fahrzeugs.
Das nächste Problem ist die unzureichende Messung aufgrund einer niedrigen Auflösung, ein Herausragen von Merkmalen bewirkt und demzufolge unzureichend ist, um Fernfeldobjekte zu detektieren.
Ein anderes Problem ist das limitierte vertikale Sichtfeld, beispielsweise von 4 das die Detektion von Objekten auf einer nichtebenen Straßenoberfläche auslässt.
Ein anderes Problem ist das Fehlen von Kontextinformationen, dass ein Objekt aus dem Hintergrund unterscheiden kann.
Die vorliegende Erfindung schlägt einen verbesserten Zusammenführungsalgorithmus vor, der die oben diskutierten Einschränkungen für die LiDAR-Sensoren adressiert. Insbesondere verwendet die vorliegende Erfindung die Ausgangssignale von einem oder beiden von einem Radarsensor oder einem Bildsystem auf dem Fahrzeug, um als Cueing-Signal betrieben zu werden, um das Zusammenlegungssystem für die LiDAR-Sensor-Ausgänge dazu zu bringen, ein Ziel zu identifizieren. Radarsensoren haben typischerweise eine weite Reichweite aber ein enges Sichtfeld. Bildsysteme haben typischerweise eine kurze Reichweite, stellen aber Kontakte zu den detektierten Zielen dar. Wie oben erwähnt, ist das verbesserte Zusammenlegungssystem, das oben diskutiert wird, dazu gedacht, die Parameter x, y, v_x, v_y und ξ für jedes detektierte Objekt zu schätzen.
12 ist ein Bild 150 eines Ziels, das innerhalb einer Straße 152 dargestellt wird, wie es von einem LiDAR-Sensor, einem Radar-Sensor und einem Bildsystem auf einem Trägerfahrzeug detektiert wird. Insbesondere ist das Ziel weit genug entfernt oder ausgeschlossen, so dass die LiDAR-Abtastpunkte wenige sind und von den Punkten 156 dargestellt werden. Um die Detektion des Ziels zu verbessern, definiert ein Bildsystem 154 dasselbe Ziel von einem Bildsystemausgang und einem Radardatenpunkt 158, der dasselbe Ziel darstellt, welches von einem Radarsensor detektiert wird.
13 ist eine Darstellung eines Fahrzeugsystems 160 ähnlich zu dem System 10, das oben für ein Trägerfahrzeug 162 diskutiert wurde, welches einem Zielfahrzeug 164 folgt und dieses verfolgt. Dieselben Variablen für Position, Geschwindigkeit, Richtungswinkel etc. werden so verwendet, wie in der 1 gezeigt. In diesem Beispiel beinhaltet das Trägerfahrzeug 162 einen LiDAR-Sensor 166 mit einem Sichtfeld 168, einen Radarsensor 170 mit einem Sichtfeld 172 und ein Bildsystem 174 mit einem Sichtfeld 176. Die Darstellungen von dem LiDAR-Sensor 166 werden als Abtastpunkte 178 gezeigt, die Darstellung von dem Radarsensor 170 wird als Dreieck 180 bezeichnet und die Darstellung von dem Bildsystem 174 wird als Kasten 182 dargestellt. Wie im Stand der Technik bekannt ist, geben Bildsysteme und Radarsensoren vier Ausgänge von einem Ziel aus, nämlich die Entfernung zu dem Ziel, die Entfernungsänderung zu dem Ziel, d. h. die Entfernungsrate, den Richtungswinkel des Ziels und den Wechsel in dem Azimuthwinkel des Ziels, d. h. die Azimuthwinkelrate.
14 ist ein Blockdiagramm mit einer generellen Übersicht eines vorgeschlagenen Zusammenlegungssystems 190, wobei das zu jedem Zeitschritt aufgenommene Ziel O = (o₁, o₂, ...,
) von dem Radarsensor 170 und/oder dem Bildsystem 174 im Kasten 192 an einen Cueing-Kontextblock 194 gesendet wird. Wie oben diskutiert, werden die LiDAR-Abtastclusterkarten im Block 196 an ein LiDAR-Verfolgungsalgorithmusblock 198 bereitgestellt. Der Verfolgungsalgorithmus empfängt die Cueing-Kontextzieldaten von dem Block 194 und die Zieldaten werden mit dem abgespeicherten Objektmodell gematcht, wobei der Wert n_o die Zahl der detektierten Ziele ist. Jedes Ziel o = (x '' / i, y '' / i, ν '' / i, w '' / i) hat die Parameter einer longitudinalen Verschiebung (x''), einer lateralen Verschiebung (y''), einer Radialgeschwindigkeit (ν'') und einer Lateralgeschwindigkeit (w''). Die LiDAR-Abtastrate
mit jedem Abtastpunkt s_k beinhaltet einen longitudinalen Offset x und einen lateralen Offset y_i, wobei N die Anzahl der Abtastpunkte ist. Der Verfolgungsalgorithmus überwacht den Eingang von dem Cueing-Kontext-Kasten 194 und die LiDAR-Abtastkarte und erzeugt die Ausgangsparameter x, y, v_x, v_y, und ξ für jedes detektierte Objekt. Ein Anwendungsblock 200 verwendet die geschätzten Parameter der Objekte und implementiert aktive Fahrzeugsicherheitsanwendungen, beispielsweise eine adaptive Fahrzeugkontrolle, ein Kollisionsvermeidungssystem etc.
15 ist ein Flussdiagramm 204, das ähnlich zu dem Flussdiagramm 80, das oben diskutiert wurde, ist, wobei dieselben Operationen mit den gleichen Bezugszeichen versehen sind. Das Flussdiagramm 204 beinhaltet den Kasten 206, der die Zieldaten von dem Radarsensor 170 oder dem Bildsystem 174 einliest. Danach registriert der Algorithmus die Zieldaten zu den LiDAR-Koordinatenrahmen im Kasten 208. Um dies zu erreichen soll y_o die Parameter (Translation und Rotation) der starren Transformation T sein, die ein Ziel von dem Radarsensor 170 oder dem Bildsystem 174 auf den LiDAR-Koordinatenrahmen abbildet, so dass die abgebildeten Ziele in dem LiDAR-Rahmen sind:
Die Registierparameter y_o können automatisch durch gematchte Paare zwischen den verfolgten LiDAR-Objekten und Zielen von dem Radarsensor 170 oder dem Bildsystem 174 geschätzt werden. Die US 7,991,550 mit dem Titel ”Verfahren und Vorrichtung für eine auf dem Fahrzeug befindliche Kalibrierung und Orientierung von Objektverfolgungssystemen”, erteilt am 7. August 2011 und eingetragen auf den Anmelder dieser Patentanmeldung und hiermit inkorporiert durch Bezugnahme, offenbart eine für diesen Zweck geeignete Technik.
Danach matcht der Algorithmus die Zieldaten von dem Radarsensor 170 oder dem Bildsystem 174 auf die Objektmodelle M im Kasten 210. Dieses Verfahren ist in der 16 als Bild 230 mit einem Trägerfahrzeug 232 gezeigt, wobei Punkte 234 Objektmodellpunkte sind, Dreiecke 236 Radarziele und Rauten 238 virtuelle Abtastpunkte sind, die aus den Bilddaten von dem Bildsystem 174 abgeleitet sind. Ein Radarziel o_r wird durch einen Punkt modelliert, der durch die Dreiecke 236 dargestellt ist. Ein Bildziel O_ν wird als Rechteck modelliert, welches durch eine Liste von aufgenommenen Punkten auf der Kante des Rechtecks mit ”virtuellen” Abtastlinien, die von dem Trägerfahrzeug 232 ausgehen, dargestellt sind. Der Wert O_ν = {o_l|l = 1, ...., 6} wird als die Rauten 238 gezeigt. Die Menge von Objektmodellen
und Abtastpunkten von allen Objektmodellen
sind definiert. Dabei bezeichnet
alle Zielpunkte, entweder Dreiecke oder Rauten, von dem Radarsensor 170 oder dem Bildsystem 174.
Das oben diskutierte Verfahren wird dazu verwendet, um einen beschnittenen bipartiten Graphen 240 aus der 17 zu konstruieren. Der Graph 240 zeigt die Objektbewegung 242 in den Knoten 246 und den Objektmodellen 244 in den Knoten 248, wobei o₁ ↔ M ~₁, o₂ ↔ M ~₂, o₃ ein Kandidat zum Erzeugen eines neuen Objekts ist, und das vorhergesagte Objektmodell M ~₃ als verschwindend gekennzeichnet ist, das aus dem Objekt-File entfernt werden kann.
Unter Verwendung der projizierten Verfolgungsobjektmodelle M ~ aus dem Kasten 90 und der gematchten Cluster mit projizierten Objektmodellen M ~ aus dem Kasten 88 und den gematchten Zieldaten mit den Objektmodellen aus dem Kasten 210 stellt der Algorithmus das Zusammenlegen und Aufspalten von Objektmodellen M im Kasten 212 bereit. Zwei Fälle werden betrachtet, nämlich Bildziele und Radarziele. 18 zeigt einen bipartiten Graphen 250 für den Fall, wo zwei vorhergesagte Objektmodelle M ~₁ und M ~₂ auf das Bildziel O₁ gematcht werden. Diese Cueing-Information aus dem Bildsystem 74 veranschaulicht, dass die zwei Objektmodelle M ~₁ und M ~₂ zu einem neuen Objektmodell M ~_1-2 zusammengefasst werden müssen.
19 ist ein induzierter bipartiter Graph 252, der das Zusammenfassen von den Objektmodellen M ~₁ und M ~₂ in den Knoten 256 von dem Bildziel O₁ im Knoten 254 in das einzelne Objektmodell M ~_1-2 zeigt.
20 ist ein bipartiter Graph 260, der einen weiteren Fall zeigt, wobei ein Objektmodell M ~₁ zwei Bildziele O₁ und O₂ matcht. Die Cueing-Information aus dem Bildsystem 174 verdeutlicht, dass das Objektmodell M ~₁ in zwei separate Objektmodelle M ~_1a und M ~_1b aufgespaltet werden muss.
21 ist ein induzierter bipartiter Graph 262, der das Aufspalten des Objektmodells M ~₁ im Knoten 264 zeigt, welcher von den zwei Bildzielen O₁ und O₂, die in den Knoten 266 und 268 dargestellt sind, detektiert werden, in die Objektmodelle M ~_1a und M ~_1b, die durch die Knoten 270 und 272 jeweils dargestellt sind.
22 ist ein bipartiter Graph 270, der einen Fall zeigt, wo die Punktmenge R für zwei Objektmodelle M ~₁ und M ~₂ mit drei Radarzielen o₁, o₂ und o₃ gematcht werden.
23 ist ein induzierter bipartiter Graph 276, der die Zuordnungen o₁ → M ~₁, o₂ → M ~₂ und o₃ → M ~₂ zeigt. Insbesondere zeigt der Graph 276, dass das Radarziel im Knoten 278 auf das Objektmodell M ~₁ im Knoten 280 und die Radarziele o₂ und o₃ in den Knoten 282 und 284 gematcht werden, welche als in ein einzelnes Objektmodell M ~₂ im Knoten 286 zusammengefasst gezeigt sind.
Danach erzeugt der Algorithmus neue Objekte und entfernt verschwindende Objekte im Kasten 214. Ähnlich zu den oben diskutierten Verfahren für das Flussdiagramm 80 müssen zwei spezielle Fälle behandelt werden, um neue Objekte zu erzeugen und verschwindende Objekte aus dem Objekt-File zu entfernen. Für jedes nicht gematchte Abtastcluster S aus einem LiDAR-Segment und jedes nicht gematchte Ziel von dem Radarsensor 170 oder dem Bildsystem 174 wird ein Verfolgungsinitialisierungsverfahren verwendet, um ein neues Objekt zu dem Objekt-File hinzuzufügen. Für ein Objekt in dem Objekt-File wird das Objekt als verschwindend gekennzeichnet, wenn es kein Match entweder zu einem segmentierten Cluster S von dem LiDAR-Sensor 166 oder zu einem Ziel von Radarsensor 170 oder dem Bildsystem 174 gibt. Wenn das Objekt konsistent in verschiedenen aufeinanderfolgenden Zeitschritten als verschwindend gekennzeichnet wird, wird es dann aus dem Objekt-File entfernt.
Danach stellt der Algorithmus ein Verfolgen und Modellaktualisieren im Kasten 216 bereit. Um dies zu erreichen, werden o_o, ..., o_t, und o_t+1 die abgebildeten Messungen in dem Li-DAR-Koordinatenrahmen eines dynamischen Objekts durch den Radarsensor 170 oder das Bildsystem 174 in den Zeitschritten O, t und t + 1 jeweils sein. Durch
wird die Messung von dem Zeitschritt O bis zu dem Zeitschritt t bezeichnet.
24 veranschaulicht ein überarbeitetes dynamisches Bayes-Netzwerk 290 aus der 8, welches zwei Zeitschritte für den vorgeschlagenen Verfolgungsalgorithmus mit Cueing-Information darstellt. Die Werte y_t und y_t+1 sind Parameter, die für die Transformation bei den Zeitschritten t und t + 1 jeweils geschätzt werden müssen. Die Modelle M_t und M_t+1 sind die Objektmodelle in den Zeitschritten t und t + 1. In dem Netzwerk 290, sind die Knoten 292 die Zieldaten o_t und o_t+1 zu den Zeitschritten t und t + 1, die Knoten 294 sind die Transformationsparameter y zu den Zeitschritten t und t + 1, die Knoten 296 sind die Objektmodelle M zu den Zeitschritten t und t + 1 und die Knoten 298 sind die Abtastkarten zu den Zeitschritten t und t + 1.
Ähnlich zu der Gleichung (47) werden Bayes- und Kettenregeln jeweils dazu verwendet, um die nachfolgende PDF-gegebenen LiDAR-Abtastkarten und Zieldaten von dem Radar-Sensor 170 oder dem Bildsystem 174 bis zu dem Zeitschritt t + 1 abzuleiten: p(y, M|S^(0:t+1), o^(0:t+1)) ∝ p(S|y, M)p(o|y, M)p(y, M|S^(0:t), o^(0:t)) = p(S|y, M)p(o|y)p(y,|S^(0:t), o^(0:t))p(M|S^(0:t), o^(0:t)), (74) wobei y und M y_t+1 sind und M abgekürzt S^(0:t+1), Abtastkarten bis zu dem Zeitschritt t + 1 darstellt, S die Abtastkarte bei t + 1, o = o_t+1 ist, das gemessene Ziel im Zeitschritt t + 1 zusammengefasst ist und die letzte Gleichung unter der Annahme konditionaler Unabhängigkeit bei gegebenen S^(0:t) und o^(0:t) folgt.
In Gleichung (74) ist p(y, M|S^(0:t), o^(0:t)) die vorhergegangene PDF von y zum Zeitschritt t + 1 bei gegebenen vorhergehenden Abtastkarten S^(0:t) und Zieldaten o^(0:t), welche berechnet werden können als: p(y|S^(0:t), o^(0:t)) = ∫p(y|y_t)p(y_t|S^(0:t), o^(0:t))dy_t, (75) wobei p(y_t|S^(0:t), o^(0:t))) die darauffolgende PDF für den Transformationsparameter bei t, und p(y|y_t) bezeichnet und einen Ausdruck für die Fortpflanzungsmodellgleichung (49) darstellt.
Wenn p(y_t|S^(0:t)), o^(0:t))) als eine Dirac-Delta-Verteilung zentriert um y _t angenommen wird, kann die vorhergehende PDF im Zeitschritt t + 1 geschrieben werden als:
wobei ỹ der vorhergesagte Wert für das folgende Fortpflanzungsmodell des Objekts ỹ = f(y _t) ist.
Im Folgenden wird das darauffolgende Objektmodell M angenommen als:
und wobei
definiert ist in Gleichung (51). Wie aus der 24 zu sehen ist, kann das vorhergehende Netzwerk für das Objektmodell im Zeitschritt t geschrieben werden als:
Nun wird das Problem für das Schätzen des Folgenden im Zeitschritt t + 1 betrachtet, welches zerlegt werden kann als: p(y, M|S^(0:t+1), o^(0:t+1)) = p(y|S^(0:t+1), o^(0:t+1))p(M|S^(0:t+1), o^(0:t+1)) (79) und unabhängig als die folgenden zwei Schritte berechnet wird.
Es wird angenommen, dass p(y|S^(0:t+1), o^(0:t+1)) die Dirac-Delta PDF zentriert ist um y _t+1,, welche durch Maximieren der Gleichung (74) im Hinblick auf y geschätzt werden kann.
Das Messmodell der Zieldaten p(o|y) wird modelliert als: o = h(y) + ν, (80) wobei v eine Gauß-Zufallsvariable mit Mittelwert Null mit der Covarianzmatrix E ist. Demzufolge ist p(o|y) ein Gauß-PDF, d. h.:
Bei Einsetzen der Gleichungen (76) und (81) in die Gleichung (74) und Anwenden eines negativen Logarithmus auf die Gleichung (74) und Vernachlässigen irrelevanter Terme bei y wird das Folgende erhalten: y _t+1 = argmin_y – Σ_kja_kjlogK_σ(T –1 / y(s_k) – m_j) + ||o – h(y)|| 2 / E + ||y - ỹ|| 2 / Q, (82) wobei
ist.
Demzufolge kann die Gleichung (38) im Algorithmus 1 durch die Gleichung (55) für das Integrieren vorhergegangener Information aus vorherigen Zeitschritten und für das Cueing von Information vom Radarsensor 170 oder dem Bildsystem 174 ersetzt werden, und darauffolgendes Anwenden des Algorithmus 1, um y _t+1 abzuleiten.
Beim Berechnen von p(M|S^(o:t+1), 0^(0:t+1)) wird angemerkt, dass die Gleichung (78) und die Gleichung (53) äquivalent sind und demzufolge die gleichen Aktualisierungsregeln für die oben beschriebenen Hyperparameter angewandt werden.
Das Objekt-File 78 wird dann in dem Kasten 98 in der oben diskutierten Art und Weise aktualisiert.
Wie von Fachleuten gut verstanden wird, können verschiedene oder einige Schritte und Verfahren, die hier erörtert wurden, um die Erfindung zu beschreiben, von einem Computer, einem Prozessor oder einer anderen elektronischen Recheneinheit ausgeführt werden, die mit Hilfe elektrischer Phänomene Daten manipuliert und/oder transformiert. Diese Computer und elektrischen Geräte können verschiedene flüchtige und/oder nicht flüchtige Speicher inklusive einem festen computerlesbaren Medium mit einem darauf befindlichen ausführbaren Programm beinhalten, das verschiedene Codes oder ausführbare Instruktionen beinhaltet, die von dem Computer oder Prozessor ausgeführt werden, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Arten von einem Speicher und anderen computerlesbaren Medien beinhalten kann.
Die vorhergehende Diskussion zeigt und beschreibt rein exemplarische Ausführungsbeispiele der vorliegenden Erfindung. Ein Fachmann kann leicht aus der Diskussion an den beigefügten Figuren und Patentansprüchen erkennen, dass zahlreiche Änderungen, Modifikationen und Variationen gemacht werden können, ohne dabei den Geist und den Bereich der Erfindung zu verlassen, wie er mit den folgenden Patentansprüchen definiert ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7991550 [0118]

Claims

Ein Verfahren zum Zusammenfassen von Sensorsignalen von zumindest zwei LiDAR-Sensoren, die überlappende Sichtfelder aufweisen, um Objekte, die von diesen Sensoren detektiert werden, zu verfolgen, wobei das Verfahren umfasst: – Definieren eines Transformationswertes für zumindest einen der LiDAR-Sensoren, der einen Orientierungswinkel und eine Position des Sensors identifiziert; – Bereitstellen von Zielabtastpunkten von den Objekten, die von den Sensoren detektiert werden, wobei die Zielabtastpunkte für jeden Sensor eine separate Zielabtastkarte bereitstellt; – Projizieren der Zielabtastkarte von dem zumindest einen Sensor zu dem anderen der LiDAR-Sensoren unter Verwendung eines gegenwärtigen Transformationswerts, um die Zielabtastpunkte von den Sensoren zu überlappen; – Bestimmen einer Vielzahl von den Gewichtungswerten unter Verwendung des gegenwärtigen Transformationswerts, wobei jeder Gewichtungswert eine Positionsänderung von einem der Abtastpunkte für den zumindest einen Sensor zu einem Ort eines Abtastpunktes für den anderen von den Sensoren identifiziert; – Berechnen eines neuen Transformationswerts unter Verwendung der Gewichtungswerte; – Vergleichen des neuen Transformationswerts mit dem gegenwärtigen Transformationswert, um eine Differenz aus beiden zu bestimmen; und – Überarbeiten der Vielzahl von Gewichtungswerten basierend auf der Differenz zwischen dem neuen Transformationswert und dem gegenwärtigen Transformationswert bis der neue Transformationswert mit dem gegenwärtigen Transformationswert übereinstimmt.
Verfahren nach Anspruch 1, wobei die LiDAR-Sensoren auf einem Fahrzeug sind.
Verfahren nach Anspruch 1, des Weiteren umfassend das Auswählen eines Anfangstransformationswerts für den zumindest einen der Sensoren, der am Anfang als der gegenwärtige Transformationswert verwendet wird.
Verfahren nach Anspruch 3, wobei das Auswählen eines Anfangstransformationswerts das Auswählen eines Anfangstransformationswerts aus der Gruppe bestehend aus einer Hersteller-Voreinstellung, Null und einem geschätzten Wert beinhaltet.
Verfahren nach Anspruch 1, wobei das Bestimmen einer Vielzahl von Gewichtungswerten das Verwenden der Gleichung
beinhaltet, wobei a_jk der Gewichtungswert für einen bestimmten Abtastpunkt ist, S_j die Abtastpunkte von dem zumindest einen der LiDAR-Sensoren sind, m_k die Abtastpunkte von dem anderen der LiDAR-Sensoren sind, T der Transformationswert und K eine Kernel-Funktion ist, die definiert ist als

wobei σ eine Varianz ist.
Verfahren nach Anspruch 1, des Weiteren umfassend das Bestimmen, dass der gegenwärtige Transformationswert größer als ein vorbestimmter Schwellenwert ist, wobei falls der gegenwärtige Transformationswert größer als der vorbestimmte Schwellenwert ist, dann der Transformationswert basierend auf einer Rotationsmatrix und einem Translationsvektor definiert wird.
Verfahren nach Anspruch 6, wobei das Definieren eines Transformationswertes das Verwenden eines Partikelschwarmoptimierungsverfahrens beinhaltet, welches das Erzeugen einer Vielzahl von Partikeln über eine vorbestimmte Anzahl von auswählbaren Transformationswerten, das Assoziieren eines normierten Gewichts zu jedem Partikel, das Setzen eines besten Transformationswertes für jeden Partikel und das Bereitstellen eines nominalen Transformationswerts mit einem besten Übereinstimmungsprozentsatz von dem zumindest einen der LiDAR-Sensoren auf den anderen der beiden LiDAR-Sensoren beinhaltet.
Verfahren nach Anspruch 1, des Weiteren umfassend das Bestimmen, dass eine Änderung in dem Transformationswert von einer Abtastzeit zu einer nächsten Abtastzeit unter einem vorbestimmten Schwellenwert ist, und wenn dies der Fall ist, das Reduzieren der Rechenkomplexität für das Bestimmen des gegenwärtigen Transformationswerts.
Verfahren nach Anspruch 8, wobei das Bestimmen, ob der gegenwärtige Transformationswert unterhalb eines vorbestimmten Schwellenwertes ist, dass Modellieren des gegenwärtigen Transformationswerts als Transformationen zwischen den Abtastpunkten beinhaltet.
Verfahren nach Anspruch 1, wobei das Definieren eines Transformationswertes das Verwenden eines Erwartungsmaximierungsalgorithmus umfasst.