-
Die
Erfindung betrifft ein Verfahren zum Orten eines Objekts, eine Einrichtung
zum Orten eines Objekts, ein Computerprogramm und ein Computerprogrammprodukt.
-
Stand der Technik
-
Systeme
zur räumlichen
Darstellung von Kartendaten in Fotoqualität, durch die eine 3D-Navigation unterstützt werden
kann, sind bekannt. Des weiteren werden zur Ortung eines Fahrzeugs
gängige
Verfahren wie Koppelnavigation („dead reckoning") mittels GPS-Signalen
und einer Fahrzeugsensorik, wobei Geschwindigkeit, Lenkwinkel, usw.
berücksichtigt
werden, eingesetzt.
-
In
zu durchfahrenden Bereichen mit hoher Bebauung kann für ein GPS-Signals
wegen Abschattungen und/oder Mehrwegeausbreitung es bei der Auswertung
zu Fehlortungen kommen. Fehlt das GPS-Signal über längere Strecken, dann akkumulieren
sich in der Koppelnavigation größere Fehler
auf, was schließlich
zu falschen Routeninformationen führen kann. Insbesondere in
dicht bebauten Gebieten kann dies zu einer fehlerhaften Navigation
führen.
-
Offenbarung der Erfindung
-
Bei
dem erfindungsgemäßen Verfahren
zum Orten eines Objekts werden erste Bildmerkmale aus einer 3D-Navigation
und zweite Bildmerkmale aus Videodaten extrahiert. Diese Bildmerkmale
werden gemeinsam verarbeitet.
-
In
einer Ausgestaltung dieses Verfahrens werden die Bildmerkmale gleichzeitig
ausgewertet. Es ist zudem möglich,
dass die Bildmerkmale fusioniert werden.
-
Somit
ist eine dreidimensionale Ortung des Objekts möglich. Die extrahierten ersten
und zweiten Bildmerkmale können
assoziiert bzw. verbunden oder verknüpft werden, so dass ein sog.
Matching, also ein Abgleich, eine Abstimmung oder eine Anpassung
der Bildmerkmale möglich
ist.
-
Ein
Ausführungsbeispiel
der Erfindung sieht vor, dass eine Route des Objekts bestimmt wird.
Dabei können
aus den Videodaten bereitgestellte Bildinformationen und eine Darstellung
der Route als ein sog. optisch hervorgehobener Fahrschlauch, der
der Route zugeordnet ist, insbesondere durch Überblendung, kontaktanalog
und/oder gemeinsam angezeigt und somit dargestellt werden.
-
In
einer weiteren Ausgestaltung wird ein als Fahrzeug ausgebildetes
Objekt geortet. Demzufolge kann über
das Verfahren zur Realisierung einer Navigation eine geeignete,
abzufahrende Route zum Erreichen eines bestimmten Ziels bestimmt
werden. Des weiteren kann einem Fahrer des Fahrzeugs die Route oder
Fahrempfehlung in gemeinsamer Darstellung mit den Videobildern auf
einer Anzeigeeinrichtung angezeigt werden.
-
Die
Erfindung betrifft außerdem
eine Einrichtung zum Orten eines Objekts, die ein Verarbeitungsmodul
aufweist, das dazu ausgebildet ist, aus einer 3D-Navigation extrahierte
Bildmerkmale sowie aus Videodaten extrahierte Bildmerkmale gemeinsam
zu verarbeiten.
-
Diese
Einrichtung weist in Ausgestaltung eine insbesondere georeferenzierte
3D-Datenbasis zur Bereitsteilung der Bildmerkmale der 3D-Navigation
lind mindestens eine Kamera zur Bereitstellung der Videodaten auf.
Zudem kann die Einrichtung ein Positionsbestimmungsmodul zum Orten
des Objekts aufweisen. In weiterer Ausgestaltung ist vorgesehen, dass
die Einrichtung eine Navigationseinheit zum Berechnen einer Route
des Objekts aufweist. Es kann ebenfalls vorgesehen sein, dass die
Einrichtung eine Anzeigeeinrichtung zum gemeinsamen Anzeigen von
Videobildern, die aus den Videodaten bereitgestellt werden, und
einer Darstellung der Route aufweist.
-
Diese
Einrichtung wirkt in Ausgestaltung mit einem als Fahrzeug ausgebildeten,
beweglichen Objekt zusammen, wobei die Einrichtung und insbesondere
die mindestens eine Kamera als eine Komponente des Objekts und somit
des Fahrzeugs ausgebildet ist. Somit kann mit der mindestens einen
Kamera ein Umfeld des Objekts von dem Objekt aus erfasst werden.
Bei einer Nutzung einer Ausführungsform
der Einrichtung und somit bei einer möglichen Anwendung des Verfahrens
ist vorgesehen, dass das als Fahrzeug ausgebildete Objekt geortet
wird.
-
Ein
ebenfalls erfindungsgemäßes Computerprogramm
mit Programmcodemitteln ist dazu ausgebildet, alle Schritte eines
erfindungsgemäßen Verfahrens
durchzuführen,
wenn das Computerprogramm auf einem Computer oder einer entsprechenden
Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung,
ausgeführt
wird.
-
Die
Erfindung betrifft zudem ein Computerprogrammprodukt mit Programmcodemitteln,
die auf einem computerlesbaren Datenträger gespeichert sind, um alle
Schritte eines erfindungsgemäßen Verfahrens
durchzuführen,
wenn das Computerprogramm auf einem Computer oder einer entsprechenden
Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung,
ausgeführt
wird.
-
Mit
der Erfindung wird somit u. a. eine Einrichtung und somit ein System
bereitgestellt, die aus der 3D-Datenbasis einer dreidimensionalen
Navigation Merkmale und insbesondere Bildmerkmale extrahiert, die
bei gleichzeitiger Auswertung von Bildmerkmalen aus Videodaten und
somit von Videobilddaten für
die Ortung genutzt werden können.
-
Es
ist mit der Erfindung in einer Ausgestaltung bspw. möglich, die
3D-Datenbasis der dreidimensionalen Navigation so zu nutzen, dass
insbesondere in dicht bebauten Gebieten jederzeit eine ausreichend
genaue Ortung gewährleistet
ist.
-
Außerdem ist
mit dem Verfahren bei einer Anwendung unabhängig von der Verfügbarkeit
eines GPS-Signals eine exakte Ortung des Objekts oder einer bewegbaren
Vorrichtung und insbesondere eines Fahrzeugs möglich. Demzufolge kann einem
Fahrer des Fahrzeugs eine fehlerfreie Navigation mit präzisen Hinweisen
für die
abzufahrende Route bzw. eine Fahrempfehlung bereitgestellt werden.
-
In
einer Ausführungsform
bietet sich die Möglichkeit
an, eine kontaktanaloge Einblendung von Objekten, Fahrempfehlungen,
Hinweisen etc. in ein Videobild oder Head-up-Display durch gleichzeitige
Auswertung der Bildmerkmale von 3D-Kartendaten aus der 3D-Navigation
und der Bildmerkmale aus den Videodaten bereitzustellen. Die Erfindung
kann demnach dazu geeignet sein, den Fahrer des Fahrzeugs in unübersichtlichen
Verkehrssituationen zu entlasten.
-
Es
ist somit in weiterer Ausgestaltung möglich, auch auf Basis des GPS-Signals
und einer aktuellen digitalen Karte eine Möglichkeit zu realisieren, dass
eine Fahrempfehlung kontaktanalog in ein Videobild eingeblendet
wird. Dabei wird zur optischen Darstellung der empfohlenen Route
ein dieser Route zugeordneter Fahrschlauch als farblich markierte Fläche perspektivisch
in das Bild der Videokamera oder in ein Head-up Display eingeblendet,
so dass diese eingefärbte
Fläche
exakt mit dem tatsächlichen Fahrbahnverlauf
zur Deckung kommt. Ein GPS-Signal und eine Ortung müssen in
diesem Fall dafür
eine Genauigkeit von höchstens
1 m besitzen. In der Regel kommt der durch den eingeblendeten Fahrschlauch
vorgeschlagene Weg hinreichend gut mit dem tatsächlichen Straßenverlauf
zur Deckung.
-
Bei
der erfindungsgemäßen Anordnung
können
in einer Ausführungsform
Kamerasysteme verwendet werden, die mindestens eine an dem Fahrzeug
angeordnete Kamera umfassen und einen Fahrzeug-Außenraum
betrachten, diese mindestens eine Kamera stellt in geeigneter Weise
aufbreitete Bilddaten auf einem Anzeigegerät dar (z.B. NightView von DC).
-
Bei
einer Variante der Erfindung kann eine Extraktion der Bildmerkmale
offline erfolgen. Merkmale und insbesondere Bildmerkmale können demnach
schon vor Inbetriebnahme der Einrichtung insbesondere offline ermittelt
und zusammen mit den eigentlichen Texturdaten in der 3D-Datenbasis
abgespeichert werden. Dadurch kann die zur Ausführung des Verfahrens benötigte Verarbeitungszeit
gesenkt werden. Wird bspw. keine Anzeige der 3D-Daten benötigt, so
kann auf eine Speicherung der Texturdaten verzichtet werden. Dadurch
wird eine benötigte
Datenmenge erheblich reduziert.
-
Als
Bildmerkmale zur Bereitstellung der Anzeige können nicht nur Bildmerkmale
dienen, die aus Einzelbildern extrahiert werden, sondern auch Bildmerkmale,
die aus der Auswertung von aufeinanderfolgenden Bildpaaren ermittelt
werden. Demnach können
die Bildmerkmale in einem optischen Fluss in einer zeitlichen Abfolge
miteinander verknüpft
oder verbunden sein.
-
In
der Anordnung kann anstelle mindestens einer gewöhnlichen Kamera, die eine Szene
als zweidimensionale Darstellung abbildet, mindestens eine 3D-Kamera
verwendet werden. Hierdurch kann neben der Grauwertinformation zu
jedem Pixel des Videobilds noch ein Tiefenwert geliefert werden.
Die Suche nach Korrespondenzen kann direkt im dreidimensionalen
Raum stattfinden, d.h. eine Umrechnung von virtuellen Szenen in
ein zweidimensionales Bild und somit Videobild entfällt. Außerdem wird
eine Korrespondenzsuche robuster, zumal bei einer Suche im zweidimensionalen
Bild Mehrdeutigkeiten möglich
sind, da Punkte auf dem Sehstrahl, unabhängig davon, welchen Tiefenwert
sie besitzen, immer auf demselben Bildpunkt abgebildet werden.
-
Die
mindestens eine Kamera, insbesondere Videokamera kann innerhalb
oder außerhalb
des Fahrzeugs sein. Durch die 3D-Datenbank mit Texturdaten wird
eine virtuelle aber realitätsnahe
3D-Ansicht der Straßenszene
angezeigt. Diese Daten inkl. der Texturen werden für die Ortung
benutzt.
-
Weitere
Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der
Beschreibung und den beiliegenden Zeichnungen.
-
Es
versteht sich, dass die vorstehend genannten und die nachstehend
noch zu erläuternden Merkmale
nicht nur in der jeweils angegebenen Kombination, sondern auch in
anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne
den Rahmen der vorliegenden Erfindung zu verlassen.
-
Kurze Beschreibung der Zeichnungen
-
1 zeigt
in schematisch Darstellung eine Ausführungsform einer erfindungsgemäßen Einrichtung.
-
2 zeigt
in schematischer Darstellung eine Ausführungsform eines Videobilds,
in dem eine kontaktanalog überlagerte
Fahrempfehlung abgebildet ist.
-
Ausführungsformen der Erfindung
-
Die
Erfindung ist anhand von Ausführungsformen
in den Zeichnungen schematisch dargestellt und wird im folgenden
unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
Die
in 1 schematisch dargestellte Ausführungsform
der erfindungsgemäßen Einrichtung 2 umfasst
mindestens eine Kamera 4, die an einem Fahrzeug montiert
ist, eine georeferenzierte 3D-Datenbasis 6, ein erstes
Modul 8 zur Extraktion von Bildmerkmalen der 3D-Datenbasis 6,
ein zweites Modul 10 zur Extraktion von Bildmerkmalen der
Kamera 4 auf. Des weiteren ist ein Verarbeitungsmodul 12 zum Assoziieren
der extrahierten Bildmerkmale und somit zum Abgleichen dieser im
ersten und zweiten Modul 8, 10 extrahierten Bildmerkmale
sowie ein Positionsbestimmungsmodul 14 zu einer 3D-Ortung
des Fahrzeugs vorgesehen. Diese 3D-Ortung erfolgt auf Grundlage assoziierter
Daten, die von dem Verarbeitungsmodul 12 bereitgestellt
werden.
-
Unterstützt wird
die Bestimmung der Position und somit die 3D-Ortung durch GPS-Daten,
die einem Empfangsmodul 16 der Einrichtung 2 von
einem Satelliten bereitgestellt werden und die zur Initialisierung
geeignet sind. Im Falle fehlender 3D-Daten, z.B. in unbebauten Gebieten,
werden GPS-Daten zur 3D-Ortung verwendet. Außerdem ist das Positionsbestimmungsmodul 14 mit
einem ersten Sensor 18 zum Erfassen von Raddrehzahlen des
Fahrzeugs, einem zweiten Sensor 20 zum Erfassen von Lenkwinkeln
des Fahrzeugs und einem dritten Sensor 22 zum Erfassen
von Drehraten des Fahrzeugs verbunden. Des weiteren weist das Positionsbestimmungsmodul 14 ein
Prädiktionsmodul 24 auf.
-
Eine
von dem Positionsbestimmungsmodul 14 bestimmte Position
des Fahrzeugs wird von einer Navigationseinheit 26 zum
Berechnen einer Route des Fahrzeugs genutzt. Für eine Routenberechnung werden
zusätzliche
Daten benötigt,
die in einer 2D-Datenbasis 28 für herkömmliche digitale Karten abgelegt
sind. Diese 2D-Datenbasis 28 umfasst Fahrbahnverläufe als
Verbindungen zwischen bestimmten Knotenpunkten, Straßenklassen,
Einbahnstraßen,
usw. Schließlich
werden die darzustellenden Daten, die in der vorliegenden Ausführungsform Navigationshinweise
und einen der Route zugeordneten Fahrschlauch umfassen, auf einer
Anzeigeeinrichtung 30, die als Bildschirm oder Head-up-Display ausgebildet
ist, angezeigt.
-
In
der 3D-Datenbasis 6 sind 3D-Modelle von Gebäuden, Brücken und
anderen künstlichen
Strukturen abgelegt. Diese 3D-Modellen umfassen weiterhin Texturdaten,
wobei es sich um photographische Daten von Objekten, wie bspw. Häuserfronten
usw., handelt. Aus den 3D-Modellen
und den Texturdaten können
für die
Anzeige künstliche
Ansichten einer Szene generiert werden. Weiterhin können 3D-Modelle
von Straßenkreuzungen
und anderen Straßenstrukturen,
z.B. einem Kreisverkehr, abgelegt sein.
-
In
dieser Ausführungsform
wird das 3D-Modell einer Kreuzung durch eine Anzahl, Breite und
die Winkel der einmündenden
Straßen
sowie die Koordinaten eines Referenzpunktes und der Anzahl der Fahrspuren
in jeder einmündenden
Straße
parametrisiert. Gleichzeitig können
auch Texturdaten von der Kreuzung, z.B. Haltelinien, Abbiegepfeile,
Schilder, mit den entsprechenden Koordinaten abgelegt sein.
-
Aus
einer initialen Schätzung
der Position und Orientierung des Fahrzeugs, die aus GPS-Daten oder
aus einem vorhergegangenen Berechnungsschritt ermittelt wird, wird
eine künstliche
Ansicht und somit ein künstliches
Bild der Szene erzeugt. Aus dem künstlichen Bild werden nun Bildmerkmale
extrahiert. Das können
z.B. Kanten und demnach Linien mit starken Grauwertgradienten, Ecken,
geschlossene Konturen oder allgemein geometrische Objekte sein.
Dieselben Bildmerkmale werden aus einem von der mindestens einen
Kamera 4 aufgenommenen Videobild der realen Szene generiert.
Schließlich
werden die im künstlichen
Bild gefundenen Bildmerkmale mit denen aus der realen Szene in dem
Verarbeitungsmodul 12 assoziiert, so dass ein sog. Matching erfolgt.
Zur Beschleunigung kann die Suche nach Korrespondenzen z.B. auf
verschiedenen Auflösungsstufen
der Bilder, beginnend bei einer niedrigen Auflösung, durchgeführt werden.
Die Weltposition der Bildmerkmale in der künstlichen Szene ist bekannt,
da die Modelle aus der georeferenzierten 3D-Datenbasis stammen.
-
Werden
mindestens drei Punkte und somit drei 2D-Bildkoordinaten im Videobild
der Kamera 4 wieder gefunden, so werden mit einem aus der
Geodäsie
bekannten räumlichen
Rückwärtschnitt
die äußere Orientierung
der Kamera 4 und mithin die Position und Orientierung des
Fahrzeugs bestimmt, sofern die Punkte nicht auf einer Geraden liegen
und eine innere Orientierung der Kamera 4, d. h. Bildhauptpunkte
und eine Kamerakonstante, bekannt ist. Aus diesen drei 2D-Bildkoordinaten werden
nach bekannten Rechenvorschriften die 3D-Koordinaten und die Drehwinkel
bzgl. der drei Koordinatenachsen der Kamera 4 bestimmt.
Aus einer bekannten Einbaulage der Kamera 4 relativ zum
Fahrzeug wird somit auch die Position und Orientierung des Fahrzeugs abgeleitet.
Werden mehr als die Mindestanzahl von drei Punkten gefunden, so
kann ein Fehler im Ortungsergebnis durch Ausgleichsrechnung verringert und
eine Fehlzuordnung eliminiert werden.
-
Mit
Hilfe der Geschwindigkeit, die aus den Raddrehzahlen abgeleitet
wird, dem Lenkwinkel und der Drehraten des Fahrzeugs, die über die
Sensoren 18, 20, 22 erfasst werden, wird
die Route und somit ein Pfad bestimmt, auf dem sich das Fahrzeug
weiter bewegen wird. Damit wird die Position und Orientierung des
Fahrzeugs zum nächsten
Bildzeitpunkt der Kamera 4, z.B. mit t = 40 ms bei einer
Bildwiederholrate von 25 Hz, in dem Prädiktionmodul 24 geschätzt. Die
so gewonnen Ortungsdaten dienen wieder als Initialwert für die Berechnung
der künstlichen
Ansicht der Szene.
-
In
der Nähe
einer Kreuzung wird nun mit dieser gegenüber den reinen GPS-Daten verbesserten Ortung
die Lage relativ zur Kreuzung bestimmt. Unter Berücksichtigung
des in der 3D-Datenbasis 6 abgelegten
Modells der Kreuzung und der zusätzlichen 2D-Daten
aus der 2D-Datenbasis 28,
die u.a. Darstellungen unterschiedlicher Straßentypen umfasst, wird durch
die Navigationseinheit 26 ein genauer Verlauf der zum Abfahren
empfohlenen Route mit den dabei nötigen Spurwechseln bestimmt.
Mit Hilfe der zuvor bestimmten Orientierungsparameter der Kamera 4 kann
nun die Fahrempfehlung perspektivisch richtig und kontaktanalog
dem auf der Anzeigeeinrichtung 30 dem Videobild überlagert
werden.
-
Eine
Ausführungsform
eines derartigen Videobilds 32 ist in 2 dargestellt.
Auf dem Videobild 32 ist eine Szene einer Straße gezeigt,
der kontaktanalog eine Fahrempfehlung 34, ein sog. Fahrschlauch,
farblich überlagert
ist. Anhand dieser Fahrempfehlung 34 wird dem Fahrer des
Fahrzeugs über die
in dem Fahrzeug angeordnete Anzeigeeinrichtung 30 graphisch
gezeigt, entlang welcher Route er zum Erreichen eines gewünschten
Ziels fahren kann.