-
Die vorlegende Erfindung betrifft ein Verfahren und ein System zur Fahrzeugumfeldrekonstruktion mittels einer Kamera sowie eine entsprechend ausgestaltetes Fahrzeug.
-
Nach dem Stand der Technik sind zum einen Verfahren bekannt, um mittels einer Kamera aus einem fahrenden Fahrzeug heraus Verkehrszeichen zu erfassen; siehe dazu
DE 10 2007 021 576 A1 oder
EP 2 048 618 A1 . Darüber hinaus ist es aus der
DE 10 2006 039 104 A1 bekannt, eine Entfernungsmessung von Objekten auf der Grundlage von Bilddaten eines Kamerasystems vorzunehmen. Die
DE 10 2006 055 908 A1 offenbart ein Verfahren zur automatischen Fernlichtsteuerung von Kraftfahrzeugscheinwerfern basierend auf einem Kamerasensor, mit welchem die Fahrzeugumgebung überwacht wird.
-
Die vorliegende Erfindung stellt sich die Aufgabe, ein Modell eines Umfelds eines Fahrzeugs zu erstellen, welches dieses Umfeld genauer beschreibt, als es nach dem Stand der Technik möglich ist.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs nach Anspruch 1, durch ein System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs nach Anspruch 11 und durch ein Fahrzeug nach Anspruch 13 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.
-
Im Rahmen der vorliegenden Erfindung wird ein Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs bereitgestellt. Dabei wird mit Hilfe einer Kamera, insbesondere einer Monokamera, das Umfeld in Fahrtrichtung des Fahrzeugs erfasst und mehrere Bilder dieses Umfelds mittels der Kamera erzeugt. Über diese Bilder werden dreidimensionale Strukturen und deren Position innerhalb des Umfelds bestimmt, indem beispielsweise mit Bildverarbeitungsalgorithmen die Bewegung dieser Strukturen oder der diese Strukturen ausbildenden Pixel innerhalb einer Bildsequenz verfolgt wird, welche aus den mehreren Bildern besteht. Dabei werden Informationen über diese dreidimensionalen Strukturen oder der diese Strukturen beschreibenden 3D-Punkte in eine zweidimensionale in Zellen unterteilte Belegungskarte bzw. Umfeldkarte eingetragen, wobei diese Belegungskarte eine zweidimensionale Diskretisierung des Fahrzeugumfelds darstellt. Dabei wird jeder Zelle der Belegungskarte eine Information zugewiesen, ob die entsprechende Zelle mit einem durch die Strukturen repräsentierten Objekt belegt ist. Dies kann beispielweise über Wahrscheinlichkeitswerte erfolgen, welche diesen Zellen zugewiesen werden und welche einen Wert für eine Wahrscheinlichkeit angeben, mit welcher die entsprechende Zelle mit einem Objekt belegt ist.
-
Mit anderen Worten werden in einem ersten Schritt des erfindungsgemäßen Verfahrens beispielsweise mittels eines Ansatzes wie ”Structure from Motion” bestimmte Strukturen und dadurch bestimmte Objekte samt ihrer Position in dem Umfeld des Fahrzeugs erfasst, während in einem zweiten Schritt Informationen über diese Strukturen oder Objekte in eine Karte übertragen werden, in welcher für die Ebene, auf welcher sich das Fahrzeug bewegt, freie und belegte Flächen vorhanden sind. Dabei wird unter einer belegten Fläche oder Zelle eine Fläche bzw. Zelle verstanden, welche von einem Objekt belegt ist, während eine freie Fläche oder Zelle von keinem Objekt belegt ist.
-
Die beispielsweise mittels ”Structure from Motion” bestimmten Strukturen und Objekte können auch in einer dreidimensionalen Karte bzw. einem dreidimensionalen Datensatz gespeichert werden, aus welchem dann die entsprechenden Informationen extrahiert und in die zweidimensionale Karte übertragen werden. Die Speicherung in der dreidimensionalen Karte weist den Vorteil auf, dass hier auch eine Höheninformation hinterlegt ist.
-
Mit dem erfindungsgemäßen Verfahren kann vorteilhafterweise eine Kollision des Fahrzeugs mit Objekten im Umfeld des Fahrzeugs vermieden werden.
-
Zur Durchführung des erfindungsgemäßen Verfahrens wird die Kamera dabei insbesondere in Fahrtrichtung des Fahrzeugs ausgerichtet.
-
Indem die Kamera in der Fahrtrichtung des Fahrzeugs ausgerichtet ist, erfasst sie vorteilhafterweise genau den Bereich des Umfelds des Fahrzeugs, welchen das Fahrzeug demnächst durchfahren wird, welcher daher zur Kollisionsvermeidung am wichtigsten ist.
-
Gemäß einer bevorzugten erfindungsgemäßen Ausführungsform wird das erfindungsgemäße Verfahren um eine Flächensegmentierung ergänzt. Dabei werden mit Hilfe von Bildverarbeitungsmittel Bildbereiche innerhalb der Bilder mit einer ähnlichen Farbe oder Struktur erfasst und somit das entsprechende Bild in Cluster oder Flächensegmente mit ähnlicher Farbe oder Struktur unterteilt oder segmentiert. Anschließend werden die freien Zellen (d. h. Zellen, bei welchen die Wahrscheinlichkeit für eine Belegung mit einem Objekt unterhalb eines vorbestimmten Schwellenwerts liegt) der Karte den jeweiligen Flächensegmenten zugewiesen. Flächensegmente, welche einen vorbestimmten Prozentsatz an freien Zellen umfassen, werden als freies Flächensegment betrachtet und demnach als eine zusammenhängende freie (d. h. von keinem Objekt belegte) Fläche zurück in die Belegungskarte eingetragen.
-
Der Einsatz der Flächensegmentierung im Rahmen der vorlegenden Erfindung weist den Vorteil auf, dass einzelne falsche 3D-Messungen zuverlässig ausgefiltert werden.
-
Darüber hinaus hat es sich als vorteilhaft erwiesen, wenn aus den mehreren von der Kamera erfassten Bildern diejenigen Bilder ausgewählt werden, bei welchen sich die Kamera zwischen zwei aufeinanderfolgenden dieser ausgewählten Bilder bei der Aufnahme des entsprechenden Bildes um mehr als eine vorbestimmte Strecke bewegt hat. Mittels Triangulation wird dann für jedes dieser ausgewählten Bilder eine dreidimensionale Ortsbestimmung der Strukturen innerhalb des Umfelds durchgeführt.
-
Da sichergestellt ist, dass sich die Kamera zwischen derjenigen Stelle, an welcher die Kamera ein bestimmtes dieser ausgewählten oder auszuwertenden Bilder erfasst hat, und derjenigen Stelle, an welcher die Kamera das dem bestimmten Bild folgende auszuwertende Bild aufgenommen hat, zumindest um die vorbestimmte Strecke bewegt hat, ist der Abstand der Kamerapositionen bezüglich zwei zeitlich aufeinanderfolgenden auszuwertenden Bildern ausreichend groß, damit mittels der Triangulation entsprechend genaue Messergebnisse erzielt werden können.
-
Insbesondere wird zur Verbesserung der Ergebnisse des erfindungsgemäßen Verfahrens eine Bewegung der Kamera möglichst genau erfasst. Dazu kann die Bewegung der Kamera zum einen anhand von Fahrzeugdaten, z. B. anhand von Daten eines Wegimpulsgebers, eines Gierratensensors oder Lenkradsensors des Fahrzeugs, erfasst werden. Zum anderen kann die Bewegung der Kamera anhand des optischen Flusses innerhalb der Bildsequenz unter Berücksichtigung entsprechender Einschränkungen, welche durch die epipolare Geometrie bezüglich der Bewegung der Strukturen innerhalb der Bildsequenz gegeben sind, rekonstruiert werden. Aus der derart ermittelten Bewegung der Kamera wird eine möglichst genaue jeweilige Position der Kamera für das jeweilige Bild bestimmt. Die Triangulation wird abhängig von den derart bestimmten Positionen der Kamera (genauer Position der Kamera relativ zur Position der Kamera bei dem vorherigen Bild) zur Ortsbestimmung der Strukturen innerhalb der Bilder durchgeführt.
-
Durch eine derartige Bestimmung der Bewegung der Kamera können auch entsprechende Nick- und Wankbewegungen des Fahrzeugs (und damit der Kamera) entsprechend berücksichtigt werden, so dass die Ergebnisse des erfindungsgemäßen Verfahrens durch diese Nick- und Wankbewegungen vorteilhafterweise nicht verfälscht werden.
-
Der optische Fluss wird dabei insbesondere über ein so genanntes dichtes Verfahren bestimmt, bei welchem für jedes Pixel eines bestimmten Bildes ein Geschwindigkeitsvektor bestimmt wird, welcher angibt, in welcher Richtung und mit welcher Geschwindigkeit sich das jeweilige Pixel von dem bestimmten Bild zu einem entsprechenden Pixel in einem zeitlich folgenden Bild bewegt. Anders ausgedrückt wird unter einem optischen Fluss in der Bildverarbeitung ein Vektorfeld verstanden, welches die Bewegungsrichtung und -Geschwindigkeit für jeden Bildpunkt (Pixel) einer Bildsequenz angibt. Der optische Fluss kann demnach als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden.
-
Der Einsatz eines dichten Verfahrens zur Bestimmung des optischen Flusses erhöht die Datendichte und damit die Robustheit des Verfahrens.
-
Darüber hinaus ist es möglich, dass eine oder mehrere weitere Kameras zur Erfassung des Umfelds des Fahrzeugs eingesetzt werden. Diese eine oder diese mehreren Kameras werden vorteilhafterweise an einer anderen Stelle als die vorab erwähnte Kamera an dem Fahrzeug befestigt und erzeugen, in ähnlicher Weise wie die vorab erwähnte Kamera, mehrere Bilder des Umfelds. Mittels dieser Bilder kann zum Beispiel die Bewegung der vorab erwähnten Kamera abgeschätzt werden, so dass die Bestimmung der Bewegung der Kamera mittels der einen oder der mehreren weiteren Kameras weiter verbessert werden kann.
-
Die vorliegende Erfindung kann auch eine so genannte Top-View-Kamera-Konfiguration einsetzen, bei welcher jeweils eine Kamera nach vorn, nach hinten, nach rechts und nach hinten (bezüglich des Fahrzeugs) gerichtet ist. Damit lässt sich das Umfeld rund um das Fahrzeug erfassen.
-
Durch die Nutzung einer solchen Mehr-Kamera-Konfiguration (d. h. einer Konfiguration, welche neben der vorab erwähnten Kamera noch eine oder mehrere weitere Kameras umfasst) lässt sich die Bewegung der vorab erwähnten Kamera robuster und genauer abschätzen, wodurch die Qualität der Erstellung des Umfeldmodels verbessert werden kann.
-
Eine weitere erfindungsgemäße Erweiterung besteht darin, mittels Ultraschallwellen-Sensoren Informationen über Objekte in dem Umfeld des Fahrzeugs zu erfassen und auf Grundlage dieser Informationen den Informationsgehalt der Belegungskarte zu verbessern.
-
Durch diese Kopplung des erfindungsgemäßen Verfahrens mit von Ultraschall-Sensoren erfassten Informationen lässt sich vorteilhafterweise die Robustheit des erfindungsgemäßen Verfahrens erhöhen.
-
Das erfindungsgemäße Verfahren kann beispielsweise automatisiert in einem Kollisionsüberwachungssystem des Fahrzeugs durchgeführt werden. Dabei wird unter einem Kollisionsüberwachungssystem zum einen eine Einparkunterstützung (z. B. bei teil- oder vollautomatischen Einparkvorgängen z. B. in eine Garage) und zum anderen Erweiterungen eines Spurhalteassistenten (Heading Control, Lane-Assist) beispielsweise im Baustellenbereich durch Erfassen der Leitplanke verstanden. Darüber hinaus ist eine Ersetzung der PDC-Sensoren (Park Distance Control) durch Kameras mittels der vorliegenden Erfindung denkbar, wobei allerdings erfindungsgemäß mehrere Kameras eingesetzt werden sollten, um auch bei stillstehendem Fahrzeug eine möglichst genaue Erfassung des Umfelds zu gewährleisten.
-
Im Rahmen der vorliegenden Erfindung wird auch ein System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs bereitgestellt. Dabei umfasst das System eine Kamera zur Erfassung des Umfelds des Fahrzeugs in Fahrtrichtung und eine Steuerung. Die Steuerung steuert die Kamera derart an, dass die Kamera mehrere Bilder des Umfelds des Fahrzeugs erzeugt. Die Steuerung ist derart ausgestaltet, dass die Steuerung ausgehend von diesen Bildern dreidimensionale Strukturen und deren Position in dem Umfeld erfasst, indem die Steuerung eine Bewegung dieser Strukturen innerhalb einer aus den mehreren Bildern bestehenden Bildsequenz verfolgt. Die Steuerung überträgt Informationen über die Strukturen in eine zweidimensionale zellenbasierte Karte des Umfelds, wobei die Steuerung jeder Zelle der Karte die Information zuweist, ob diese Zelle mit einem durch die Strukturen repräsentierten Objekt belegt ist oder nicht.
-
Die Vorteile des erfindungsgemäßen Systems entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens, welche vorab im Detail ausgeführt worden sind, so dass hier auf eine Wiederholung verzichtet wird.
-
Schließlich wird im Rahmen der vorliegenden Erfindung ein Fahrzeug mit einem erfindungsgemäßen System bereitgestellt.
-
Die vorliegende Erfindung ist insbesondere für eine Kollisionsvermeidung für ein Fahrzeug geeignet. Selbstverständlich ist die vorliegende Erfindung nicht auf diesen bevorzugten Anwendungsbereich eingeschränkt, da die vorliegende Erfindung auch bei Schiffen, Flugzeugen oder gleisgebundenen Fahrzeugen eingesetzt werden könnte.
-
Im Folgenden wird die vorliegende Erfindung anhand von erfindungsgemäßen Ausführungsformen im Detail mit Bezug zu den Figuren erläutert.
-
Mit 1 wird dargestellt, wie das Verfahren ”Structure from Motion” arbeitet.
-
In 2 ist ein Beispiel für eine mittels des optischen Flusses erfassten Bewegung dargestellt.
-
Mit 3 ist dargestellt, welche Bilder einer Sequenz für eine dreidimensionale Rekonstruktion ausgewählt werden.
-
In 4 ist ein Beispiel einer Belegungskarte im Vergleich zur realen Umgebung dargestellt.
-
In 5 ist das erfindungsgemäße Verfahren schematisch dargestellt.
-
6 stellt schematisch ein erfindungsgemäßes Fahrzeug mit einem erfindungsgemäßen System dar.
-
Wie in 1 dargestellt ist, treffen sich Sichtstrahlen, welche von zwei verschiedenen Kamerapositionen aus bzw. von zwei verschiedenen Positionen eines Fahrzeugs 10 denselben Bildpunkt eines Objektes 1 anpeilen, unter einem bestimmten Winkel. Mit Kenntnis der genauen Kameraposition bei beiden Aufnahmen lässt sich die dreidimensionale Position des angepeilten Bildpunkts und damit des Objektes 1 berechnen, was auch als Triangulation bezeichnet wird.
-
Im Folgenden wird eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens Schritt für Schritt beschrieben. Dabei ist die angegebene Reihenfolge des Verfahrens nicht als chronologische Reihenfolge zu verstehen.
- 1. Während einer Fahrt des Fahrzeugs 10 werden aufeinanderfolgende Bilder 5 mit einer in Fahrtrichtung des Fahrzeugs 10 ausgerichteten Monokamera (Frontkamera) 4 aufgenommen.
- 2. Mit Bildverarbeitungsalgorithmen wird eine Bewegung von einzelnen Pixeln oder Bildbereichen innerhalb einer aus diesen Bildern 5 bestehenden Bildsequenz verfolgt. Diese Verfolgung der Bewegung wird über den optischen Fluss realisiert (siehe 2, in welcher der optische Fluss für bestimmte Bildpunkte dargestellt ist). Dabei werden so genannte Tracks (Trajektorien auf der Bildebene) von den einzelnen Pixeln (auch als Feature benannt) gebildet.
- 3. Die Bewegung des Fahrzeugs 10 wird mit Hilfe von üblicherweise im Fahrzeug 10 vorhandenen Sensoren (z. B. Wegimpulsgeber, Gierratensensor, Lenkradsensor) erfasst, um daraus die Bewegung der Kamera 4 und schließlich die Position der Kamera 4 bei der Aufnahme eines bestimmten Bildes zu erfassen.
- 4. Für jedes Bild A werden bestimmte Bildpunktpaare aus den Feature-Tracks extrahiert, wobei der eine Bildpunkt dem Feature in dem Bild A und der andere Bildpunkt des Bildpunktpaars dem entsprechenden Bildpunkt des Features in dem Bild B, welches vor dem Bild A aufgenommen worden ist, entspricht. Dabei werden die Bilder A und B derart aus den mit der Kamera 4 erfassten Bildern ausgewählt, dass die Fahrzeugbewegung und damit die Kamerabewegung zwischen den Bildern A und B signifikant (z. B. > 10 cm) ist.
In 3 sind die von der Monokamera 4 über der Zeit aufgenommenen Bilder 5 dargestellt. Der optische Fluss (OF) wird jeweils zwischen zwei zeitlich benachbarten Bildern 5 berechnet und in Tracks verkettet. Für die dreidimensionale Rekonstruktion (”Structure from Motion” (SfM)) werden zwei zeitlich aufeinanderfolgende Bilder derart ausgewählt, dass die entsprechende Bewegung der Kamera 4 zwischen diesen beiden Bildern signifikant (z. B. > 10 cm) ist.
- 5. Die im Schritt 3 bestimmte Bewegung des Fahrzeugs 10 bzw. der Kamera 4 zwischen den Bildern A und B wird mit Hilfe von Kalibrierdaten (Einbauort der Kamera und Orientierung der Kamera) in die Bewegung der Kamera 4 umgerechnet, um so die Position der Kamera 4 bei der Aufnahme des entsprechenden Bildes 5 zu bestimmen.
- 6. Die Rekonstruktion der Kamerabewegung kann durch die Schätzung der so genannten epipolaren Geometrie (relative Lage der Kamera zum Zeitpunkt der Aufnahme bestimmter Bilder) unter Berücksichtigung des optischen Flusses verbessert werden. Dadurch kann auch eine Nick- und Wankbewegung des Fahrzeugs 10 und damit der Kamera 4 besser berücksichtigt werden.
- 7. Die möglichst genaue Position der Kamera bei der Aufnahme des Bildes A relativ zu der möglichst genauen Position der Kamera bei der Aufnahme des Bildes B wird genutzt, um für jedes Bildpunktpaar A-B den Schnittpunkt der Strahlen aus Bild A und aus Bild B zu ermitteln. Dieses Verfahren wird in der Bildverarbeitung Triangulation genannt, wobei der Schnittpunkt der Strahlen die Position des jeweiligen Bildpunkts in dem dreidimensionalen Raum bestimmt.
- 8. Strukturen bzw. Objekte, welche durch die derart erfassten Bildpunkte genau im dreidimensionalen Raum lokalisiert werden können, werden in eine zellenbasierte Belegungskarte 2 oder Umfeldkarte eingetragen, so dass diese Belegungskarte 2 eine zweidimensionale Diskretisierung des Fahrzeugumfelds darstellt. Dabei wird jeder Zelle dieser Belegungskarte 2 ein Wert zugewiesen, welcher die Wahrscheinlichkeit einer Belegung der entsprechenden Zelle mit einem Objekt beschreibt. Mit anderen Worten besitzt jede Zelle einen Wahrscheinlichkeitswert, welcher der Wahrscheinlichkeit entspricht, dass die entsprechende Zelle mit einem Kollisionsobjekt belegt ist. Aus dieser Wahrscheinlichkeit lassen sich die Zellen der Belegungskarte 2 in freie (von keinem Objekt belegte) und belegte Zellen unterteilen.
- 9. Die Wahrscheinlichkeitswerte der Zellen werden ständig aktualisiert, wodurch eine Filterung der Daten oder Wahrscheinlichkeitswerte über der Zeit möglich ist.
- 10. Auf der Grundlage der Informationen aus der Belegungskarte 2 kann der Freiraum 3 vor und um das Fahrzeug 10 herum bestimmt werden.
In 4b ist ein Bild der Kamera 4 dargestellt. Die 4a stellt die zu diesem Bild zugehörige Belegungskarte des Fahrzeugumfelds dar, wobei freie Bereiche 3 und Hindernisse 7 aus der Belegungskarte 2 ersichtlich sind.
-
In 5 ist das erfindungsgemäße Verfahren schematisch dargestellt. Eingangsdaten des Verfahrens sind von der Kamera 4 aufgenommene Bilder 5 und durch die Fahrzeugodometrie (Positionsbestimmung des Fahrzeugs 10 anhand der Daten seines Vortriebsystems, z. B. Zählen der Radumdrehungen) ermittelte Daten. Über den optischen Fluss, einer Bestimmung der Bewegung der Kamera (Ego-Bewegungsschätzung) und durch die Triangulation werden Kollisionsobjekte im Umfeld des Fahrzeugs 10 bestimmt und entsprechend in die Belegungskarte 2 eingetragen.
-
In 6 ist schematisch ein erfindungsgemäßes Fahrzeug 10 mit einem erfindungsgemäßen System 20 zur Erstellung eines Modells eines Umfelds des Fahrzeugs 10 dargestellt. Das System 20 umfasst neben einer Steuerung 6 zwei Kameras 4 und 8, mit welchen Bilder 5 des Umfelds des Fahrzeugs 10 aufgenommen werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007021576 A1 [0002]
- EP 2048618 A1 [0002]
- DE 102006039104 A1 [0002]
- DE 102006055908 A1 [0002]