DE102006007550A1

DE102006007550A1 - Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug

Info

Publication number: DE102006007550A1
Application number: DE102006007550A
Authority: DE
Inventors: Thorsten Dr. Graf; Antonio M. Lopéz Gavà Pena; Joan Serrat 08420 Canovelles Gual; Felipe Lumbreras Ruiz
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2005-02-25
Filing date: 2006-02-16
Publication date: 2006-11-09

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Fahrbahnmarkierungen für ein Kraftfahrzeug, bei dem vom Kraftfahrzeug aus Bildpunkte mit einer Helligkeitsverteilung aufgenommen werden und die Bildpunkte so analysiert werden, dass die Fahrbahnmarkierungen erkannt werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass bei der Analyse der Bildpunkte als Bilderkennungsoperator ein Ridge-Operator eingesetzt wird. Ferner betrifft die Erfindung eine entsprechende Vorrichtung zum Erkennen von Fahrbahnmarkierungen, bei welcher eine Bildanalyseeinrichtung bei der Analyse der Bildpunkte als Bilderkennungsoperator den Ridge-Operator einsetzt.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung zumindest einer Fahrbahnmarkierung für ein Kraftfahrzeug. Bei dem Verfahren werden vom Kraftfahrzeug aus Bildpunkte mit einer Helligkeitsverteilung aufgenommen und die Bildpunkte werden so analysiert, dass die Fahrbahnmarkierungen erkannt werden. Die Vorrichtung umfasst eine Sensorik, mit der vom Kraftfahrzeug aus Bildpunkte mit einer Helligkeitsverteilung aufnehmbar sind, und eine Bildanalyseeinrichtung, mit der die Bildpunkte so analysierbar sind, dass die Fahrbahnmarkierungen erkannt werden.
In zukünftigen Fahrerassistenzsystemen wird elektronischen Sicherheits- und Komfortfunktionen eine große Bedeutung zukommen. Die Basis für die Realisierung solcher Systeme stellt die Sensorik dar, die es ermöglicht, die Fahrumgebung eines Fahrzeuges wahrzunehmen. Insbesondere für Fahrerassistenzsysteme, die eine Spurhalte- und/oder Spurwechselassistenzfunktion und/oder eine Abstands- bzw. Geschwindigkeitsregelung umfassen, ist es erforderlich, die Fahrspur mit den entsprechenden Markierungen zu erfassen. Mittels einer Kamera, eines Bildsensors oder einer Videosensorik wird die Fahrzeugumgebung erfasst und im Hinblick auf vorhandene Fahrspurmarkierungen ausgewertet.

Es ist bekannt, die Fahrbahnmarkierungen mittels einer Kamera zu erfassen und die Fahrbahnmarkierungen durch eine Kantenextraktion mittels Gradientenberechnung zu detektieren. Hierbei werden die Grauwertdifferenzen zwischen benachbarten Punkten im Bild berechnet und dienen als Maß, ob ein Kantenpunkt an der jeweiligen Position vorliegt oder nicht. Solche Methoden sind generell anfällig gegenüber Schatten, Asphaltübergängen sowie anderen Objekten in der Szene, da alle diese Objekte Kantenpunkte erzeugen und damit als mögliche Fahrbahnmarkierung erkannt werden. Hieraus resultieren fehlerhaft erkannte Fahrbahnmarkierungen, die über aufwendige Verfahren wieder gefiltert werden müssen.

Aus der DE 4023952 C2 sind ein Bildverarbeitungsverfahren und ein Bildverarbeitungssystem für ein Kraftfahrzeug bekannt. Mittels eines Bildsensors werden Markierungen auf Fahrbahnen, an Leitpfosten oder an Verkehrsschildern abgetastet und die erhaltenen Bildsignale ausgewertet. Es wird vorgeschlagen, dass der Bildsensor im Wärmestrahlungs-Wellenlängenbereich, insbesondere im Infrarotwellenlängenbereich arbeitet, um anhand der Unterschiede in der Wärmestrahlungsemission, die sich zwischen den Markierungen und deren Umgebung ergeben, eine Erfassung der Markierungen zu erreichen.

Aus der EP 1074430 A1 ist ein Bilderfassungssystem mit Helligkeitsregelung bekannt, das ein Teilsystem zur Bilderfassung, und eine Bildsteuerungsgruppe umfasst. Das Teilsystem zur Bilderfassung empfängt ein Bild und wandelt dieses Bild in digitale Bilddaten um. Das so gewonnene digitale Signal wird sodann in einem Videospeicher für die Bildsteuerungsgruppe bereitgehalten. Die Bildsteuerungsgruppe sorgt für eine Helligkeitssteuerung eines in dem Bilderfassungssystem vorhandenen Bildsensors, um die Helligkeit eines interessierenden Bereichs des Bildes relativ zu dem Hintergrund zu optimieren. Das Bilderfassungssystem wird in einem Spurführungssystem eingesetzt, bei dem Straßenmarkierungen von einem fahrenden Fahrzeug aus erkannt werden sollen.

Aus der DE 299 02 457 U1 ist eine Einrichtung zur Umfelderkennung mit einer Kameraeinrichtung zur Generierung von Videosignalen bekannt, die mindestens zwei Kameras mit überlappenden Gesichtsfeldern aufweist. Die Kameras liefern eine stereoskopische Videosequenz an eine Bildverarbeitungseinheit, die mittels dreidimensionaler Mustererkennung und Bildverarbeitung Verkehrszeichen detektiert und klassifiziert. Neben Verkehrszeichen vermag die Einrichtung gleichzeitig auch vorausfahrende bzw. vor dem Fahrzeug stehende Fahrzeuge zu erkennen und, je nach Verkehrssituation, Warnsignale abzugeben, beziehungsweise aktiv in den Betriebszustand des Fahrzeugs einzugreifen.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Erkennung von Fahrbahnmarkierungen für ein Kraftfahrzeug zu schaffen, so dass eine möglichst fehlerfreie Fahrbahnmarkierungserkennung mit minimalem rechentechnischem Aufwand realisiert ist. Diese Aufgabe wird durch die in den Ansprüchen angegebenen Merkmale der Erfindung gelöst.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass bei der Analyse der Bildpunkte als Bilderkennungsoperator ein Ridge-Operator eingesetzt wird. Der Ridge-Operator zeichnet sich durch eine weitgehende Unempfindlichkeit gegenüber schlechten Fahrbahnmarkierungen, Schatten, die durch andere Objekte hervorgerufen werden, Verschmutzungen der Fahrbahn bzw. der Fahrbahnmarkierungen sowie weiteren störenden Bildstrukturen aus. Somit können aufwendige Nachbereitungs- bzw. Filterverfahren entfallen.

Der vorgeschlagene Algorithmus arbeitet derart, dass in einem ersten Schritt, alle Hinweise und Informationen bezüglich des Ortes bzw. der Position der Fahrbahnmarkierungen erfasst werden und in einem zweiten Schritt auf Grundlage der erfassten Informationen ein Linienmodell erstellt wird.

Bei der Analyse der Bildpunkte aus der Helligkeitsverteilung wird bevorzugt ein Ridgeness-Maß für die Bildpunkte berechnet und aus der Größe des Ridgeness-Maßes für die Bildpunkte wird bestimmt, ob sie zu einer Fahrbahnmarkierung gehören. Für das Ridgeness-Maß kann z. B. ein Schwellwert festgelegt werden, wobei Bildpunkte mit einem Ridgeness-Maß oberhalb des Schwellwertes einer Fahrbahnmarkierung zugeordnet werden.

Gemäß einer bevorzugten Ausbildung des erfindungsgemäßen Verfahrens wird die Helligkeitsverteilung mit einer Gauß-Funktion geglättet.

Die bei dem Verfahren aufgenommenen Bildpunkte stellen ein Eingangsbild dar, das waagrechte Zeilen und senkrechte Spalten besitzt. Die Bildpunkte einer Zeile korrespondieren im Wesentlichen zu Orten vor dem Kraftfahrzeug, die den gleichen Abstand vom Kraftfahrzeug besitzen. Nummeriert man die Zeilen fortlaufend durch, wobei Zeilen mit Bildpunkten, denen zum Kraftfahrzeug entferntere Orte zugeordnet sind, niedrigere Nummern enthalten, als Zeilen mit Bildpunkten, denen zum Kraftfahrzeug nähere Orte zugeordnet sind, erhält man nach der Anwendung des Ridge-Operators eine perspektivische Abbildung der Fahrbahnmarkierungen.

Bei dem erfindungsgemäßen Verfahren wird vorzugsweise die perspektivische Abbildung der Fahrbahnmarkierungen in der Helligkeitsverteilung bei der Berechnung des Ridgeness-Maßes kompensiert. Beispielsweise kann bei der Glättung der Spalten der Helligkeitsverteilung eine Gauß-Funktion mit konstanter Standardabweichung verwendet werden und bei der Glättung der Zeilen der Helligkeitsverteilung eine Gauß-Funktion mit einer Standardabweichung verwendet werden, die sich mit zunehmender Entfernung der den zu glättenden Bildpunkten zugeordneten Orten vom Kraftfahrzeug verkleinert. Die Standardabweichung, die bei der Glättung von Zeilen mit einer höheren Nummer verwendet wird, ist somit größer als die Standardabweichung für die Glättung von Zeilen mit niedrigerer Zeilennummer.

Gemäß einer weiteren bevorzugten Ausgestaltung des Verfahrens wird die perspektivische Abbildung der Fahrbahnmarkierungen in der Helligkeitsverteilung bei der Berechnung des Ridgeness-Maßes dadurch kompensiert, dass die Ergebniswerte des Ridge-Operators mit dem Logarithmus des Zeilennummerquadrats multipliziert werden. Auf diese Weise wird erreicht, dass Bildbereiche, die entfernteren Orten entsprechen, weniger geglättet werden als Bildpunkte, die näheren Orten zugeordnet sind.

Gemäß einer weiteren bevorzugten Ausgestaltung wird nach der Glättung der Helligkeitsverteilung sicher gestellt, dass in einem bestimmten Abstand der Gradpunkte (der sogenannten Ridges) der Gradient des geglätteten Bildes ausreichend groß ist. Als Abstand hierfür wird die Hälfte der Breite der Fahrbahnmarkierung in diesem Bildbereich genommen. Die Ridges liegen nämlich etwa in der Mitte der jeweiligen Markierung. Wenn man die Breite der Markierung (z. B. 30 cm) kennt, so muss ausgehend von der Mittellinie bei jeweils der Hälfte der Breite (z. B. ± 15 cm) ein starker Kontrast (Gradient) auftreten, wenn man die Position in Pixelkoordinaten im Bild umrechnet. Alle Punkte, die dieses Kriterium nicht erfüllen, werden entfernt. Dies stellt sicher, dass das nachbereitete Bild nur Fahrbahnmarkierungen liefert. Der Schwellwert für das Ridgeness-Maß wird in diesem Fall jedoch sehr niedrig gewählt, um auch in sehr kontrastarmen Bildbereichen, beispielsweise wenn Schatten auftritt, noch Fahrbahnmarkierungen zu detektieren.

Nach einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird nach der Anwendung des Ridge-Operators die Orientierung der erfassten Fahrbahnmarkierungen bestimmt. Es werden dann nur solche Fahrbahnmarkierungen berücksichtigt, die in einen bestimmten Winkelbereich zur Fahrzeuglängsachse fallen.

Die Erfindung betrifft des Weiteren ein Verfahren zur Spurführung eines Kraftfahrzeugs, bei dem Fahrbahnmarkierungen gemäß dem vorstehend erläuterten Verfahren erfasst werden, die relative Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen bestimmt wird und anhand der erfassten Fahrbahnmarkierungen und der relativen Lage des Kraftfahrzeugs zu diesen Fahrbahnmarkierungen die Kraftfahrzeugquer- und/oder -längsführung gesteuert wird.

Schließlich umfasst die Erfindung ein Fahrerassistenzverfahren für ein Kraftfahrzeug, bei dem die Fahrbahnmarkierungen gemäß dem vorstehend erläuterten Verfahren erfasst werden, die relative Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen bestimmt wird und dem Fahrer des Kraftfahrzeugs eine Warnung gegeben wird, wenn eine Fahrbahnmarkierung unbeabsichtigt überfahren wird. Ein unbeabsichtigtes Überfahren der Fahrbahnmarkierung kann z. B. dadurch festgestellt werden, dass der Fahrtrichtungsanzeiger nicht eingeschaltet ist. Wird eine Fahrspur überfahren, wenn der Fahrtrichtungsanzeiger nicht gesetzt ist, wird eine Warnung erzeugt. Man kann jedoch noch andere aufwändigere Verfahren einsetzen, um festzustellen, dass eine Fahrbahnmarkierung unbeabsichtigt überfahren wird.

Die erfindungsgemäße Vorrichtung zum Erkennen von Fahrbahnmarkierungen für ein Fahrzeug ist dadurch gekennzeichnet, dass die Bildanalyseeinrichtung bei der Analyse der Bildpunkte als Bilderkennungsoperator einen Ridge-Operator einsetzt.

Vorzugsweise wird zumindest eine Fahrbahn und/oder Fahrspur mittels zumindest einer am Fahrzeug angeordneten Kamera und/oder einer Videosensorik und/oder eines Bildsensors erfasst, wobei die Kamera oder Videosensorik oder der Bildsensor vom Fahrzeug aus betrachtet, insbesondere nach vorn ausgerichtet ist und den vorderen sowie die Seitenbereiche der Fahrbahn bzw. der einzelnen Fahrspuren erfasst.

Die Erfindung umfasst ferner eine Vorrichtung zur Spurführung eines Kraftfahrzeugs mit der vorstehend erläuterten Vorrichtung zum Erkennen von Fahrbahnmarkierungen sowie einer Einrichtung zum Bestimmen der relativen Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen und einer Steuereinrichtung zum Steuern der Kraftfahrzeugquer- und/oder -längsführung anhand der erfassten Fahrbahnmarkierungen und der relativen Lage des Kraftfahrzeugs zu diesen Fahrbahnmarkierungen.

Schließlich umfasst die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer vorstehend erläuterten Vorrichtung zum Erkennen von Fahrbahnmarkierungen sowie eine Einrichtung zum Bestimmen der relativen Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen und eine Einrichtung zum Erzeugen einer Warnung für den Fahrer, wenn eine Fahrbahnmarkierung unbeabsichtigt überfahren wird.

Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Zeichnungen näher erläutert. Darin zeigen:
1: Darstellung eines Bildausschnittes,
2: Darstellung der Anwendung eines Ridge-Operators,
3: Darstellung mehrerer Beispiele einer Fahrspurmarkierungsdetektion mittels eines Ridge-Operators,
4: Darstellung eines erfindungsgemäßen Ausführungsbeispiels.
Bei dem Kraftfahrzeug ist vorne eine Kamera befestigt, welche ein Graustufenbild von der Umgebung vor dem Fahrzeug aufnimmt. Das Graustufenbild stellt eine Helligkeitsverteilung dar. Das Bild wird einer Vorbearbeitung unterzogen, bei der Bildbereiche herausgefiltert werden, in denen keine Fahrbahnmarkierungen zu erwarten sind. Zunächst wird der Horizont mittels herkömmlicher Bilderkennungsverfahren erkannt und es werden nur die Bereiche unterhalb der Horizontlinie berücksichtigt. Ferner können Seitenbereiche, in denen keine Fahrbahnmarkierungen zu erwarten sind, ausgeblendet werden. Dies sind insbesondere die hinteren Seitenbereiche. Der so erhaltene Bildausschnitt wird dann weiter verarbeitet.
In 1 ist eine Interpretation eines Bildausschnittes als Tiefenkarte dargestellt, um die Funktionsweise eines Bilderkennungsoperators, insbesondere eines Ridge-Operators, näher zu beschreiben. Erfindungsgemäß wird ein Ridge-Operator zur Detektion der Fahrbahnmarkierung eingesetzt. Der Operator beruht darauf, dass das Bild nicht als zwei-dimensionales Bild, sondern als dreidimensionale Höhenkarte interpretiert wird. Die Helligkeit der Bildpunkte entspricht dabei der Höhe in der Höhenkarte, d.h. je heller ein Bildpunkt ist, desto höher ist der entsprechende Punkt in der Höhenkarte.
Als Ridge wird der Grat, das Maximum, der Peak bzw. die Spitze der Erhöhung in dem in 1 gezeigten Bild, insbesondere ein Graustufenbild, bezeichnet, d.h. als Ridge wird der Grat eines Höhenzuges in der Höhenkarte bezeichnet und entspricht damit der Mitte der hellen Bereiche. Diese hellen Bereiche bilden erfasste Fahrbahnmarkierungen ab. Für jede erfasste Fahrbahnmarkierung existiert ein solcher Rigde bzw. Grat im Bildausschnitt.
Das Konzept, ein Bild mit einer Helligkeitsverteilung als eine Tiefenkarte mit sogenannten Ridges bzw. Graten und Tälern zu interpretieren, ist an sich bekannt. Es wird insbesondere seit langem in der Geologie verwendet. Es gibt jedoch verschiedene Berechnungsvorschriften für einen Ridge-Operator. Für das Erkennen von Fahrbahnmarkierungen hat sich herausgestellt, dass eine Berechnungsvorschrift besonders vorteilhaft ist, wie sie in folgenden Veröffentlichungen beschrieben wurde:
„Multilocal Creaseness Based on the Level-Set Extrinsic Curvature", Antonio M. López, D. Lloret, J. Serrat, J. Villanueva, Computer Vision and Image Understanding, Vol. 77, Pages 111-144, February 2000.
"Evaluation of Methods for Ridge and Valley Detection", Antonio M. López, F. Lumbreras, J. Serrat, J. Villanueva, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, Pages 327-335, April 1999.
Im Folgenden ist eine mögliche mathematische Beschreibung für den Ridge-Operator gemäß der vorliegenden Erfindung angegeben:

1. Das Originalbild L(x →) wird z.B. mit einer Gauss-Funktion
geglättet, wobei x → = (x, y) die Position eines Bildpunktes beschreibt:
wobei * die mathematische Faltung beschreibt.
2. Berechne das Gradienten-Vektorfeld:
3. Berechne das so genannte Struktur-Tensorfeld:
4. Bestimme den Eigenvektor
mit dem höchsten Eigenwert von
Dieser Eigenvektor zeigt in die dominante Gradientenrichtung.
5. Bestimme das folgende Vektorfeld:
6. Das Ridgeness-Maß ist nun gegeben durch:

Der Parameter σ_d wird „difterentiation scale" genannt, der Parameter σ_i wird „integration scale" genannt. Der „differentiation scale" wird an die Größe der Objekte angepasst, die erkannt werden sollen, wohingegen der „integration scale" an die Umgebung angepasst wird, um eine dominante Orientierung zu berechnen. Der Ridge-Operator kann somit für bestimmte Ridges empfindlich ausgestaltet werden (z. B. für eine bestimmte Breite). Er kann somit auf spezielle Bildstrukturen adaptiert werden. Im vorliegenden Fall wird der „differentiation scale" σ_d an die Breite der Fahrbahnmarkierung angepasst.
Positive Werte des Ridgeness-Maßes geben an, wie ähnlich ein Bildpunkt einem Gradpunkt ist. Im vorliegenden Fall liegen die Werte für das Ridgeness-Maß in einem Bereich von 0 bis 2, wobei ein Ridgeness-Maß von 0 bedeutet, dass der Bildpunkt nicht zu einem Grad gehört, ein Ridgeness-Maß von etwa 1 bedeutet, dass der Bildpunkt zu einem Grad gehört, und ein Ridgeness-Maß von 2 bedeutet, dass es sich um ein perfektes Maximum der Helligkeitsverteilung handelt. Des Weiteren hat sich ergeben, dass die Werte für das Ridgeness-Maß homogen entlang der Mittellinie verteilt sind, wodurch die Angabe von Schwellwerten erleichtert wird.
Da das Originalbild eine perspektivische Darstellung der Umgebung vor dem Fahrzeug enthält, wird bei dem erfindungsgemäßen Verfahren eine Kompensation der Perspektive durchgeführt. Im Schritt 1. bei der Anwendung des Ridge-Operators wird nicht jede Bildzeile mit der gleichen Standardabweichung der Gauss-Funktion gefaltet. Vielmehr nimmt die Standardabweichung der Gauss-Funktion linear mit zunehmender Bildzeile zu. Dies bewirkt die gewünschte Kompensation der perspektivischen Abbildung durch die Kamera. Zusätzlich werden die Ergebniswerte des Ridge-Operators mit dem Logarithmus des Quadrats der Zeilennummer multipliziert, zu welcher er gehört.
Außerdem hat sich herausgestellt, dass beim Glätten des Originalbildes die Filterbreite des ditalen Filters, d.h. die Breite, bei welcher die Operatorfunktion abgeschnitten wird, konstant gehalten werden sollte, um blockartige Artefakte bei dem sich ergebenden Bild zu vermeiden.
Schließlich wird noch die lokale Orientierung der gefundenen Ridges analysiert. Es werden solche Ridges herausgefiltert, die einen Winkel zur Fahrzeuglängsachse einnehmen, die nicht zu einer Fahrbahnmarkierung gehören können. Bei der Bestimmung des gültigen Winkelbereichs sollten jedoch Bilder berücksichtigt werden, die auftreten können, wenn Spurwechselmanöver mit dem Fahrzeug durchgeführt werden. Außerdem werden auch solche Ridges entfernt, deren Globalorientierung nicht zu einer Fahrbahnmarkierung passt.
In 2 ist das Ergebnis der Anwendung des erfindungsgemäßen Verfahrens im Vergleich zu einem herkömmlichen Verfahren dargestellt. Das Kantenbild zeigt das Ergebnis eines Kantenoperators wie er üblicher Weise zur Fahrspurmarkierung verwendet wird. Es ist deutlich erkennbar, dass die Kantenpunkte im Bereich des Lkw-Schattens wesentlich schwächer ausgeprägt sind und viele weitere Kantenpunkte vorhanden sind, die nicht zur Fahrspurmarkierung gehören, so dass eine aufwendige Nachbearbeitung notwendig ist. Das Ridge-Bild zeigt die Anwendung des neuen Ridge-Operators auf das Originalbild. Es ist erkennbar, dass dieser Operator unabhängig von der Beleuchtung ist (siehe Schattenbereich). Das Ridge-Bild kann nun noch zusätzlich sehr leicht gefiltert werden, in dem man nur die Ridge-Punkte akzeptiert, die von ausreichend starken Kantenwerten umgeben sind. Dieses ist in dem letzten Bild (gefiltertes Ridge-Bild) dargestellt. Auf diese Weise werden fast nur noch Punkte, die zu einer Fahrbahnmarkierung gehören, erfasst.
In 3 sind mehrere Anwendungsbeispiele der Detektion einer Fahrspurmarkierung des erfindungsgemäßen Verfahrens unter Verwendung eines Ridge-Operators bei unterschiedlichen Eigenschaften der Fahrzeugumgebung, Fahrbahn bzw. Fahrspurmarkierungen gezeigt. Hierzu wurde der Ridge-Operator speziell auf die Fahrbahnmarkierungen eingestellt, so dass in den Bildern ausschließlich die Markierungen detektierbar sind. Auf diese Weise entfällt eine aufwendige und fehleranfällige Nachbearbeitung, wie sie üblicher Weise bei kantenbasierten Verfahren benötigt wird.
Anhand des Ridgeness-Maßes können direkt Fahrbahnmarkierungen erkannt werden. Für weitere Anwendungen kann es jedoch hilfreich sein, aus dem Bild mit dem Ridgeness-Maß eine Vogelperspektive durch an sich bekannte Transformationen zu gewinnen. Dabei nimmt man an, dass es sich um eine ebene Straße handelt. Das sich aus der Vogelperspektive ergebende Bild wird einer Hough-Transformation unterzogen, wobei jeder transformierte Bildpunkt sein Ridgeness-Maß zu seiner entsprechenden Position nach der Hough-Transformation hinzufügt. Bildpunkte mit hohem Ridgeness-Maß zählen somit bei der Hough-Transformation mehr als solche mit geringem Ridgeness-Maß. Dies ist erwünscht, da die Wahrscheinlichkeit größer ist, dass solche Bildpunkte zu Mittellinien von Fahrbahnmarkierungen gehören. Es werden dann die Maxima nach der Hough-Transformation gesucht und wieder dem Originalbild zugeordnet. Hieraus erhält man eine gerade Linie, die mittig durch eine Fahrbahnmarkierung geht.
In 4 ist ein spezielles Anwendungsbeispiel detailliert dargestellt. Hierbei handelt es sich um eine Fahrerassistenzsystem, welches eine Warnung erzeugt, wenn das Fahrzeug, die Fahrspur verlässt (allgemein bekannt als Lane Depature Warning).
Aus den mit Hilfe des Ridge-Operators extrahierten Merkmalen werden die Fahrspuren erkannt. Links oben ist das Originalbild zu sehen, wie es von einer im Fahrzeug eingebauten Kamera aufgenommen wird. Darunter sind die extrahierten Fahrbahnmarkierungen mit Hilfe des beschriebenen Ridge-Operators zu sehen, wobei diese hier noch in Form von einzelnen Punkten (weiß markiert) vorliegen. Im nächsten Schritt werden diese Punkte so transformiert, als ob die Fahrbahn von oben gesehen würde. Die unterste Reihe zeigt die einzelnen Punkte im Hough-Raum (ein Punkt in diesem Raum beschreibt jeweils eine bestimmte Gerade im Ausgangsbild). Die Punkte, die in Häufungen auftreten (weiße Punkte), gehören zu den Geraden der Fahrspurmarkierungen.
Wurden die einzelnen Fahrbahnmarkierungen in dem Bild detektiert, so ist hieraus direkt die Position des Fahrzeugs innerhalb der Fahrspur bestimmbar. Auf Basis dieser Auswertung ist bei einer unbeabsichtigten Überfahrung einer Markierung eine entsprechende Warnung generierbar.
Des Weiteren kann das vorstehend beschriebene Verfahren zum Erkennen von Fahrbahnmarkierungen bzw. die entsprechende Vorrichtung bei einem Verfahren oder einer Vorrichtung zur Spurführung eines Kraftfahrzeugs eingesetzt werden. Mittels einer Einrichtung wird die relative Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen bestimmt. Eine Steuereinrichtung kann nun insbesondere die Fahrzeugquerführung, d.h. die Lenkung, ggf. jedoch auch die Fahrzeuglängsführung, d.h. die Geschwindigkeit bzw. Beschleunigung, anhand der erfassten Fahrbahnmarkierungen und der relativen Lage des Kraftfahrzeugs zu diesen Fahrbahnmarkierungen steuern. Das Kraftfahrzeug kann auf diese Art und Weise automatisch gesteuert werden. Es ist jedoch auch möglich, dass der Fahrer bei seinen Steuerbewegungen nur unterstützt wird und das System bei Bedarf in die Steuerung eingreift.
Zusammenfassend ist festzustellen, dass dies jedoch lediglich einige Anwendungen des Ridge-Operators sind. Generell ist der Ridge-Operator überall dort eingesetzbar, wo Fahrspurmarkierungen für die Ausführung einer Fahrerassistenzfunktion benötigt werden.

Claims

Verfahren zum Erkennen von Fahrbahnmarkierungen für ein Kraftfahrzeug, bei dem vom Kraftfahrzeug aus Bildpunkte mit einer Helligkeitsverteilung aufgenommen werden und die Bildpunkte so analysiert werden, dass die Fahrbahnmarkierungen erkannt werden, dadurch gekennzeichnet, dass bei der Analyse der Bildpunkte als Bilderkennungsoperator ein Ridge-Operator eingesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Analyse der Bildpunkte aus der Helligkeitsverteilung ein Ridgeness-Maß für die Bildpunkte berechnet wird und aus der Größe des Ridgeness-Maßes für die Bildpunkte bestimmt wird, ob sie zu einer Fahrbahnmarkierung gehören.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Schwellwert für das Ridgeness-Maß festgelegt wird, wobei Bildpunkte mit einem Ridgeness-Maß oberhalb des Schwellwertes einer Fahrbahnmarkierung zugeordnet werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Helligkeitsverteilung mit einer Gauss-Funktion geglättet wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die perspektivische Abbildung der Fahrbahnmarkierungen in der Helligkeitsverteilung bei der Berechnung des Ridgeness-Maßes kompensiert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die perspektivische Abbildung der Fahrbahnmarkierungen in der Helligkeitsverteilung bei der Berechnung des Ridgeness-Maßes dadurch kompensiert wird, dass bei der Glättung der Spalten der Helligkeitsverteilung eine Gauss-Funktion mit konstanter Standardabweichung verwendet wird und bei der Glättung der Zeilen der Helligkeitsverteilung eine Gauss-Funktion mit einer Standardabweichung verwendet wird, die sich mit zunehmender Entfernung der den zu glättenden Bildpunkten zugeordneten Orte vom Kraftfahrzeug verkleinert.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die perspektivische Abbildung der Fahrbahnmarkierungen in der Helligkeitsverteilung bei der Berechnung des Ridgeness-Maßes dadurch kompensiert wird, dass die Zeilen des Ridgeness-Maßes für die Bildpunkte fortlaufend nummeriert werden, wobei Zeilen mit Bildpunkten, denen zum Kraftfahrzeug entferntere Orte zugeordnet sind, niedrigere Nummern erhalten als Zeilen mit Bildpunkten, denen zum Kraftfahrzeug nähere Orte zugeordnet sind, und die Ergebniswerte des Ridge-Operators mit dem Logarithmus des Zeilennummernquadrats multipliziert werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass nach der Anwendung des Ridge-Operators die Orientierung der erfassten Fahrbahnmarkierungen bestimmt wird und nur solche Fahrbahnmarkierungen berücksichtigt werden, die in einen bestimmten Winkelbereich zur Fahrzeuglängsache fallen.
Verfahren zur Spurführung eines Kraftfahrzeugs, bei dem Fahrbahnmarkierungen gemäß dem Verfahren nach einem der Ansprüche 1 bis 8 erfasst werden, die relative Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen bestimmt wird und anhand der erfassten Fahrbahnmarkierungen und der relativen Lage des Kraftfahrzeugs zu diesen Fahrbahnmarkierungen die Kraftfahrzeugquer- und/oder -längsführung gesteuert wird.
Fahrerassistenzverfahren für ein Kraftfahrzeug, bei dem Fahrbahnmarkierungen gemäß dem Verfahren nach einem der Ansprüche 1 bis 8 erfasst werden, die relative Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen bestimmt wird und dem Fahrer des Kraftfahrzeugs eine Warnung gegeben wird, wenn eine Fahrbahnmarkierung unbeabsichtigt überfahren wird.
Vorrichtung zum Erkennen von Fahrbahnmarkierungen für ein Kraftfahrzeug mit einer Sensorik, mit der vom Kraftfahrzeug aus Bildpunkte mit einer Helligkeitsverteilung aufnehmbar sind, und einer Bildanalyseeinrichtung, mit der die Bildpunkte so analysierbar sind, dass die Fahrbahnmarkierungen erkannt werden, dadurch gekennzeichnet, dass die Bildanalyseeinrichtung bei der Analyse der Bildpunkte als Bilderkennungsoperator ein Ridge-Operator einsetzt.
Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Sensorik eine am Kraftfahrzeug angeordnete Kamera und/oder Videosensorik und/oder ein Bildsensor ist.
Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Sensorik so am Kraftfahrzeug angeordnet ist, dass sie den vorderen sowie die Seitenbereiche der Fahrbahn oder der Fahrspur erfasst.
Vorrichtung zur Spurführung eines Kraftfahrzeugs mit der Vorrichtung zum Erkennen von Fahrbahnmarkierungen nach einem der Ansprüche 11 bis 13, einer Einrichtung zum Bestimmen der relativen Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen und einer Steuereinrichtung zum Steuern der Kraftfahrzeugquer- und/oder -längsführung anhand der erfassten Fahrbahmarkierungen und der relativen Lage des Kraftfahrzeugs zu diesen Fahrbahnmarkierungen.
Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Vorrichtung zum Erkennen von Fahrbahnmarkierungen nach einem der Ansprüche 11 bis 13, einer Einrichtung zum Bestimmen der relativen Lage des Kraftfahrzeugs in Bezug auf die erfassten Fahrbahnmarkierungen und einer Einrichtung zum Erzeugen einer Warnung für den Fahrer, wenn eine Fahrbahnmarkierung unbeabsichtigt überfahren wird.