-
Die Erfindung betrifft ein Verfahren zum Fusionieren von einer Vielzahl von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Fahrerassistenzsystem.
-
Eine grundlegende Aufgabe der Sensorfusion im Zusammenhang mit der Umfelderfassung von Kraftfahrzeugen ist es, entsprechende Messgrößen beziehungsweise Sensordaten der verschiedenen eingesetzten Sensoren, welche insbesondere auch als Erfassungseinrichtungen bezeichnet werden können, zusammenzuführen und in einer gemeinsam abgestimmten Repräsentation des Umfelds anzuzeigen, wo sich im Erfassungsbereich der Erfassungseinrichtungen entsprechende Objekte befinden. Zum Einsatz von Erfassungseinrichtungen insbesondere für Fahrerassistenzsysteme im Kraftfahrzeugbau werden zumindest mehrere Erfassungseinrichtungen auf Basis unterschiedlicher physikalischer Prinzipien, beispielsweise eine Kamera, ein Radar beziehungsweise ein Lidar, eingesetzt, um hinreichende Genauigkeit bezüglich der Position und Größe von erkannten Objekten in der Umgebung des Kraftfahrzeugs zu erzielen. Hierbei werden insbesondere supplementäre beziehungsweise komplementäre Sensorkombinationen bevorzugt.
-
Fahrerassistenzsysteme stellen an Detektionsraten von Objekten sehr hohe Anforderungen, da nur über sehr hohe Detektionsraten ein unfallfreies Fahren realisiert werden kann. Eine niedrige Detektionsrate führt dazu, dass Objekte in der Umgebung des Kraftfahrzeugs nicht erkannt und somit notwendige Reaktionen auf diese Objekte, zum Beispiel ein Warnen beziehungsweise Bremsen oder Ausweichen, nicht durchgeführt werden können. Um diese Situation zu vermeiden, werden zum einen eine sehr hohe Detektionsrate von der Erfassungseinrichtung gefordert und zum anderen die Messungen mehrerer Erfassungseinrichtungen in einer Sensorfusion zusammengeführt. Aus dem Stand der Technik sind hierzu insbesondere zwei Ansätze bekannt, wobei ein Ansatz gridbasiert und der andere Ansatz objektbasiert ist.
-
Die
DE 10 2019 008 093 A1 betrifft dabei ein Verfahren zum Fusionieren von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels eines spärlichen Belegungsgitters.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie ein Fahrerassistenzsystem zu schaffen, mittels welchen verbessert Objekte in der Umgebung des Kraftfahrzeugs erfasst werden können.
-
Diese Aufgabe wird durch ein Verfahren sowie durch ein Fahrerassistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Fusionieren von einer Vielzahl von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem mittels der Vielzahl von Erfassungseinrichtungen eine Umgebung des Kraftfahrzeugs erfasst wird und die jeweils mittels der jeweiligen Erfassungseinrichtung erfassten Sensordaten an die elektronische Recheneinrichtung übertragen werden und die übertragenen Sensordaten mittels der elektronischen Recheneinrichtung auf Basis zumindest eines Belegungsgitters einer jeweiligen Erfassungseinrichtung fusioniert werden, wobei die Vielzahl von Sensordaten zur Fusionierung in ein jeweiliges spärliches Belegungsgitter eingeordnet wird und innerhalb des jeweiligen spärlichen Belegungsgitters eine Objektabbildung zumindest eines in der Umgebung des Kraftfahrzeugs erfassten Objekts durchgeführt wird, wobei zusammengehörige Sensordaten des zumindest einen Objekts der Vielzahl von Erfassungseinrichtungen miteinander verbunden werden.
-
Es ist dabei vorgesehen, dass Fusionspunkte der zusammengehörigen Sensordaten und/oder Objektpunkte des erfassten Objekts für eine zukünftige Erfassung der Umgebung rückpropagiert werden, und die Fusionspunkte und/oder die Objektpunkte bei der Einordnung in das zukünftige spärliche Belegungsgitter berücksichtigt werden.
-
Insbesondere ist somit vorgesehen, dass ausgewählte Fusionspunkte beziehungsweise Objektpunkte an den Abtastalgorithmus zurückgeführt werden. Die Position dieser Punkte wird dazu verwendet, um im spärlichen Belegungsgitter zusätzliche Abtastpunkte zu generieren. Dies hat den Vorteil, dass die bereits vorhandenen Fusionspunkte beziehungsweise Objektpunkte durch neue Abtastpunkte bestätigt werden können, sowie im Fall des vollständigen Belegungsgitters. Dadurch kann das Verfahren gemäß dem Stand der Technik optimiert werden und gleichzeitig den Nachteil von spärlichen Belegungsfeldern gegenüber den vollständigen Belegungsfeldern komplett ausgleichen.
-
Insbesondere kann das Verfahren beim Fahrerassistenzsystem dazu genutzt werden, kontinuierlich während der Fahrt die statische Umgebung zu erfassen und der Verarbeitungskette zur Verfügung zu stellen. Falls statische Hindernisse in der Fahrspur liegen, kann eine entsprechende Systemreaktion stattfinden. Dies kann das Anzeigen einer Warnung, das Abschalten einer Fahrfunktion, das unterstützte beziehungsweise automatische Bremsen oder das unterstützte beziehungsweise automatische Ausweichen beinhalten. Insbesondere kann das Verfahren dazu verwendet werden, Hindernisse im Umfeld von autonomen Fahrfunktionen zu erkennen. Durch die effiziente Repräsentation der Sensormessdaten als Polylinien und die rechenzeitsparende Funktion im spärlichen Belegungsfeld lässt sich das Fusionssystem kostensparend umsetzen. Das Verfahren ist nicht auf statische Objekte beschränkt, es lässt sich auch auf dynamische Objekte anwenden. Für die Objektbildung kann dann vorteilhaft die Geschwindigkeitsinformation des Kraftfahrzeugs hinzugenommen werden.
-
Mit anderen Worten ist erfindungsgemäß ein Verfahren zur Erfassung einer Fahrzeugumgebung mittels Sensorfusion und unter Verwendung von Belegungsgittern vorgeschlagen. Es werden spärliche Belegungsgitter beziehungsweise Belegungsfelder angewendet, wobei die Auflösung von Belegungsgittern automatisch an das Auflösungsvermögen eines jeweiligen Sensors angepasst ist. Messdaten werden zunächst in das Belegungsgitter angewendet und darin fusioniert. Anschließend findet innerhalb des jeweiligen Belegungsgitters eine Objektbildung statt, wobei zusammengehörige Einträge miteinander verbunden werden.
-
Insbesondere unterscheidet sich ein vollständiges Belegungsgitter beziehungsweise Belegungsfeld von dem spärlichen Belegungsgitter beziehungsweise Belegungsfeld dadurch, dass im vollständigen Belegungsfeld die Umgebung in rechteckige Zellen aufgeteilt ist, in denen die jeweiligen Sensordetektionen eingetragen werden. Ein spärlich besetztes Belegungsgitter teilt die Umgebung in größere Zellen auf, beispielsweise Winkelsegmente, und in jedes Winkelsegment kann dann eine einzelne kleine Anzahl an Sensordetektionen eingetragen werden. Die Anzahl der eingetragenen Sensordetektionen wird dazu verwendet, um die Existenz eines Objekts an dieser Stelle nachzuweisen. Der Vorteil eines spärlich besetzten Belegungsgitters gegenüber einem vollständigen Belegungsgitter ist der wesentlich geringere Speicherplatzbedarf und Rechenaufwand. Der Nachteil des spärlich besetzten Belegungsgitters gegenüber dem vollständigen Belegungsfeld ist jedoch, dass die Anzahl der einzutragenden Sensordetektionen stark reduziert ist und dass eine Zuordnung neuer Sensordetektionen zu bereits vorhandenen Sensordetektionen aufgrund der nicht rechteckigen Geometrie der Zelle erschwert wird. Dieser Nachteil wird jedoch durch das erfindungsgemäße Verfahren überwunden.
-
Gemäß einer vorteilhaften Ausgestaltungsform werden die zukünftigen Fusionspunkte und/oder die zukünftigen Objektpunkte in Abhängigkeit von einer Abtastrate der Vielzahl von Erfassungseinrichtungen prädiziert werden.
-
Weiterhin vorteilhaft ist, wenn eine Form des erfassten Objekts und/oder eine Ausrichtung des erfassten Objekts relativ zum Kraftfahrzeug bei der Einordnung in das zukünftige spärliche Belegungsgitter berücksichtigt werden.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn eine Art des spärlichen Belegungsgitters bei der Einordnung in das zukünftige spärliche Belegungsgitter berücksichtigt wird.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Vielzahl von Erfassungseinrichtungen und mit einer elektronischen Recheneinrichtung, wobei das Fahrerassistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Fahrerassistenzsystems durchgeführt.
-
Weiterhin betrifft die Erfindung auch ein Kraftfahrzeug und ein Fahrerassistenzsystem nach dem vorhergehenden Aspekt
-
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Fahrerassistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Fahrerassistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens und eine vorteilhafte Ausgestaltungsform davon ermöglichen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigen:
- 1 eine schematische Draufsicht auf eine Ausführungsform des Verfahrens;
- 2 eine weitere schematische Draufsicht auf eine Ausführungsform des Verfahrens;
- 3 eine nochmals weitere schematische Draufsicht auf eine Ausführungsform des Verfahrens; und
- 4 ein schematisches Blockschaltbild gemäß einer Ausführungsform eines Fahrerassistenzsystems.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
-
1 zeigt ein Verfahren zum Fusionieren einer Vielzahl von Sensordaten 10 einer Vielzahl von Erfassungseinrichtungen 12 mittels einer elektronischen Recheneinrichtung 14 eines Fahrerassistenzsystems 16 eines Kraftfahrzeugs 18.
-
In der 1 ist insbesondere gezeigt, dass die Erfassungseinrichtungen 12 Messdaten 20 als einen zusammenhängenden Linienzug 22 mit mindestens einem Fusionspunkt 24 und maximal endlichen vielen Fusionspunkten 24 liefern. Ein solcher Linienzug 22 wird auch als Polylinie bezeichnet. In dem in 1 gezeigten Beispiel besteht der Linienzug 22 aus einer Vielzahl von Fusionspunkten 24, welche sich parallel zur Fahrzeuglängsachse befinden und auf der linken Seite der 1 in ein vollständiges Belegungsgitter 26 und auf der rechten Seite der 1 in ein spärlich besetztes Belegungsgitter 28 eingetragen werden. Dabei wird der Linienzug 22 entsprechend den Belegungszellen abgetastet. Die Abtastpunkte werden in das Belegungsfeld eingetragen und anschließend als Fusionspunkte 24 bezeichnet. Auf der linken Seite der 1 und auf der rechten Seite der 1 sind die Fusionspunkte 24 der ersten Sensormessung mit den Bezugszeichen 24 dargestellt. Es fällt auf, dass im spärlichen Belegungsgitter 28 wesentlich weniger Fusionspunkte 24 vorhanden sind.
-
Vorliegend ist insbesondere gezeigt, dass die Vorwärtsbewegung des Kraftfahrzeugs 10 ebenfalls mitberücksichtigt werden muss. Hierbei werden die Fusionspunkte 24 in Richtung des Kraftfahrzeugs 18 verschoben, das heißt, die Fusionspunkte 24 werden mit Hilfe eines physikalischen Modells der Fahrzeugbewegung an den voraussichtlich korrekten Ort prädiziert.
-
Im nächsten Schritt, was insbesondere in 2 dargestellt ist, wird eine neue Sensormessung in die Belegungsgitter 26, 28 eingetragen. Hierfür wird der von der Erfassungseinrichtung 12 gelieferte Linienzug 22 wieder abgetastet und die neunen Abtastpunkte in das Belegungsfeld eingetragen. Die erzeugten Abtastpunkte der zweiten Messung mittels der Erfassungseinrichtung 12 sind in der 2 mit den Bezugszeichen 30 dargestellt. Insbesondere zeigt die 2, dass auf der rechten Seite, also im spärlichen Belegungsgitter 28, keine Bestätigung vorhandener Fusionspunkte 24 durch die neuen Abtastpunkte stattfindet. In der 2 ist der Nachteil des spärlichen Belegungsgitters 28 sichtbar. Nicht jeder Fusionspunkt 24 wird durch einen neuen Abtastpunkt 30 bestätigt. Die Integration von Sensorbestätigung ist aber der wesentliche Bestandteil eines Belegungsfeldes. Um diesen Nachteil auszugleichen wird ein weiterer Rechenschritt für das spärliche Belegungsgitter 28 durchgeführt. Dieses Verfahren, welches diesem Rechenschritt zugrunde liegt, ist der Gegenstand des erfindungsgemäßen Verfahrens. Die Idee ist, die Positionsdaten der bereits vorhandenen Fusionspunkte 24 zu nutzen, um den Abtastalgorithmus so zu steuern, dass er möglichst neue Abtastpunkte 30 in der Nähe der bereits vorhandenen Fusionspunkte 24 erzeugt. Diese zusätzlich erzeugten Abtastpunkte 30 können dann die bereits vorhandenen Fusionspunkte 24 bestätigen und den skizzierten Nachteil des spärlichen Belegungsgitters 28 gegenüber dem vollständigen Belegungsfeld beziehungsweise Belegungsgitter 26 komplett ausgleichen. Insbesondere ist dies in der 3 dargestellt. Hierzu werden die zukünftigen Fusionspunkte 32 erzeugt.
-
4 zeigt ein schematisches Blockschaltbild gemäß einer Ausführungsform des Fahrerassistenzsystems 16. Vorliegend ist insbesondere gezeigt, dass das Kraftfahrzeug 18 beziehungsweise Fahrerassistenzsystem 16 eine Vielzahl von Erfassungseinrichtungen 12 aufweist. Der Linienzug 22 wird von den jeweiligen Erfassungseinrichtungen 12 erfasst. Es erfolgt dann in einem ersten Schritt S1 die Abbildung auf das spärliche Belegungsgitter 28. Es werden dann die entsprechenden Punkte erfasst. In einem zweiten Schritt S2 erfolgt dann die Fusion innerhalb des spärlichen Belegungsgitters 28. Die Fusionspunkte 24 werden dann in einem dritten Schritt S3 an eine Objektbildung übertragen, wobei im Anschluss daran entsprechende Objektpunkte 34 entstehen können. Es ist nun vorgesehen, dass beispielsweise nach der Fusion, also nach dem zweiten Schritt S2, die Fusionspunkte 24 an den Abtastalgorithmus, also einen zukünftigen ersten Schritt S1, zurückpropagiert werden. Ferner können auch die Objektpunkte 34 nach dem dritten Schritt S3 an einen zukünftigen ersten Schritt S1 rückpropagiert werden.
-
Voraussetzung für die Fusion der Sensordaten ist, dass alle Sensormessdaten gleichartig repräsentiert werden, bevor der eigentliche Fusionsschritt durchgeführt werden kann. Als besonders vorteilhaft erweist sich die Repräsentation einer Sensormessung durch einen Linienzug 22 von einem oder mehreren Punkten, das heißt einer Folge von Punktkoordinaten, die verbunden sind, was auch als Polylinie bezeichnet wird. Diese beschreiben die für den Sensor sichtbare äußere Kontur des Objekts.
-
Insbesondere ist es vorteilhaft, wenn die Positionsinformation der Fusionspunkte 24 beziehungsweise der Objektpunkte 34 auf den Zeitpunkt der nächsten Sensorabtastung prädiziert wird. Ferner kann die Rechenzeit des Verfahrens reduziert werden, wenn die Positionsinformationen der Fusionspunkte 24 beziehungsweise der Objektpunkte 34 vorsortiert werden, so dass eine einfache Zuordnung zu den entsprechenden Zellen des spärlichen Belegungsgitters 28 und den Sensordaten 10 möglich ist. Das Verfahren kann auch auf alle spärlichen Belegungsgitter 28 angewendet werden und ist nicht auf das im Beispiel genannte spärliche Belegungsgitter 28 eingeschränkt. Die Auswahl der Fusionspunkte 24 beziehungsweise Objektpunkte 34 kann vorteilhaft erfolgen, so dass die Schwächen des gewählten spärlichen Belegungsgitters 28 ausgeglichen werden. In dem skizzierten Beispiel sind alle Strukturen gezeigt, die mehr oder weniger parallel zur Fahrzeuglängsachse oder zu dem Winkelsegment verlaufen. Ferner kann der Detektionsfehler durch die feste Vorgabe der Abtaststellen verringert werden.
-
Insbesondere ist somit ein Verfahren zum Fusionieren von einer Vielzahl von Sensordaten 10 einer Vielzahl von Erfassungseinrichtungen 12 mittels einer elektronischen Recheneinrichtung 14 des Fahrerassistenzsystems 16 des Kraftfahrzeugs 18 vorgeschlagen, bei welchen mittels der Vielzahl von Erfassungseinrichtungen 12 eine Umgebung des Kraftfahrzeugs 18 erfasst wird und die jeweiligen mittels der jeweiligen Erfassungseinrichtung 12 erfassten Sensordaten 10 an die elektronische Recheneinrichtung 14 übertragen werden und die übertragenen Sensordaten 10 mittels der elektronischen Recheneinrichtung 14 auf Basis zumindest eines Belegungsgitters einer jeweiligen Erfassungseinrichtung 12 fusioniert werden, wobei die Vielzahl von Sensordaten 10 zur Fusionierung in einem jeweiligen spärlichen Belegungsgitter 28 eingeordnet wird und innerhalb des jeweiligen spärlichen Belegungsgitters 28 eine Objektabbildung zumindest eines in der Umgebung des Kraftfahrzeugs 18 erfassten Objekts durchgeführt wird, wobei zusammengehörige Sensordaten 10 des zumindest einen Objekts der Vielzahl von Erfassungseinrichtungen 12 miteinander verbunden werden. Es ist dabei vorgesehen, dass die Fusionspunkte 24 der zusammengehörigen Sensordaten 10 und/oder Objektpunkte 34 des erfassten Objekts für eine zukünftige Erfassung der Umgebung rückpropagiert werden, und die Fusionspunkte 24 und/oder die Objektpunkte 34 bei der Einordnung in das zukünftige spärliche Belegungsgitter 28 berücksichtigt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019008093 A1 [0004]