DE102021002918B4

DE102021002918B4 - Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten

Info

Publication number: DE102021002918B4
Application number: DE102021002918.6A
Authority: DE
Inventors: Stefan Studer
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-06-07
Filing date: 2021-06-07
Publication date: 2023-04-06
Anticipated expiration: 2041-06-08
Also published as: CN117413302A; JP2024523199A; DE102021002918A1; KR20240004883A; WO2022258250A1; EP4352709A1

Abstract

Verfahren zur Erkennung von für ein Fahrzeug (1) sicherheitsrelevanten Objekten (O1 bis O4) in einer Umgebung des Fahrzeuges (1), wobei die Umgebung und sich in dieser befindende Objekte (O1 bis O4) anhand erfasster Signale einer Umgebungssensorik (1.1) des Fahrzeuges (1) detektiert werden, dadurch gekennzeichnet, dass- ein jeweiliges Objekt (O1 bis O4), welches mittels einer Objekterkennungsvorrichtung (1.2) des Fahrzeuges (1) erkannt und zunächst für das Fahrzeug (1) als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert wird, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung (1.4) erkannt wird, dass ein Blick von Fahrzeuginsassen des Fahrzeuges (1) länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt (O1 bis O4) verweilt,- anhand einer erfassten Blickrichtung der Fahrzeuginsassen ermittelt wird, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt (O1, O2) für eine vorgegebene Zeitdauer von den Fahrzeuginsassen verfolgt wird, und- eine Trajektorie (T) des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes (O1, O2) für das Fahrzeug (1) nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug (1) sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges (1) auf das jeweilige Objekt (O1, O2) reagiert wird,- die jeweilige als sicherheitsrelevant identifizierte Trajektorie (T) eines bewegten Objektes (O1, O2) als sicherheitsrelevante Verkehrsführung in einer digitalen Karte des Fahrzeuges (1) und/oder in einer mit dem Fahrzeug (1) datentechnisch gekoppelten Rechnereinheit hinterlegt wird.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten in einer Umgebung des Fahrzeuges, wobei die Umgebung und sich in dieser befindende Objekte anhand erfasster Signale einer Umgebungssensorik des Fahrzeuges detektiert werden.
Aus der DE 10 2019 004 075 A1 sind ein Verfahren zum Bestimmen einer Relevanz eines Objektes in einer Umgebung eines Kraftfahrzeuges für das Kraftfahrzeug mittels eines Fahrerassistenzsystems des Kraftfahrzeuges sowie ein solches Fahrerassistenzsystem bekannt. Das Verfahren sieht vor, dass das mit einer Erfassungseinrichtung des Fahrerassistenzsystems erfasste Objekt in der Umgebung des Kraftfahrzeuges mit einem in einer Speichereinrichtung des Fahrerassistenzsystems abgespeicherten Objekt mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems verglichen wird und in Abhängigkeit des Vergleichens das Objekt mittels der elektronischen Recheneinrichtung gekennzeichnet wird. Dabei wird mittels einer Blickrichtungserfassungseinrichtung des Fahrerassistenzsystems eine Blickrichtung eines Fahrers des Kraftfahrzeuges erfasst und in Abhängigkeit der erfassten Blickrichtung wird die Relevanz für das gekennzeichnete Objekt bestimmt.
Aus der DE 10 2017 207 960 A1 ist ein Verfahren zur ortsaufgelösten Detektion von Objekten in der Umgebung eines Fahrzeugs bekannt. Bei diesem Verfahren mittels eines im Fahrzeug verbauten Sensors die Blickrichtung eines Fahrzeuginsassen erfasst. Durch eine Analyse der Blickrichtung über einen Zeitraum wird ein Interessensbereich außerhalb des Fahrzeugs bestimmt und der Sensor in Richtung des bestimmten Interessensbereich räumlich sensibilisiert und/oder ausgerichtet.
Aus der DE 10 2016 201 939 A1 ist ein Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs bekannt, bei dem eine plötzlich gesteigerte Aufmerksamkeit eines Fahrers des Fahrzeugs durch Erfassung von physiologischen Parametern des Fahrers erkannt wird und eine Blickrichtung des Fahrers zum Zeitpunkt der gesteigerten Aufmerksamkeit des Fahrers ermittelt wird und bei dem ein Objekts im Umfeld des Fahrzeugs unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der ermittelten Blickrichtung bestimmt wird.
Aus der DE 10 2017 221 202 B3 ist ein Fahrzeugsteuerungssystem für ein autonom fahrendes Fahrzeug bekannt, bei dem ein Umgebungsbereich ermittelt wird, der im Wesentlichen in Richtung einer erfassten Blickrichtung eines Fahrzeuginsassen liegt und bei dem ein Umgebungssensor derart angesteuert wird, dass er den ermittelten Umgebungsbereich mit höherer Genauigkeit erfasst.
Aus der DE 10 2018 219 125 A1 ein Verfahren zum Klassifizieren von Objekten für ein automatisiert fahrendes Fahrzeug bekannt, bei dem ein Fahrzeuginsasse des Fahrzeugs aufgefordert wird, Objekte zu klassifizieren, die von einer Einrichtung zur Erfassung und Klassifizierung von Objekten zwar erfasst werden aber von der Einrichtung nicht klassifiziert oder nicht eindeutig klassifiziert werden können.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten, insbesondere von Verkehrsführungen, Landmarken und Orten von Interesse, in einer Umgebung des Fahrzeuges sieht vor, dass die Umgebung und sich in dieser befindende Objekte anhand erfasster Signale einer Umgebungssensorik des Fahrzeuges detektiert werden. Erfindungsgemäß wird ein jeweiliges Objekt, welches mittels einer Objekterkennungsvorrichtung des Fahrzeuges erkannt und zunächst für das Fahrzeug als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung erkannt wird, dass ein Blick aller Fahrzeuginsassen des Fahrzeuges länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt verweilt. Zudem wird anhand einer erfassten Blickrichtung der Fahrzeuginsassen ermittelt, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt für eine vorgegebene Zeitdauer von den Fahrzeuginsassen verfolgt wird, wobei eine Trajektorie des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes für das Fahrzeug nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges auf das jeweilige Objekt reagiert wird, beispielsweise mittels einer Lenkbewegung und/oder einer Bremsung oder Beschleunigung durch den Fahrer oder durch ein Fahrerassistenzsystem.
Durch Anwendung des Verfahrens kann eine Sicherheit durch eine Beachtung von Objekten auf sicherheitsrelevanten Trajektorien, insbesondere in Bezug auf eine Funktion eines Fahrerassistenzsystems, erhöht werden. Dabei bezieht sich die Relevanz des jeweiligen Objektes auf eine Fahraufgabe des Fahrzeuges.
Erfindungsgemäß wird die jeweilige als sicherheitsrelevant identifizierte Trajektorie eines bewegten Objektes als sicherheitsrelevante Verkehrsführung in einer digitalen Karte des Fahrzeuges und/oder in einer mit dem Fahrzeug datentechnisch gekoppelten Rechnereinheit hinterlegt. Hierzu wird eine solche Information zudem über vergleichsweise viele Fahrten in der digitalen Karte aggregiert, indem immer, wenn ein Objekt als sicherheitsrelevant eingestuft wird, die Trajektorie mit Ortsangaben in der digitalen Karte vermerkt, beispielsweise eingezeichnet wird. Eine Relevanz der Verkehrsführung wird also, bevor diese als solche in der digitalen Karte hinterlegt wird, mehrfach bestätigt, bevor die Verkehrsführung als sicherheitsrelevant in der digitalen Karte gespeichert wird.
Die im Fahrzeug und/oder in der Rechnereinheit hinterlegte digitale Karte wird in einer Weiterbildung des Verfahrens weiteren Fahrzeugen zur Verfügung gestellt. Dabei werden dem Fahrerassistenzsystem Trajektorien zur Verfügung gestellt, so dass Objekte auf diesen Trajektorien zukünftig als relevant für eine Fahraufgabe des Fahrzeuges und der weiteren Fahrzeuge betrachtet werden können.
Hierzu wird in einer weiteren Ausführungsform ein zu einem späteren Zeitpunkt erfasstes Objekt in Abhängigkeit seiner Anwesenheit auf einer der hinterlegten sicherheitsrelevanten Verkehrsführungen als relevant klassifiziert. Befindet sich das später erfasste Objekt auf einer zuvor als sicherheitsrelevant ermittelten Trajektorie, so stellt dieses Objekt für das Fahrzeug ein sicherheitsrelevantes bewegtes Objekt dar.
Weiterhin sieht eine mögliche Ausführung des Verfahrens vor, dass zur Erkennung von Landmarken und/oder Orten von Interesse mittels eines Modelles ein jeweiliges als potentiell relevantes stationäres Objekt klassifiziert wird, wobei das jeweilige als potentiell relevant klassifizierte stationäre Objekt zumindest einem Fahrzeuginsassen angezeigt wird, der das jeweilige als potentiell relevant klassifizierte stationäre Objekt als Landmarke und/oder als Ort von Interesse einstuft. Es ist also vorgesehen, dass zwischen Landmarke und Ort von Interesse unterschieden wird, wobei die Landmarke zur Navigation dient und mittels Orten von Interessen ein Fahrerlebnis gesteigert werden kann.
Darüber hinaus wird in einer Weiterbildung des Verfahrens das als potentiell relevant klassifizierte stationäre Objekt als Landmarke und/oder als Ort von Interesse in der digitalen Karte hinterlegt. Dadurch werden bzw. wird die jeweilige Landmarke und/oder der jeweilige Ort von Interesse in dem Fahrzeug angezeigt und kann zur Navigation, beispielsweise bei einer Rallyefahrt, und zur Steigerung des Fahrerlebnisses, beispielsweise durch Anfahrt des Ortes von Interesse, dienen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:

1 schematisch einen Fahrbahnabschnitt mit zwei gegenläufigen Fahrspuren und einem auf einer rechten Fahrspur fahrenden Fahrzeug.

Die einzige Figur zeigt einen Fahrbahnabschnitt F mit zwei gegenläufigen Fahrspuren F1, F2. Auf einer rechten Fahrspur F1 fährt ein Fahrzeug 1, dem ein erstes Fahrzeug 2 vorausfährt und denen ein zweites Fahrzeug 3 auf einer linken Fahrspur F2 entgegenfährt.
Auf einem dem Fahrzeug 1 unmittelbar vorausliegenden Streckenabschnitt des Fahrbahnabschnittes F mündet eine Auffahrt F3 in die rechte Fahrspur F1, wobei ein drittes Fahrzeug 4 als erstes Objekt O1 beabsichtigt, auf die rechte Fahrspur F1 aufzufahren. Von der linken Fahrspur F2 führt ein Feldweg F4 ab, auf dem ein Traktor 5 als zweites Objekt O2 in Richtung der linken Fahrspur F2 fährt.
Neben der rechten Fahrspur F1 befinden sich zwei weitere Objekte 03, O4, wobei es sich bei einem dritten Objekt O3 um eine Palme 6 und bei einem vierten Objekt O4 um einen Aussichtsturm 7 handelt.
Das Fahrzeug 1 weist eine Umgebungssensorik 1.1 auf, die eine Anzahl nicht näher dargestellter Erfassungseinheiten umfasst, die im und/oder am Fahrzeug 1 angeordnet sind. Beispielsweise sind die Erfassungseinheiten als lidarbasierte, radarbasierte, ultraschallbasierte Sensoren und/oder als Multifunktionskamera ausgebildet.
Die Umgebungssensorik 1.1 weist ein Sichtfeld S1 auf, wobei ein weiteres Sichtfeld S2 von Fahrzeuginsassen des Fahrzeuges 1 nahezu dem Sichtfeld S1 der Umgebungssensorik 1.1 oder einer Teilmenge davon entspricht. Insbesondere befinden sich zwei Fahrzeuginsassen in dem Fahrzeug 1.
Anhand erfasster Signale der Umgebungssensorik 1.1 werden eine Umgebung des Fahrzeuges 1 und sich in dieser befindender Objekte O1 bis O4 detektiert, wobei mittels einer Objekterkennungsvorrichtung 1.2 des Fahrzeuges 1 eine Vielzahl von Objekten O1 bis O4 erkannt wird.
Dabei kann das Problem bestehen, dass ohne Kontextinformation zu den einzelnen erkannten Objekten O1 bis O4 eine Relevanz dieser für das Fahrzeug 1 nicht oder unzureichend bewertet werden kann. Die Relevanz bezieht sich dabei sowohl auf eine Fahraufgabe als auch auf Objekte O3, O4 zur Navigation und/oder als Orte von Interesse.
Um die Relevanz des jeweiligen Objektes O1 bis O4 für das Fahrzeug 1 zu ermitteln, ist ein im Folgenden beschriebenes Verfahren vorgesehen.
Gemäß dem Verfahren werden alle erkannten Objekte O1 bis O4 ausgewählt, die von einem nicht näher gezeigten Fahrerassistenzsystem des Fahrzeuges 1 als nicht relevant für eine Fahraufgabe klassifiziert werden. Diese Objekte O1 bis O4 werden zunächst als potentiell relevant klassifiziert.
Das Fahrerassistenzsystem umfasst eine satellitengestützte Positionsbestimmungseinheit, Navigationsdaten, die Umgebungssensorik 1.1, die Objekterkennungsvorrichtung 1.2 und eine Innenraumkamera 1.3 mit einer Blickerfassungsvorrichtung 1.4. Üblicherweise wählt das Fahrerassistenzsystem Objekte O1 bis O4 aus und verwirft andere, beispielsweise um eine Rechenzeit zu verringern. In einer möglichen Ausführung kann es sich um ein Fahrerassistenzsystem zum automatisierten, beispielsweise zum hochautomatisierten, Fahrbetrieb des Fahrzeuges 1 handeln.
Insbesondere werden diese Objekte O1 bis O4 als potentiell relevant klassifiziert, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung 1.4 erkannt wird, dass zu einem Zeitpunkt t₁ einer vorgegebenen Zeitdauer ein Blick der Fahrzeuginsassen des Fahrzeuges 1 länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt O1 bis O4 verweilt. Voraussetzung hierfür ist, dass das Sichtfeld S1 der Umgebungssensorik 1.1 im Wesentlichen dem weiteren Sichtfeld S2 der Fahrzeuginsassen entspricht.
In Bezug auf eine Erkennung sicherheitsrelevanter Verkehrsführungen für das Fahrzeug 1 ist vorgesehen, dass bei erkannten bewegten Objekten O1, O2 beobachtet wird, ob das jeweilige Objekt O1, O2 aufgrund seiner Bewegung und einer Bewegung des Fahrzeuges 1, also in einem weiteren Verlauf, hinsichtlich der Fahraufgabe des Fahrzeuges 1 relevant wird. Beispielsweise kann der Traktor 5 als zweites Objekt O2 von dem Feldweg F4 kommend auf den Fahrbahnabschnitt F fahren und zu einem weiteren Zeitpunkt t₂ zum Ablauf der vorgegebenen Zeitdauer für das Fahrzeug 1 sicherheitsrelevant werden.
Auch das dritte Fahrzeug 4 als bewegtes erstes Objekt O1 auf der Auffahrt F3 kann zu dem weiteren Zeitpunkt t₂ für das Fahrzeug 1 relevant sein. Insbesondere wird eine Trajektorie T des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes O1, O2 für das Fahrzeug 1 nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug 1 sicherheitsrelevant identifiziert, wenn aufgrund der Trajektorie T des dritten Fahrzeuges 4 und/oder des Traktors 5 erforderlich ist, dass das Fahrzeug 1 auf das jeweilige Objekt O1, O2 reagieren muss, beispielsweise mittels einer Lenkbewegung und/oder einer Bremsung oder Beschleunigung durch den Fahrer oder durch ein Fahrerassistenzsystem.
Die als sicherheitsrelevant identifizierten Trajektorien T der bewegten Objekte O1, O2 werden nach mehrfacher Bestätigung der Relevanz für die Fahraufgabe, beispielsweise von nicht näher gezeigten weiteren Fahrzeugen einer Fahrzeugflotte, der das Fahrzeug 1 angehört, als sicherheitsrelevante Verkehrsführung in einer digitalen Karte hinterlegt.
Diese digitale Karte ist in dem Fahrzeug 1 und/oder in einer mit dem Fahrzeug 1 datentechnisch gekoppelten, nicht näher dargestellten Rechnereinheit hinterlegt. Beispielsweise kann die digitale Karte mit den hinterlegten sicherheitsrelevanten Verkehrsführungen weiteren Fahrzeugen über das Fahrzeug 1 und/oder über die Rechnereinheit zur Verfügung gestellt werden. Beispielsweise erfolgt die Zurverfügungstellung insbesondere dann, wenn sich das jeweilige weitere Fahrzeug auf dem entsprechenden Fahrbahnabschnitt F befindet. Insbesondere wird die sicherheitsrelevante Verkehrsführung dem Fahrerassistenzsystem zur Verfügung gestellt.
In Bezug auf die Erkennung von Landmarken und/oder Orten von Interesse sieht das Verfahren vor, dass mittels eines hinterlegten Modelles, insbesondere einem Machine Learning Models, das jeweilige mittels der Objekterkennungsvorrichtung 1.2 erkannte Objekt O3, O4 als stationäres Objekt O3, O4 in Form einer Palme 6 und eines Aussichtsturmes 7 klassifiziert wird.
Das jeweilige Objekt O3, O4 wird dann den Fahrzeuginsassen des Fahrzeuges 1, insbesondere auf einer Anzeigeeinheit, beispielsweise im Bereich einer Instrumententafel, angezeigt. Der Fahrzeuginsasse oder die Fahrzeuginsassen haben nun die Möglichkeit, das jeweilige Objekt O3, O4 als Landmarke und/oder als Ort von Interesse einzustufen. Beispielsweise wird hierzu eine Frage auf der Anzeigeeinheit eingeblendet. Dabei ist eine solche Landmarke insbesondere für eine Navigation des Fahrzeuges 1, z. B. für eine Rallyefahrt, bei welcher mittels Landmarken navigiert wird, relevant.
Auch hier ist vorgesehen, dass die Landmarken und Orte von Interessen in der digitalen Karte hinterlegt werden und somit dem Fahrzeug 1 und gegebenenfalls weiteren Fahrzeugen, zumindest derselben Fahrzeugflotte, zur Verfügung stehen.

Claims

Verfahren zur Erkennung von für ein Fahrzeug (1) sicherheitsrelevanten Objekten (O1 bis O4) in einer Umgebung des Fahrzeuges (1), wobei die Umgebung und sich in dieser befindende Objekte (O1 bis O4) anhand erfasster Signale einer Umgebungssensorik (1.1) des Fahrzeuges (1) detektiert werden, dadurch gekennzeichnet, dass - ein jeweiliges Objekt (O1 bis O4), welches mittels einer Objekterkennungsvorrichtung (1.2) des Fahrzeuges (1) erkannt und zunächst für das Fahrzeug (1) als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert wird, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung (1.4) erkannt wird, dass ein Blick von Fahrzeuginsassen des Fahrzeuges (1) länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt (O1 bis O4) verweilt, - anhand einer erfassten Blickrichtung der Fahrzeuginsassen ermittelt wird, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt (O1, O2) für eine vorgegebene Zeitdauer von den Fahrzeuginsassen verfolgt wird, und - eine Trajektorie (T) des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes (O1, O2) für das Fahrzeug (1) nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug (1) sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges (1) auf das jeweilige Objekt (O1, O2) reagiert wird, - die jeweilige als sicherheitsrelevant identifizierte Trajektorie (T) eines bewegten Objektes (O1, O2) als sicherheitsrelevante Verkehrsführung in einer digitalen Karte des Fahrzeuges (1) und/oder in einer mit dem Fahrzeug (1) datentechnisch gekoppelten Rechnereinheit hinterlegt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die im Fahrzeug (1) und/oder in der Rechnereinheit hinterlegte digitale Karte weiteren Fahrzeugen zur Verfügung gestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zu einem späteren Zeitpunkt erfasstes weiteres Objekt in Abhängigkeit seiner Anwesenheit auf einer der hinterlegten sicherheitsrelevanten Verkehrsführungen als relevant klassifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erkennung von Landmarken und/oder Orten von Interesse mittels eines Modelles ein jeweiliges als potentiell relevantes stationäres Objekt (O3, O4) klassifiziert wird, wobei das jeweilige als potentiell relevant klassifizierte stationäre Objekt (O3, O4) zumindest einem Fahrzeuginsassen angezeigt wird, der das jeweilige als potentiell relevant klassifizierte stationäre Objekt (O3, O4) als Landmarke und/oder als Ort von Interesse einstuft.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das als potentiell relevant klassifizierte stationäre Objekt (O3, O4) als Landmarke und/oder als Ort von Interesse in der digitalen Karte hinterlegt wird.