DE102021005212B4

DE102021005212B4 - Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung

Info

Publication number: DE102021005212B4
Application number: DE102021005212.9A
Authority: DE
Inventors: Christian Schneider
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-10-19
Filing date: 2021-10-19
Publication date: 2022-12-01
Anticipated expiration: 2041-10-20
Also published as: DE102021005212A1

Abstract

Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors (7) eines Kraftfahrzeugs (1), wobei- mittels eines Umfeldsensors (5) eine Mehrzahl von Umfeldaufnahmen (11) aufgenommen werden, wobei- in mindestens zwei Umfeldaufnahmen (11) der Mehrzahl an Umfeldaufnahmen (11) mindestens ein Objekt (19) erkannt wird und eine Objektverfolgung des mindestens einen erkannten Objekts (19) durchgeführt wird, wobei- mittels des Fahrerbeobachtungssensors (7) bestimmt wird, ob ein Fahrer des Kraftfahrzeugs (1) das erkannte Objekt (19) beobachtet, wobei- falls der Fahrer das erkannte Objekt (19) beobachtet, für jeden Sichtstrahl (13) einer Mehrzahl an mittels des Fahrerbeobachtungssensors (7) bestimmten Sichtstrahlen (13) bestimmt wird, ob ein Schnittpunkt (23) des Sichtstrahls (13) mit dem beobachteten Objekt (19) vorliegt, wobei- basierend auf der Mehrzahl an Sichtstrahlen (13) die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet und/oder angepasst wird.

Description

Die Erfindung betrifft ein Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung.
Ein Kraftfahrzeug weist eine Mehrzahl an Assistenzsystemen und/oder Assistenzfunktionen auf, die einen Fahrer des Kraftfahrzeugs beim Fahren unterstützen und insbesondere die Sicherheit erhöhen. Ein solches Assistenzsystem und/oder eine solche Assistenzfunktion ist ein Head-Up-Display, welches Informationen zu Objekten im Umfeld des Kraftfahrzeugs - insbesondere zu vorausfahrenden Kraftfahrzeugen - in ein Sichtfeld des Fahrers einblendet. Um die Informationen an den korrekten Positionen im Sichtfeld des Fahrers einzublenden ist es notwendig, den Fahrer, insbesondere einen Kopf des Fahrers, exakt zu vermessen und eine Blickrichtung des Fahrers zu bestimmen. Insbesondere wird dafür ein Fahrerbeobachtungssensor genutzt. Für diesen Fahrerbeobachtungssensor ist es zusätzlich notwendig, eine räumliche Anordnung und eine räumliche Ausrichtung zu kennen und damit eine Kalibrierung des Fahrerbeobachtungssensors zu bestimmen und/oder anzupassen. Eine solche Bestimmung und/oder Anpassung der Kalibrierung ist zum einen beim Einbau des Fahrerbeobachtungssensors notwendig. Weiterhin kann sich die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors auf Grund von Umwelteinflüssen und/oder Alterungserscheinungen verändern, sodass zum anderen eine Anpassung der Kalibrierung des Fahrerbeobachtungssensors im laufenden Betrieb des Kraftfahrzeugs notwendig ist.
Es sind Verfahren zum Bestimmen und/oder Anpassen der Kalibrierung des Fahrerbeobachtungssensors bekannt, bei denen, insbesondere bei der Produktion des Kraftfahrzeugs, mittels eines zusätzlichen Kalibriertargets die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors bestimmt wird. Nachteilig daran ist, dass diese Verfahren zusätzliche Elemente, insbesondere die Kalibriertargets, benötigen, um eine Bestimmung und/oder Anpassung der Kalibrierung durchzuführen. Darüber hinaus kann ein solches Verfahren nicht im laufenden Betrieb, sondern insbesondere nur in einer Werkstatt, durchgeführt werden.
Weiterhin sind Verfahren zum Bestimmen und/oder Anpassen der Kalibrierung des Fahrerbeobachtungssensors bekannt, bei denen mittels Markierungen in einem Innenraum des Kraftfahrzeugs die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors bestimmt wird. Nachteilig daran ist, dass diese Verfahren nur dann durchgeführt werden können, falls die Markierungen mit dem Fahrerbeobachtungssensor erfasst werden. Sobald eine Markierung von dem Fahrer des Kraftfahrzeugs verdeckt wird, sind diese Verfahren nicht mehr robust durchführbar. Damit sind die Verfahren abhängig von einer Größe und einer Sitzposition des Fahrers in dem Kraftfahrzeug.
In der US 20170001648 A1 werden ein Verfahren und eine Vorrichtung zur Erkennung des sicheren Fahrzustands eines Fahrers beschrieben. Die Vorrichtung umfasst eine Recheneinheit, eine Blickerfassungseinheit zur Erfassung eines Fahrerblicks, sowie eine nach vorne gerichtete Kamera zur Erfassung einer dem Fahrzeug vorausliegenden Straßenszene. Die Blickerfassungseinheit und die nach vorne gerichtete Kamera werden so kalibriert, dass eine auf Basis der Blickerfassungseinheit erfasste Position eines Objekts und eine durch die nach vorne gerichtete Kamera erfasste Position des Objekts übereinstimmen. Die Kalibrierung erfolgt anhand mehrerer manuell in der Fahrzeugumgebung angeordneter Kalibrierobjekte und unter Anleitung einer Hilfsperson, wobei die Blickerfassungseinheit den Fahrerblick erfasst während der Fahrer auf einem Bildschirm in Bildern der nach vorne gerichteten Kamera ein vorgegebenes Objekt an unterschiedlichen Positionen betrachtet. Während der Fahrer angeleitet wird und unterschiedliche Objekte innerhalb einer Szene betrachtet wird der auf Basis der Blickerfassungseinheit abgeschätzte Fahrerblick in Echtzeitbildern der nach vorne gerichteten Kamera dargestellt und dabei überwacht, ob innerhalb vorgegebener Toleranzen Objektüberlagerungen auftreten und ggf. die Kalibrierung beendet wird oder andernfalls eine erneute Kalibrierung durchgeführt werden muss.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Anpassen der Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Anpassen der Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs geschaffen wird. Mittels eines Umfeldsensors werden eine Mehrzahl von Umfeldaufnahmen aufgenommen, wobei in mindestens zwei Umfeldaufnahmen der Mehrzahl an Umfeldaufnahmen mindestens ein Objekt erkannt und eine Objektverfolgung des mindestens einen erkannten Objekts durchgeführt wird. Weiterhin wird mittels des Fahrerbeobachtungssensors bestimmt, ob ein Fahrer des Kraftfahrzeugs das erkannte Objekt beobachtet. Falls der Fahrer das erkannte Objekt beobachtet, wird für jeden Sichtstrahl einer Mehrzahl an mittels des Fahrerbeobachtungssensors bestimmten Sichtstrahlen bestimmt, ob ein Schnittpunkt des Sichtstrahls mit dem beobachteten Objekt vorliegt. Basierend auf der Mehrzahl an Sichtstrahlen wird eine Kalibrierung des Fahrerbeobachtungssensors bewertet und/oder angepasst.
Vorteilhafterweise ist es damit möglich, eine Kalibrierung des Fahrerbeobachtungssensors unabhängig von Kalibriertargets und unabhängig von Markierungen im Innenraum des Kraftfahrzeugs zu bewerten und/oder anzupassen. Weiterhin ist die Bewertung und/oder Anpassung der Kalibrierung unabhängig von der Größe und der Sitzposition des Fahrers des Kraftfahrzeugs.
Darüber hinaus ist es mittels des Verfahrens vorteilhaft möglich, eine Kalibrierung unabhängig von einer Wettersituation und unabhängig von einer Umgebungshelligkeit des Kraftfahrzeugs zu bewerten und/oder anzupassen.
Weiterhin ist das Verfahren vorteilhafterweise unabhängig von Eigenschaften des Umfeldsensors, von der Geschwindigkeit des Kraftfahrzeugs und/oder Odometriedaten des Kraftfahrzeugs.
Im Kontext der vorliegenden technischen Lehre ist eine räumliche Anordnung des Umfeldssensors - insbesondere eine Position im dreidimensionalen Raum - und eine räumliche Ausrichtung des Umfeldsensors - insbesondere ein Nickwinkel des Umfeldsensors, ein Rollwinkel des Umfeldsensors und ein Gierwinkel des Umfeldsensors - softwaretechnisch gespeichert.
Vorzugsweise wird als Umfeldsensor ein Sensor, ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor, verwendet.
Im Kontext der vorliegenden technischen Lehre ist ein SFM-Vision-Sensor ein optischer Sensor, welcher mittels einer Mehrzahl an insbesondere zeitversetzt aufgenommenen Bildern und eines „Structure from Motion“-Verfahrens (SFM) 3D Informationen berechnet.
Insbesondere ist jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen eine dreidimensionale Aufnahme, die Breiteninformationen, Höheninformationen und Tiefeninformationen aufweist. In einer bevorzugten Ausgestaltung wird jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen in eine zweidimensionale Aufnahme überführt, wobei die zweidimensionale Aufnahme die Breiteninformationen und Tiefeninformationen aufweist und die Höheninformationen nicht berücksichtigt werden. Vorzugsweise werden die Mehrzahl an Umfeldaufnahmen zeitlich nacheinander aufgenommen.
Vorzugsweise wird als Fahrerbeobachtungssensor ein optischer Sensor, insbesondere eine Kamera, verwendet. Besonders bevorzugt werden mittels des Fahrerbeobachtungssensors zweidimensionale Aufnahmen erstellt.
Im Kontext der vorliegenden technischen Lehre ist eine räumliche Anordnung des Fahrerbeobachtungssensors - insbesondere eine Position im dreidimensionalen Raum - und eine räumliche Ausrichtung des Fahrerbeobachtungssensors - insbesondere ein Nickwinkel des Fahrerbeobachtungssensors, ein Rollwinkel des Fahrerbeobachtungssensors und ein Gierwinkel des Fahrerbeobachtungssensors - softwaretechnisch gespeichert.
Insbesondere ist der Sichtstrahl eine Halbgerade, welche sich ausgehend von dem Fahrer des Kraftfahrzeugs, insbesondere einem Augenbereich des Fahrers, in Richtung einer Blickrichtung des Fahrers des Kraftfahrzeugs erstreckt.
Besonders bevorzugt wird die Blickrichtung des Fahrers mittels des Fahrerbeobachtungssensors und insbesondere mittels eines auf Purkinje-Bildern basierenden Augen-Verfolgungs-Verfahrens ermittelt. Ein solches auf Purkinje-Bildern basierendes Augen-Verfolgungs-Verfahren ist insbesondere in SIGUT, J., SIDHA, S.-A.: „Iris center corneal reflection method for gaze tracking using visible light“, in: IEEE Transactions on Bio-Medical Engineering, 58, Febr. 2011, 2, Seiten 411 - 419, ISSN 0018-9294, veröffentlicht.
In einer bevorzugten Ausgestaltung des Verfahrens werden eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen und ein Sichtstrahl der Mehrzahl an Sichtstrahlen, insbesondere eine Blickrichtung des Fahrers, gleichzeitig bestimmt. Alternativ oder zusätzlich werden besonders bevorzugt in einem Zeitintervall zwischen einer ersten Umfeldaufnahme und einer zweiten Umfeldaufnahme mindestens ein Sichtstrahl, vorzugsweise mindestens zwei Sichtstrahlen, vorzugsweise mindestens drei Sichtstrahlen, vorzugsweise mindestens fünf Sichtstrahlen, vorzugsweise mindestens 10 Sichtstrahlen, erfasst. Vorzugsweise werden die Sichtstrahlen, welche in dem Zeitintervall zwischen der ersten Umfeldaufnahme und der zweiten Umfeldaufnahme erfasst werden, der ersten Umfeldaufnahme zugeordnet. Alternativ werden vorzugsweise die Lichtstrahlen, welche in dem Zeitintervall zwischen der ersten Umfeldaufnahme und der zweiten Umfeldaufnahme erfasst werden, der zweiten Umfeldaufnahme zugeordnet.
Insbesondere wird jeder Sichtstrahl der Mehrzahl an Sichtstrahlen genau einer Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen zugeordnet.
Vorzugsweise wird ein sogenanntes Ray-Casting-Verfahren durchgeführt, um zu bestimmen, ob ein Sichtstrahl das beobachtete Objekt schneidet. Insbesondere werden für das Ray-Casting-Verfahren die räumliche Anordnung des Umfeldssensors - insbesondere die Position im dreidimensionalen Raum -, die räumliche Ausrichtung des Umfeldsensors - insbesondere der Nickwinkel des Umfeldsensors, der Rollwinkel des Umfeldsensors und der Gierwinkel des Umfeldsensors -, die räumliche Anordnung des Fahrerbeobachtungssensors - insbesondere die Position im dreidimensionalen Raum - und die räumliche Ausrichtung des Fahrerbeobachtungssensors - insbesondere der Nickwinkel des Fahrerbeobachtungssensors, der Rollwinkel des Fahrerbeobachtungssensors und der Gierwinkel des Fahrerbeobachtungssensors - verwendet, um das beobachtete Objekt und den Sichtstrahl in einem insbesondere gemeinsamen Koordinatensystem zu betrachten. In diesem insbesondere gemeinsamen Koordinatensystem wird eine Ausbreitung von mindestens einem Sichtstrahl der Mehrzahl an Sichtstrahlen analysiert und geprüft, ob der mindestens eine Sichtstrahl das beobachtete Objekt schneidet.
Besonders bevorzugt werden die softwaretechnisch hinterlegten Werte der räumlichen Anordnung des Fahrerbeobachtungssensors bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors rechnerisch variiert. Alternativ oder zusätzlich werden besonders bevorzugt die softwaretechnisch hinterlegten Werte der räumlichen Ausrichtung des Fahrerbeobachtungssensors bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors rechnerisch variiert.
Insbesondere werden die Informationen des Fahrerbeobachtungssensors, insbesondere die Blickrichtung des Fahrers, genutzt, um mindestens ein Visualisierungselement eines Head-Up-Displays korrekt darzustellen. Vorzugsweise ist das mindestens eine Visualisierungselement eine farbliche Markierung, die ein dem Kraftfahrzeug vorausfahrendes Fahrzeug, insbesondere Kraftfahrzeug, insbesondere farblich markiert. Besonders bevorzugt ist das mindestens eine Visualisierungselement eine farbliche Markierung, die ein Fahrzeug, welches als Referenz für eine adaptive Geschwindigkeitsregelung, auch ACC genannt, genutzt wird, insbesondere farblich markiert.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass anhand der Objektverfolgung eine Objekttrajektorie bestimmt wird. Zusätzlich werden mittels des Fahrerbeobachtungssensors eine Mehrzahl von Fahreraufnahmen des Fahrers aufgenommen, wobei mittels der Mehrzahl an Fahreraufnahmen eine Sichttrajektorie des Fahrers bestimmt wird. Anschließend wird die Objekttrajektorie mit der Sichttrajektorie verglichen, wobei basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt beobachtet.
In einer bevorzugten Ausführungsform des Verfahrens werden die mittels des Fahrerbeobachtungssensors bestimmten Sichtstrahlen zu Clustern gruppiert. Vorzugsweise wird ein vorbestimmter Öffnungswinkel eines Sichtkegels vorgegeben. Alternativ oder zusätzlich werden vorzugsweise die Sichtstrahlen derart zu Clustern gruppiert, dass alle Sichtstrahlen eines Clusters in einem dem jeweiligen Cluster zugeordneten Sichtkegel mit dem vorbestimmten Öffnungswinkel liegen. Besonders bevorzugt wird anhand der einem Cluster zugeordneten Sichtstrahlen jeweils eine Sichttrajektorie erstellt.
Insbesondere kann die Sichttrajektorie mit einer ersten Objekttrajektorie eines ersten erkannten Objekts und mit einer zweiten Objekttrajektorie eines zweiten erkannten Objekts verglichen werden. Anhand der Vergleiche kann bestimmt werden, ob und welches der erkannten Objekte, insbesondere das erste erkannte Objekt oder das zweite erkannte Objekt, von dem Fahrer beobachtet wird.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in mindestens zwei Fahreraufnahmen der Mehrzahl an Fahreraufnahmen eine Pupille des Fahrers gesucht wird. Vorzugsweise wird anhand der erkannten Pupille des Fahrers die Sichttrajektorie bestimmt.
In einer weiteren bevorzugten Ausführungsform des Verfahrens werden die Positionen der erkannten Pupille des Fahrers zu Clustern gruppiert. Vorzugsweise wird eine vorbestimmte Clusterbreite vorgegeben.
Vorzugsweise werden die Positionen der erkannten Pupille derart zu Clustern gruppiert, dass alle Positionen der Pupille eines Clusters einen horizontalen Abstand zueinander aufweisen, der kleiner ist als die vorbestimmte Clusterbreite. Besonders bevorzugt wird anhand der einem Cluster zugeordneten Positionen der Pupille eine Sichttrajektorie erstellt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Anpassung der Kalibrierung des Fahrerbeobachtungssensors durchgeführt wird, falls mindestens ein Sichtstrahl nicht das beobachtete Objekt schneidet.
Vorteilhafterweise kann damit selbst bei einer kleinen Abweichung eines Sichtstrahls der Mehrzahl an Sichtstrahlen von einem erwarteten Verlauf des Sichtstrahls im laufenden Betrieb die Anpassung der Kalibrierung des Fahrerbeobachtungssensors initiiert werden.
Insbesondere wird hierfür angenommen, dass, falls der Fahrer das erkannte Objekt beobachtet, alle Sichtstrahlen der Mehrzahl an Sichtstrahlen das erkannte Objekt schneiden. Somit wird insbesondere angenommen, dass, falls mindestens ein Sichtstrahl nicht das beobachtete Objekt schneidet, der Fahrerbeobachtungssensor und damit insbesondere die softwaretechnisch hinterlegten Werte der räumlichen Anordnung und/oder der räumlichen Ausrichtung des Fahrerbeobachtungssensors fehlerhaft gespeichert sind.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen, die das beobachtete Objekt schneiden, zu der Gesamtzahl der Mehrzahl an Sichtstrahlen berechnet wird. Mittels der ersten Metrik wird die Kalibrierung des Fahrerbeobachtungssensors bewertet.
In einer bevorzugten Ausgestaltung wird für mindestens eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen ein Ray-Casting-Verfahren derart durchgeführt, dass für alle Sichtstrahlen, die der mindestens einen Umfeldaufnahme zugeordnet sind, geprüft wird, ob die Sichtstrahlen das beobachtete Objekt in der mindestens einen Umfeldaufnahme schneiden. Anschließend wird für die mindestens eine Umfeldaufnahme das Verhältnis von Sichtstrahlen, die das beobachtete Objekt schneiden, zu der Gesamtzahl der Mehrzahl an Sichtstrahlen, die der mindestens einen Umfeldaufnahme zugeordnet sind, berechnet. Insbesondere nimmt dieses Verhältnis einen Wert von 0 bis 1 an, wobei bei 0 kein Sichtstrahl das beobachtete Objekt schneidet und bei 1 jeder Sichtstrahl das beobachtete Objekt schneidet. Zusätzlich wird besonders bevorzugt dieses Verhältnis für jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen berechnet, wobei vorzugsweise ein Mittelwert der Mehrzahl an Werten des Verhältnisses berechnet wird.
Insbesondere ist die Kalibrierung des Fahrerbeobachtungssensors besser, je näher der Wert des Verhältnisses oder der Mittelwert der Mehrzahl an Werten des Verhältnisses an dem Wert 1 liegt.
Vorzugsweise wird das Verfahren beendet, wenn der Wert der ersten Metrik größer ist als ein erster vorbestimmter Schwellenwert.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte der Sichtstrahlen mit dem beobachteten Objekt vorgegeben wird. Zusätzlich wird eine örtliche Ist-Verteilung der Schnittpunkte der Sichtstrahlen mit dem erkannten Objekt berechnet. Weiterhin wird eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors bewertet wird.
Insbesondere ist die Kalibrierung des Fahrerbeobachtungssensors besser, je näher der Wert der örtlichen Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung an dem Wert 0 liegt.
In einer bevorzugten Ausgestaltung wird für mindestens eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen, der vorzugsweise eine Mehrzahl an Sichtstrahlen zugeordnet ist, eine örtliche Ist-Verteilung berechnet. Insbesondere werden für die Mehrzahl an Sichtstrahlen Schnittpunkte der Sichtstrahlen mit dem beobachteten Objekt bestimmt. Weiterhin wird insbesondere die örtliche Ist-Verteilung der Schnittpunkte berechnet, indem die örtliche Soll-Verteilung derart horizontal verschoben wird, dass eine örtliche Verteilung der bestimmten Schnittpunkte interpoliert wird. Zusätzlich wird besonders bevorzugt die örtliche Verschiebung für jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen berechnet, wobei vorzugsweise ein Mittelwert der Mehrzahl an Werten der örtlichen Verschiebung berechnet wird.
Besonders bevorzugt wird als örtliche Soll-Verteilung eine Normalverteilung, insbesondere eine Gaußsche Glockenkurve verwendet. Alternativ wird besonders bevorzugt als örtliche Soll-Verteilung eine Verteilung verwendet, die eine Mehrzahl an Extremstellen aufweist, insbesondere sind die Maximalstellen der Verteilung an den Rändern des beobachteten Objekts und in der Mitte des beobachteten Objekts angeordnet.
Vorzugsweise wird das Verfahren beendet, wenn der Wert der zweiten Metrik kleiner ist als ein zweiter vorbestimmter Schwellenwert.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors mindestens ein softwaretechnisch gespeicherter Parameter des Fahrerbeobachtungssensors derart rechnerisch variiert wird, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.
Insbesondere ist der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors ausgewählt aus der örtlichen Anordnung des Fahrbeobachtungssensors, dem Nickwinkel des Fahrerbeobachtungssensors, dem Rollwinkel des Fahrerbeobachtungssensors und dem Gierwinkel des Fahrerbeobachtungssensors.
Insbesondere wird die Optimierung derart durchgeführt, dass der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors rechnerisch verändert wird und anschließend mit dem rechnerisch veränderten Wert die mindestens eine Metrik insbesondere auf Grundlage der identischen Umfeldaufnahmen und identischen Sichtstrahlen erneut berechnet wird, wobei die rechnerisch veränderten Werte in die Bestimmung der Schnittpunkte, insbesondere mittels des Ray-Casting-Verfahrens, einfließen. Der neu berechnete Wert der mindestens einen Metrik wird dann insbesondere mit dem zugeordneten ersten oder zweiten Schwellenwert verglichen, wobei basierend auf dem Vergleich das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der mindestens einen Metrik erneut durchgeführt oder aber die Optimierung beendet wird. Besonders bevorzugt wird diese Vorgehensweise, insbesondere das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der ersten Metrik so lange durchgeführt bis der Wert der ersten Metrik größer ist als der erste vorbestimmte Schwellenwert. Alternativ oder zusätzlich wird besonders bevorzugt dieses Vorgehen, insbesondere das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der zweiten Metrik so lange durchgeführt, bis der Wert der zweiten Metrik kleiner ist als der zweite vorbestimmte Schwellenwert.
Die Aufgabe wird auch gelöst, indem eine Steuervorrichtung geschaffen wird, die zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens nach einer oder mehreren der zuvor beschriebenen Ausführungsformen eingerichtet ist. In Zusammenhang mit der Steuervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Steuervorrichtung ist bevorzugt eingerichtet, um mit dem Umfeldsensor und dem Fahrerbeobachtungssensor wirkverbunden zu werden, und eingerichtet zu deren Ansteuerung.
Die Aufgabe wird auch gelöst, indem eine Kalibrierungsvorrichtung geschaffen wird, die einen Fahrerbeobachtungssensor und eine erfindungsgemäße Steuervorrichtung oder eine Steuervorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen aufweist. In Zusammenhang mit der Kalibrierungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuervorrichtung erläutert wurden.
Die Steuervorrichtung ist bevorzugt mit einem Umfeldsensor und dem Fahrerbeobachtungssensor wirkverbunden und eingerichtet zu deren Ansteuerung.
Die Aufgabe wird auch gelöst, indem ein Kraftfahrzeug mit einem Umfeldsensor und einer erfindungsgemäßen Kalibrierungsvorrichtung oder einer Kalibrierungsvorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuervorrichtung und der Kalibrierungsvorrichtung erläutert wurden.
Besonders bevorzugt ist das Kraftfahrzeug als ein Personenkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Lastkraftwagen, ein Nutzfahrzeug oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
Dabei zeigen:

1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs,
2 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Kalibrieren eines Fahrerbeobachtungssensors,
3 eine schematische Darstellung einer ersten Mehrzahl an Schnittpunkten und einer zweiten Mehrzahl an Schnittpunkten.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einer Kalibrierungsvorrichtung 3 und einem Umfeldsensor 5. Die Kalibrierungsvorrichtung 3 weist einen Fahrerbeobachtungssensor 7 und eine Steuervorrichtung 9 auf.
Der Umfeldsensor 5 ist eingerichtet, um eine Mehrzahl an Umfeldaufnahmen 11, insbesondere als zeitliche Abfolge von Umfeldaufnahmen 11, einer Umgebung des Kraftfahrzeugs 1 zu erstellen. Vorzugsweise ist der Umfeldsensor 5 eingerichtet, um die Mehrzahl an Umfeldaufnahmen 11 der Umgebung des Kraftfahrzeugs 1 als eine Punktwolke zu erstellen. Besonders bevorzugt ist der Umfeldsensor 5 ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor.
Der Fahrerbeobachtungssensor 7 ist eingerichtet, um eine Mehrzahl an Sichtstrahlen 13, insbesondere eine zeitliche Abfolge von Sichtstrahlen 13, zu bestimmen. Insbesondere repräsentiert ein Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 eine Blickrichtung eines Fahrers des Kraftfahrzeugs 1. Besonders bevorzugt ist der Fahrerbeobachtungssensor 7 ein optischer Sensor, welcher insbesondere zweidimensionale Fahreraufnahmen 15 des Fahrers des Kraftfahrzeugs 1 erstellt.
Die Steuervorrichtung 9 ist hier nur schematisch dargestellt und ist in nicht explizit dargestellter Weise mit dem Umfeldsensor 5 und dem Fahrerbeobachtungssensor 7 wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. Die Steuervorrichtung 9 ist insbesondere eingerichtet zur Durchführung eines Verfahrens zum Anpassen einer Kalibrierung des Fahrerbeobachtungsensors 7. Das Verfahren wird anhand von 2 näher erläutert.
2 zeigt ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens zum Anpassen der Kalibrierung des Fahrerbeobachtungssensors 7 des Kraftfahrzeugs 1.
In einem ersten Schritt a) werden mittels des Umfeldsensors 5 die Mehrzahl an Umfeldaufnahmen 11 aufgenommen. Insbesondere wird zu einem ersten Zeitpunkt t₁ eine erste Umfeldaufnahme 11.1, zu einem zweiten Zeitpunkt t₂ eine zweite Umfeldaufnahme und zu einem n-ten Zeitpunkt t_n eine n-te Umfeldaufnahme 11.n aufgenommen.
In einem zweiten Schritt b) werden mittels des Fahrerbeobachtungssensors 7 die Mehrzahl an Sichtstrahlen 13 bestimmt. Vorzugsweise wird zu dem ersten Zeitpunkt t₁ ein erster Sichtstrahl 13.1, zu dem zweiten Zeitpunkt t₂ ein zweiter Sichtstrahl und zu dem n-ten Zeitpunkt t_n ein n-ter Sichtstrahl 13.n bestimmt. Alternativ oder zusätzlich werden besonders bevorzugt in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten, zum Beispiel zwischen dem ersten Zeitpunkt t₁ und dem zweiten Zeitpunkt t₂, eine Mehrzahl an Sichtstrahlen 13 bestimmt.
Besonders bevorzugt werden die Mehrzahl an Sichtstrahlen 13 mittels einem auf Purkinje-Bildern basierenden Augen-Verfolgungs-Verfahren ermittelt.
Besonders bevorzugt werden in dem zweiten Schritt b) mittels des Fahrerbeobachtungssensors 7 eine Mehrzahl von Fahreraufnahmen 15 des Fahrers aufgenommen. Insbesondere wird zu dem ersten Zeitpunkt t₁ eine erste Fahreraufnahme 15.1, zu dem zweiten Zeitpunkt t₂ eine zweite Fahreraufnahme und zu dem n-ten Zeitpunkt t_n eine n-te Fahreraufnahme 15.n aufgenommen. Zusätzlich wird in einem optionalen Schritt b1) mittels der Mehrzahl an Fahreraufnahmen 15 eine Sichttrajektorie 17 des Fahrers bestimmt. Insbesondere wird in mindestens zwei Fahreraufnahmen 15 der Mehrzahl an Fahreraufnahmen 15 eine Pupille des Fahrers gesucht, wobei vorzugsweise anhand der erkannten Pupille des Fahrers die Sichttrajektorie 17 bestimmt wird.
In einem dritten Schritt c) wird in mindestens zwei Umfeldaufnahmen 11 der Mehrzahl an Umfeldaufnahmen 11 mindestens ein Objekt 19 - insbesondere dargestellt in 3 - erkannt.
In einem vierten Schritt d) wird für das mindestens eine erkannte Objekt 19 eine Objektverfolgung durchgeführt. Besonders bevorzugt wird anhand der Objektverfolgung eine Objekttrajektorie 21 des erkannten Objekts 19 bestimmt.
In einem fünften Schritt e) wird bestimmt, ob der Fahrer des Kraftfahrzeugs 1 das erkannte Objekt 19 beobachtet. Insbesondere wird dafür der erste Sichtstrahl 13.1 der ersten Umfeldaufnahme 11.1, der zweite Sichtstrahl der zweiten Umfeldaufnahme und der n-te Sichtstrahl 13.n der n-ten Umfeldaufnahme 11.n zugeordnet. Besonders bevorzugt werden die Mehrzahl an Sichtstrahlen 13, die in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten bestimmt werden, einem Startzeitpunkt des Zeitintervalls zugeordnet. Alternativ werden besonders bevorzugt die Mehrzahl an Sichtstrahlen 13, die in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten bestimmt werden, einem Endzeitpunkt des Zeitintervalls zugeordnet. Insbesondere wird jeder Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 genau einer Umfeldaufnahme 11 der Mehrzahl an Umfeldaufnahmen 11 zugeordnet.
Insbesondere wird in dem fünften Schritt e) die Objekttrajektorie 21 mit der Sichttrajektorie 17 verglichen, wobei basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt 19 beobachtet.
Falls der Fahrer das erkannte Objekt 19 nicht beobachtet, wird das Verfahren beendet oder die Schritte a) bis e) werden erneut durchgeführt.
Falls der Fahrer das erkannte Objekt 19 beobachtet, wird in einem sechsten Schritt f) für jeden Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 bestimmt, ob ein Schnittpunkt 23 des Sichtstrahls 13 mit dem beobachteten Objekt 19 vorliegt. Insbesondere wird für jeden Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 ein sogenanntes Ray-Casting-Verfahren durchgeführt, um zu bestimmen, ob der Sichtstrahl 13 das beobachtete Objekt 19 schneidet.
Basierend auf der Mehrzahl an Sichtstrahlen 13 wird die Kalibrierung des Fahrerbeobachtungssensors 7 in einem siebten Schritt g) bewertet und/oder angepasst. Vorzugsweise wird die Anpassung der Kalibrierung des Fahrerbeobachtungssensors 7 durchgeführt, falls mindestens ein Sichtstrahl 13 das beobachtete Objekt 19 nicht schneidet.
Vorzugsweise wird bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen 13, die das beobachtete Objekt 19 schneiden, zu der Mehrzahl an Sichtstrahlen 13 berechnet. Mittels der ersten Metrik wird die Kalibrierung des Fahrerbeobachtungssensors 7 bewertet.
Alternativ oder zusätzlich wird vorzugsweise bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte 23 der Sichtstrahlen 13 mit dem beobachteten Objekt 19 vorgegeben. Zusätzlich wird eine örtliche Ist-Verteilung der Schnittpunkte 23 der Sichtstrahlen 13 mit dem beobachteten Objekt 19 berechnet. Weiterhin wird eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors 7 bewertet wird.
Besonders bevorzugt wird bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors 7 mindestens ein softwaretechnisch gespeicherter Parameter des Fahrerbeobachtungssensors 7 derart rechnerisch variiert, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.
Insbesondere ist der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors 7 ausgewählt aus der örtlichen Anordnung des Fahrerbeobachtungssensors 7, dem Nickwinkel des Fahrerbeobachtungssensors 7, dem Rollwinkel des Fahrerbeobachtungssensors 7 und dem Gierwinkel des Fahrerbeobachtungssensors 7.
Vorzugsweise werden die Schritte a) bis g) zyklisch, insbesondere mit einem vorbestimmten zeitlichen Abstand durchgeführt, um die Kalibrierung des Fahrerbeobachtungssensors 7 regelmäßig zu bewerten und/oder regelmäßig anzupassen, sodass ein eine sichere Funktionsweise der Assistenzvorrichtungen und/oder Assistenzsystemen gewährleistet werden kann.
3 zeigt eine schematische Darstellung einer ersten Mehrzahl an Schnittpunkten und einer zweiten Mehrzahl an Schnittpunkten.
In 3 a) ist die erste Umfeldaufnahme 11.1 der Mehrzahl an Umfeldaufnahmen 11 mit dem beobachteten Objekt 19 zu dem ersten Zeitpunkt t₁ dargestellt. Der ersten Umfeldaufnahme 11.1 sind eine Mehrzahl an Sichtstrahlen 13 zugeordnet, insbesondere zwölf Sichtstrahlen 13. Zur übersichtlicheren Darstellung ist nur ein Sichtstrahl 13 mit einem Bezugszeichen versehen.
Insbesondere ist es möglich, die zwölf Sichtstrahlen 13 in drei Cluster 25 mit jeweils vier Sichtstrahlen 13 zu gruppieren. Alle drei Cluster 25 befinden sich insbesondere in einem Bereich des beobachteten Objekts 19 und somit schneiden alle zwölf Sichtstrahlen 13 das beobachtete Objekt 19 in den Schnittpunkten 23. Zur übersichtlicheren Darstellung ist nur ein Schnittpunkt 23 mit einem Bezugszeichen versehen.
Insbesondere werden in einem Cluster 25 Sichtstrahlen 13 zusammengefasst, die in einen identischen Bereich des Umfelds des Kraftfahrzeugs 1 gerichtet sind.
Insbesondere beträgt der Wert der ersten Metrik in diesem Fall 1, sodass auf eine korrekte Kalibrierung des Fahrerbeobachtungssensors 7 des Kraftfahrzeugs 1 geschlossen werden kann.
Analog zu 3 a) ist in 3 b) die erste Umfeldaufnahme 11.1 der Mehrzahl an Umfeldaufnahmen 11 mit dem beobachteten Objekt 19 zu dem ersten Zeitpunkt t₁ dargestellt. Der ersten Umfeldaufnahme 11.1 sind eine Mehrzahl an Sichtstrahlen 13 zugeordnet, insbesondere zwölf Sichtstrahlen 13. Zur übersichtlicheren Darstellung sind nur zwei Sichtstrahlen 13 mit einem Bezugszeichen versehen.
Insbesondere ist es möglich, die zwölf Sichtstrahlen 13 in drei Cluster 25 mit jeweils vier Sichtstrahlen 13 zu gruppieren. Im Gegensatz zu 3 a) befinden sich nur zwei von drei Clustern 25 in einem Bereich des beobachteten Objekts 19. Somit schneiden nur acht von zwölf Sichtstrahlen 13 das beobachtete Objekt 19 in den Schnittpunkten 23. Zur übersichtlicheren Darstellung ist nur ein Schnittpunkt 23 mit einem Bezugszeichen versehen. Weiterhin schneiden vier von zwölf Sichtstrahlen 13 das beobachtete Objekt 19 nicht.
Insbesondere beträgt der Wert der ersten Metrik in diesem Fall 2/3, sodass auf eine nicht korrekte, insbesondere fehlerhafte Kalibrierung des Farbbeobachtungssensors 7 des Kraftfahrzeugs 1 geschlossen werden kann.

Claims

Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors (7) eines Kraftfahrzeugs (1), wobei - mittels eines Umfeldsensors (5) eine Mehrzahl von Umfeldaufnahmen (11) aufgenommen werden, wobei - in mindestens zwei Umfeldaufnahmen (11) der Mehrzahl an Umfeldaufnahmen (11) mindestens ein Objekt (19) erkannt wird und eine Objektverfolgung des mindestens einen erkannten Objekts (19) durchgeführt wird, wobei - mittels des Fahrerbeobachtungssensors (7) bestimmt wird, ob ein Fahrer des Kraftfahrzeugs (1) das erkannte Objekt (19) beobachtet, wobei - falls der Fahrer das erkannte Objekt (19) beobachtet, für jeden Sichtstrahl (13) einer Mehrzahl an mittels des Fahrerbeobachtungssensors (7) bestimmten Sichtstrahlen (13) bestimmt wird, ob ein Schnittpunkt (23) des Sichtstrahls (13) mit dem beobachteten Objekt (19) vorliegt, wobei - basierend auf der Mehrzahl an Sichtstrahlen (13) die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet und/oder angepasst wird.
Verfahren nach Anspruch 1, wobei - anhand der Objektverfolgung eine Objekttrajektorie (21) bestimmt wird, wobei - mittels des Fahrerbeobachtungssensors (7) eine Mehrzahl von Fahreraufnahmen (15) des Fahrers aufgenommen werden, wobei - mittels der Mehrzahl an Fahreraufnahmen (15) eine Sichttrajektorie (17) des Fahrers bestimmt wird, wobei - die Objekttrajektorie (21) mit der Sichttrajektorie (17) verglichen wird, wobei - basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt (1) beobachtet.
Verfahren nach Anspruch 2, wobei in mindestens zwei Fahreraufnahmen (15) der Mehrzahl an Fahreraufnahmen (15) eine Pupille des Fahrers gesucht wird, wobei vorzugsweise anhand der erkannten Pupille des Fahrers die Sichttrajektorie (17) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Anpassung der Kalibrierung des Fahrerbeobachtungssensors (7) durchgeführt wird, falls mindestens ein Sichtstrahl (13) nicht das beobachtete Objekt (19) schneidet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen (13), die das beobachtete Objekt (19) schneiden, zu der Mehrzahl an Sichtstrahlen (13) berechnet wird, wobei mittels der ersten Metrik die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte (23) der Sichtstrahlen (13) mit dem beobachteten Objekt (19) vorgegeben wird, wobei eine örtliche Ist-Verteilung der Schnittpunkte (23) der Sichtstrahlen (13) mit dem beobachteten Objekt (19) berechnet wird, wobei eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet wird, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet wird.
Verfahren nach den Ansprüchen 5 und 6, wobei bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors (7) mindestens ein softwaretechnisch hinterlegter Parameter des Fahrerbeobachtungssensors (7), insbesondere ausgewählt aus einer Position des Fahrbeobachtungssensors (7), einem Nickwinkel des Fahrerbeobachtungssensors (7), einem Rollwinkel des Fahrerbeobachtungssensors (7) und einem Gierwinkel des Fahrerbeobachtungssensors (7), derart rechnerisch variiert wird, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.
Steuervorrichtung (9) eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
Kalibrierungsvorrichtung (3) mit einem Fahrerbeobachtungssensor (7) und einer Steuervorrichtung (9) nach Anspruch 8.
Kraftfahrzeug (1) mit einer Kalibrierungsvorrichtung (3) nach Anspruch 9 und einem Umfeldsensor (5).