DE102021100502A1

DE102021100502A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Fahrzeug zur Anzeige von weltfesten Informationsobjekten

Info

Publication number: DE102021100502A1
Application number: DE102021100502.7A
Authority: DE
Inventors: Wolfgang-Andreas Huber
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-01-13
Filing date: 2021-01-13
Publication date: 2022-07-14

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Fahrzeug, mit folgenden Schritten:- Anzeigen eines bezogen auf den Fahrzeuginnenraum ortsvariablen Markers zur Erfassung durch eine Datenbrillenkamera einer Datenbrille in einem Fahrzeuginnenraum, wobei die Anzeigeposition des Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs bezüglich eines Umgebungskoordinatensystems abhängt;- Erfassen der Anzeigeposition des ortsvariablen Markers durch die Datenbrillenkamera, um eine Orientierung des Markers zur Datenbrille in einem Brillenkoordinatensystem der Datenbrille und damit eine Brillenpose im Umgebungskoordinatensystem zu erhalten;- Anzeigen mindestens eines Informationsobjektes auf einer Anzeigefläche in der Datenbrille kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose.

Description

Technisches Gebiet
Die Erfindung betrifft Anzeigesysteme mit Datenbrillen, insbesondere zum Einsatz in einem Fahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Betreiben einer Datenbrille, insbesondere zur blickrichtungsabhängigen Anzeige von Informationsobjekten.
Technischer Hintergrund
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen können dem Träger der Datenbrille in der Regel kontaktanalog dargestellt werden, d. h. so dargestellt werden, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d. h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es jedoch notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d. h. der 3D-Position als auch der 3D-Ausrichtung der Datenbrille entsprechend sechs Freiheitsgraden (6 DoF, Degrees of Freedom).
Insbesondere bei einer Anwendung einer Datenbrille in einem Fahrzeug kann zur Bestimmung der Pose der Datenbrille in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Datenbrillenkamera und eine Recheneinrichtung, z. B. in Form eines Mikroprozessors, auf. Mithilfe von durch die Datenbrillenkamera aufgezeichneten Abbildungen im Sichtfeld des Trägers der Datenbrille kann basierend auf Markern bekannter Position oder sonstigen Strukturen bekannter Position die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Die Marker oder Strukturen sind brillenextern fest in dem Innenraum des Fahrzeugs angeordnet bzw. werden dort angezeigt. Diesen Vorgang nennt man auch Inside-Out-Tracking-Verfahren.
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit (Outside-In-Tracking-Verfahren) bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. nur mit einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
Fahrzeugfeste kontaktanaloge Informationsobjekte können mit durch kamerabasierte Inside-Out-Tracking-Verfahren ermittelten Brillenposen gut latenzarm in der Datenbrille dargestellt werden. Inside-Out-Tracking-Systeme können jedoch nur auf fahrzeugfeste vorbekannte Marker tracken, da ein Tracking auf Umgebungsobjekte aufgrund der hohen Variabilität der Umgebung nur mit sehr aufwendigen Objekterkennungsverfahren möglich wäre. Die Rechenkapazität in der Datenbrille und Ausstattung der Datenbrille reicht jedoch für eine Ermittlung von Umgebungspositionen von Umgebungsobjekten in einem Umgebungskoordinatensystem (Weltkoordinatensystem) in der Regel nicht aus. Daher sind bisherige Inside-Out Tracking-Verfahren nicht geeignet, eine Pose des Fahrzeugs bzw. einer Brillenpose der Datenbrille in Bezug auf ein weltfestes Koordinatensystem bzw. in Bezug auf Umgebungsobjekte in der Fahrzeugumgebung zu ermitteln.
Zur Darstellung von weltfesten kontaktanalogen Informationsobjekten in der Datenbrille müssen deren Umgebungspositionen im Brillenkoordinatensystem oder im Fahrzeugkoordinatensystem angegeben sein. Die Umrechnung zwischen den Umgebungspositionen im Umgebungskoordinatensystem in das Brillenkoordinatensystem erfolgt beispielsweise basierend auf Transformationsvektoren, die die Lage des Brillenkoordinatensystems zum Fahrzeugkoordinatensystem und das Fahrzeugkoordinatensystem zum Umgebungskoordinatensystem angeben. Da diese Information aus vorgenannten Gründen in der Regel nur brillenextern zur Verfügung steht, muss diese zur Anzeige von weltfesten kontaktanalogen Informationsobjekten an die Datenbrille übermittelt werden.
Jedoch führt die Signallaufzeit zwischen dem brillenexternen System des Fahrzeugs und der Datenbrille zu hohen Latenzzeiten, die in der Wahrnehmung des Betrachters zu einem Nachlaufen des Informationsobjekts bezüglich einer Umgebungsposition führen kann.
Da bei einer Bewegung des Fahrzeugs dieses sich gegenüber der Umgebung entlang einer Bewegungstrajektorie durch Nicken, Vibrationen, ein Fahren über Schlaglöcher und unebene Fahrbahn ändert, ist es aufgrund der hohen Latenzzeiten nicht möglich, das weltfest kontaktanalog darzustellende Informationsobjekt bezogen auf eine Umgebungsposition stabil zu halten. Auch reagiert der Fahrer in der Regel mit einer ausgleichenden Kopfbewegung auf Fahrbewegungen des Fahrzeugs. Insgesamt führt dies zu einer unruhigen Darstellung der kontaktanalog zu einer weltfesten Umgebungsposition angezeigten Informationsobjekte in der Datenbrille, die für einen Benutzer inakzeptabel ist.
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Betreiben eines Anzeigesystems bereitzustellen, mit dem eine kontaktanaloge Darstellung eines Informationsobjektes bezüglich einer Umgebungsposition in einem weltfesten Umgebungskoordinatensystem in verbesserter Weise möglich ist. Insbesondere soll eine möglichst latenzfreie Nachführung des Informationsobjektes mit Bezug zu der Umgebungsposition möglich sein.
Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems in einem Fahrzeug gemäß Anspruch 1 sowie ein Anzeigesystem, eine Datenbrille und ein Assistenzsystem gemäß den nebengeordneten Ansprüchen gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Fahrzeug vorgesehen, mit folgenden Schritten:

- Anzeigen eines bezogen auf den Fahrzeuginnenraum ortsvariablen Markers zur Erfassung durch eine Datenbrillenkamera einer Datenbrille in einem Fahrzeuginnenraum, wobei die Anzeigeposition des Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmbaren Position des Fahrzeugs bezüglich eines Umgebungskoordinatensystems abhängt;
- Erfassen der Anzeigeposition des ortsvariablen Markers durch die Datenbrillenkamera, um eine Orientierung des Markers zur Datenbrille in einem Brillenkoordinatensystem der Datenbrille und damit eine Brillenpose im Umgebungskoordinatensystem zu erhalten;
- Anzeigen mindestens eines Informationsobjektes auf einer Anzeigefläche in der Datenbrille kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose.

Die kontaktanaloge Darstellung eines Informationsobjekts in Bezug auf eine Umgebungsposition, wie beispielsweise der Position eines Umgebungsobjekts oder einer sonstigen Position in der Umgebung eines Fahrzeugs, erfordert die genaue Kenntnis der Umgebungsposition bezogen auf ein brillenfestes Koordinatensystem (Brillenkoordinatensystem) in der Datenbrille. Die direkte Bezugnahme auf eine Umgebungsposition in der Fahrzeugumgebung ist zwar durch ein brillenbasiertes Tracking-Verfahren, wie beispielsweise ein Inside-Out-Tracking, grundsätzlich möglich, jedoch sehr rechenaufwendig und für praktische Anwendungen aufgrund des wahrnehmbaren Nachlaufs des angezeigten Informationsobjekt nicht nutzbar. Aus diesem Grund wird die Ermittlung einer Umgebungsposition zunächst auf ein Fahrzeugkoordinatensystem (fahrzeugfestes Koordinatensystem) bezogen bzw. angegeben und mithilfe eines fahrzeugfesten Assistenzsystems im Fahrzeug festgestellt.
Eine Brillenpose im Fahrzeugkoordinatensystem kann durch eine Inertialsensorik und/oder eine Datenbrillenkamera ermittelt werden. Mithilfe der bereitgestellten Information über die Umgebungsposition, an der ein kontaktanalog anzuzeigendes Informationsobjekt dargestellt werden soll und die bezogen auf ein vorzugsweise zu einer Geoposition festgelegtes Umgebungskoordinatensystem angegeben ist, kann das Informationsobjekt an einer Anzeigeposition in der Datenbrille abhängig von einer im Umgebungskoordinatensystem bestimmten Brillenpose angezeigt werden, so dass das Informationsobjekt fest an der Umgebungsposition dargestellt wird.
Die Übermittlung einer Information, die eine Umsetzung der Umgebungsposition (bezogen auf ein Fahrzeugkoordinatensystem) in das Brillenkoordinatensystem ermöglicht oder beinhaltet, ist jedoch latenzbehaftet, so dass eine quasi echtzeitfähige kontaktanaloge Darstellung des Informationsobjektes bezüglich der weltfesten Umgebungsposition nicht möglich ist.
Beim Fahren des Fahrzeugs bewegt sich das Fahrzeug entlang einer „glatten“ Bewegungstrajektorie durch die Umgebung. Zudem unterliegt das Fahrzeug höherfrequenten Einflüssen, die beispielsweise durch Bodenunebenheiten, Korrekturlenkeingriffen und dergleichen ausgeübt werden. Dies führt neben translatorischen Abweichungen zu nennenswerten rotatorischen Abweichungen, in der Regel zu einem Nicken, Rollen und Gieren des Fahrzeugs um die drei Raumachsen. Insbesondere rotatorische Abweichungen zwischen der Pose der Datenbrille im angenommenen Umgebungskoordinatensystem und der tatsächlichen Pose der Datenbrille bezüglich der Umgebung können zu erheblichen Abweichungen von kontaktanalog anzuzeigenden Informationsobjekten führen. Die rotatorischen Abweichungen sind aufgrund der Latenz der Übermittlung nur mit hohem Aufwand in Echtzeit ausgleichbar. Höherfrequent bedeutet in diesem Zusammenhang, dass die rotatorischen Einflüsse eine schnellere Änderung bewirken als die durch die vorgegebene glatte Bewegungstrajektorie hervorgerufenen rotatorischen Änderungen des Fahrzeugs.
Es wird die Annahme getroffen, dass sich das Fahrzeugkoordinatensystem innerhalb des Umgebungskoordinatensystems gemäß einer bekannten Bewegungstrajektorie bewegt, jedoch erfolgt diese Positionierung des Fahrzeugkoordinatensystem im Umgebungskoordinatensystem stark tiefpassgefiltert, so dass sich bei der Bewegung entlang dieser glatten Bewegungstrajektorie insbesondere die rotatorischen Abweichungen zwischen der Pose des Fahrzeugs auf der glatten Trajektorie und der tatsächlichen Pose des Fahrzeugs in der Umgebung (bezüglich des Umgebungskoordinatensystems) ergeben. Die tiefpassgefilterte Bewegungstrajektorie ist dem Assistenzsystem bekannt und wird auch an die Datenbrille übermittelt.
Ein Fahrzeug im Sinne dieser Beschreibung stellt jegliches mobiles Transportmittel dar, in dem für Insassen eine augmentierte Darstellung kontaktanaloger Objekte stattfinden soll.
Zur Darstellung von Informationsobjekten an bestimmten Umgebungspositionen (Positionen bezüglich des Umgebungskoordinatensystems, wie z.B. Geokoordinaten) ist es erforderlich, dass alle zeitlichen Bewegungen inklusive der höherfrequenten Bewegungen, die die deterministische glatte Bewegungstrajektorie des Fahrzeugs in der Fahrzeugumgebung überlagern, in der Größenordnung von ca. 20 bis 30 ms latenzkorrigiert werden, was sich bei einer Frame-Rate von ca. 30-50 Hz dadurch äußert, dass die Korrektur von einem Frame zum nächsten durchgeführt werden muss und maximal ein Frame hinterherhinkt. Bei dieser maximal zulässigen Gesamtlatenz ist die Ermittlung der relativen Brillenpose im Fahrzeugkoordinatensystem mithilfe eines Kamerasystems im Fahrzeug und die Übermittlung der relativen Brillenpose an die Datenbrille und die dortige Verarbeitung in eine Korrektur der Position des anzuzeigenden Informationsobjektes technisch sehr aufwendig und mit wirtschaftlich vertretbarem Aufwand derzeit kaum realisierbar.
Bisherige Verfahren zur Ermittlung der relativen Brillenpose im Fahrzeugkoordinatensystem sehen ein Outside-in-Tracking oder eine Datenbrillenkamera vor, die ortsfeste Marker im Fahrzeug (Cockpit) erkennen und dadurch die relative Brillenpose im Fahrzeugkoordinatensystem in der Datenbrille bereitstellen können. Jedoch ist die Umgebungsposition von fahrzeugexternen Umgebungsobjekten im Fahrzeugkoordinatensystem starken Variationen unterworfen, die aufgrund der Latenzzeit der Übertragung an die Datenbrille nicht in Echtzeit ausgeglichen werden können.
Es ist daher gemäß dem obigen Verfahren vorgesehen, bei einem Anzeigesystem mit einer Datenbrille, die die relative Brillenpose im Fahrzeugkoordinatensystem mithilfe einer Datenbrillenkamera ermittelt, einen ortsvariablen Marker im Fahrzeug vorzusehen. Der ortsvariable Marker ist bezüglich der rotatorischen Ausrichtung auf das Umgebungskoordinatensystem synchronisiert. Der Marker ist ortsvariabel, da dieser nicht an einem festen Ort im Fahrzeuginnenraum sondern an verschiedenen Positionen auf einer oder mehreren Anzeigeflächen im Fahrzeuginnenraum dargestellt werden kann.
Ein Marker stellt herkömmlich eine Markierung bzw. optische Struktur dar, die von der Datenbrillenkamera erfasst werden kann, so dass die Brillenpose aus der bekannten Ausrichtung der Datenbrillenkamera an der Datenbrille und der bekannten Position des Markers im Umgebungskoordinatensystem in an sich bekannter Weise bestimmt werden kann. Die Struktur des Markers ist dabei so beschaffen, dass sich daraus die Brillenpose relativ zum Marker ermitteln lässt, d.h. die Position und Orientierung der Brille in Bezug auf die drei Raumachsen. Zur Erfassung einer Brillenpose bezüglich aller drei Raumachsen muss der Marker eine flächige Erstreckung haben, durch die rotatorische Perspektivänderungen erkannt werden können. Dies kann durch drei oder mehr als drei voneinander beabstandeten Teilmarkerstrukturen in besonders einfacher Weise erreicht werden, die nicht auf einer Linie angeordnet sind. Dies vermeidet Erkennungsprobleme aufgrund einer zu geringen Auflösung der Datenbrillenkamera.
Die Teilmarkerstrukturen des Markers können sich über einen größeren Bereich im Sichtfeld des Fahrers und auch weitere Fahrzeuginsassen erstrecken, um ein möglichst großes Sichtfeld des Trägers einer Datenbrille zu ermöglichen, bei dem in allen Brillenpositionen die Teilmarkerstrukturen der Marker für eine Posenbestimmung und Bildstabilisierung ausreichend große Teilbereiche des Markers sichtbar sind.
Der Marker kann im sichtbaren oder unsichtbaren Spektrum (IR) des Lichtes ausgeprägt sein. Letzteres ist vorteilhaft, wenn der Marker nicht im Sichtbereich als störend wahrgenommen werden soll.
Die Struktur des Markers mit absoluten Maßen für die Ausdehnung und Abstände von Teilmarkerstrukturen untereinander, sowie die Orientierung bzw. die Pose des Markers bezogen auf das Umgebungskoordinatensystems, muss der Datenbrille z.B. in einem einmaligen Initialisierungsschritt bekannt gemacht werden und Änderungen am Marker ggf. in nachfolgenden Synchronisierungen übermittelt werden.
Durch den ortsvariablen (bezogen auf das Fahrzeugkoordinatensystem) statt ortsfesten Marker ist nun vorgesehen, den Marker nicht mehr ortsfest im Fahrzeug, d. h. mit festem Bezug zum Fahrzeugkoordinatensystem, bereitzustellen, sondern mit Bezug zu dem Umgebungskoordinatensystem, das aufgrund der höherfrequenten Variationen des Fahrzeugs entlang der deterministischen Bewegungstrajektorie insbesondere um das Fahrzeugkoordinatensystem verschwenkt ist.
Durch die Verwendung des ortsvariablen Markers, der die Abweichungen aufgrund von höherfrequenten Bewegungen des Fahrzeugs bezüglich der Umgebung ausgleicht, kann der Datenbrille ohne Zeitverzug eine Information über die Abweichung zwischen dem Umgebungskoordinatensystem und dem Brillenkoordinatensystem mitgeteilt werden.
Während sich die „glatte“ Bewegung des Fahrzeugs in der Umgebung bei typischem Fahrverhalten nur vergleichsweise langsam ändert und damit deterministisch bestimmt ist, also für eine kurze Zeitspanne (von z.B. unter 1 Sekunde) sogar prädiziert werden kann, können höherfrequente, insbesondere rotatorische Bewegungen des Fahrzeugs bezüglich der Umgebung durch den ortsvariablen Marker dargestellt werden.
Der ortsvariable Marker kann auf einer Markeranzeigefläche mit einer hohen Frame-Rate örtlich variiert werden und durch seine Position eine Richtung im Umgebungskoordinatensystem zuverlässig und in Echtzeit angeben. Dies hat insbesondere den Vorteil, dass bisher implementierte Verfahren zur Bildstabilisierung in der Datenbrille weiterverwendet werden können, die sich auf ortsfeste Marker im Fahrzeug beziehen, um eine kontaktanaloge Darstellung von Informationsobjekten im Fahrzeugkoordinatensystem anzuzeigen. Durch die Verwendung von ortsvariablen Markern ist eine Stabilisierung der Darstellung des Informationsobjekts in dem Umgebungskoordinatensystem quasi in Echtzeit möglich, wenn der ortsvariable Marker entsprechend der Nick-, Roll-, und Gierbewegungen des Fahrzeugs eine gleichbleibende Richtung des Fahrzeugs bezogen auf das Umgebungskoordinatensystem angibt, bzw. aus Sicht der Datenbrille ausgleicht.
Da die ortsvariablen Marker sich nur aufgrund der beschränkten Ausdehnung der Markeranzeigefläche nur in einem beschränkten Bereich bewegen können, erfolgt ein Rücksetzen (Synchronisieren) des Fahrzeugkoordinatensystems auf das Umgebungskoordinatensystem zu vorgegebenen Zeitpunkten, beispielsweise indem eine Anzeigeinformation über ein weltfest anzuzeigendes Informationsobjekt mit der auf das Fahrzeugkoordinatensystem bezogenen Umgebungsposition mit dem Zeitstempel des vorgegebenen Zeitpunkts übermittelt wird. Abweichungen zwischen dem Umgebungskoordinatensystem und dem Fahrzeugkoordinatensystem werden dann mit Bezug zu dem Referenzbezug zwischen dem Umgebungskoordinatensystem und dem Fahrzeugkoordinatensystem angezeigt. Auf den vorgegebenen Zeitpunkt bezogen wird der ortsvariable Marker etwa mittig auf der Markeranzeigefläche dargestellt.
Durch die Kombination der Übermittlung der deterministischen Bewegungstrajektorie des Fahrzeugs innerhalb des Umgebungskoordinatensystems über die Kommunikationsverbindung zwischen dem Assistenzsystem und der Datenbrille in Verbindung mit der schnellen Ermittlung und Anzeige bzw. Übermittlung von höherfrequenten rotatorischen Abweichungen zwischen dem Umgebungskoordinatensystem und der Orientierung/Ausrichtung des Fahrzeugs im Umgebungskoordinatensystem durch die ortvariablen Marker kann das Informationsobjekt in der Datenbrille im Wesentlichen latenzfrei mit Bezug auf das Umgebungskoordinatensystem kontaktanalog dargestellt werden. Dies ist möglich basierend auf der in der Datenbrille aus der Abweichung ermittelten Information über die Brillenpose im Umgebungskoordinatensystem. Damit ein brilleneigener Bildstabilisierungsalgorithmus von der Kopfbewegung des Fahrers noch die Beschleunigungswerte gemäß der Bewegung auf der glatten Trajektorie abziehen kann, sind diese ebenfalls vom Fahrzeug an die Datenbrille zu übermitteln. Mit diesem Verfahren ist es möglich, in der Datenbrille weltfest darzustellende Informationsobjekte latenzfrei einer Umgebungsposition und damit einem Umgebungsobjekt nachzuführen.
Weiterhin kann das Umgebungskoordinatensystem in einem Ruhezustand des Fahrzeugs einen festen Bezug zum Fahrzeugkoordinatensystem aufweisen und im Betrieb des Fahrzeugs entsprechend einer Bewegungstrajektorie dem Fahrzeugkoordinatensystem nachgeführt werden.
Es kann vorgesehen sein, dass zusätzlich ein ortsfester Marker (bezogen auf das Fahrzeugkoordinatensystem) vorgesehen ist, wobei eine weitere Brillenpose bezogen auf das Fahrzeugkoordinatensystem ermittelt wird, wobei abhängig von der weiteren Brillenpose ein weiteres Informationsobjekt kontaktanalog zu einer Position in dem Fahrzeugkoordinatensystem angezeigt wird.
Die höherfrequenten rotatorischen Abweichungen zwischen der tatsächlichen Orientierung des Fahrzeugs von einer durch eine geglättete Bewegungstrajektorie vorgegebenen Pose des Fahrzeugs bezüglich eines Umgebungskoordinatensystems können auf außerhalb der Bewegungstrajektorie einwirkende Einflüsse auf das Kraftfahrzeug zurückgehen, insbesondere auf eine Unebenheit der Fahrbahn, Windeinfluss und/oder unerwartete bzw. korrigierende Lenkeingriffe des Fahrers.
Gemäß einer Ausführungsform kann ein Rücksetzen des Markers auf eine vorgegebene Markerreferenzposition zu vorgegebenen Synchronisationszeitpunkten oder bei Erreichen eines Randbereichs auf der Anzeigefläche der Markenanzeigeeinheit erfolgen.
Es kann sich ein rotatorischer Versatz zwischen dem Umgebungskoordinatensystem und dem Fahrzeugkoordinatensystem abhängig von einem Abstand des angezeigten Markers von einer Referenzposition des Markers auf einer Markeranzeigefläche ergeben, wobei der rotatorische Versatz der höherfrequenten Abweichung der Orientierung des Fahrzeugs gegenüber der glatten Fahrzeugtrajektorie entspricht.
Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einer Datenbrille und einem Assistenzsystem in einem Fahrzeug vorgesehen, wobei das Assistenzsystem eine Markeranzeigeeinheit mit mindestens einer Markeranzeigefläche zur Anzeige eines ortsvariablen Markers aufweist, wobei das Assistenzsystem ausgebildet ist, um einen bezogen auf den Fahrzeuginnenraum ortsvariablen Marker zur Erfassung durch eine Datenbrillenkamera einer Datenbrille in einem Fahrzeuginnenraum an einer Anzeigeposition anzuzeigen, wobei die Anzeigeposition des Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs bezüglich eines Umgebungskoordinatensystems abhängt; wobei die Datenbrille ausgebildet ist, um die Anzeigeposition des ortsvariablen Markers durch die Datenbrillenkamera zu erfassen, so dass eine Orientierung des Markers zur Datenbrille in einem Brillenkoordinatensystem der Datenbrille und damit eine Brillenpose im Umgebungskoordinatensystem erhalten wird; und um mindestens ein Informationsobjekt auf einer Anzeigefläche in der Datenbrille kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose anzuzeigen.
Gemäß einem weiteren Aspekt ist eine Datenbrille, insbesondere zur Verwendung in dem obigen Anzeigesystem, vorgesehen, wobei die Datenbrille eine Datenbrillenkamera, die ausgebildet ist, um die Anzeigeposition eines angezeigten, ortsvariablen Markers zu erfassen, so dass eine Orientierung des Markers zur Datenbrille in einem Brillenkoordinatensystem der Datenbrille und damit eine Brillenpose im Umgebungskoordinatensystem erhalten wird; und eine Anzeigefläche aufweist, die ausgebildet ist, um mindestens ein Informationsobjekt auf der Anzeigefläche in der Datenbrille kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose anzuzeigen.
Gemäß einem weiteren Aspekt ist ein Assistenzsystem in einem Fahrzeug, insbesondere zur Verwendung in dem obigen Anzeigesystem, vorgesehen, wobei das Assistenzsystem eine Markeranzeigeeinheit mit mindestens einer Markeranzeigefläche zur Anzeige eines bezogen auf den Fahrzeuginnenraum ortsvariablen Markers aufweist, wobei das Assistenzsystem ausgebildet ist, um den ortsvariablen Marker zur Erfassung durch eine Datenbrillenkamera einer Datenbrille in einem Fahrzeuginnenraum an einer Anzeigeposition anzuzeigen, wobei die Anzeigeposition des ortsvariablen Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs bezüglich eines Umgebungskoordinatensystems abhängt.
Figurenliste
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Anzeigesystems in einem Fahrzeug mit einer Datenbrille und einem Assistenzsystem;
2 eine Darstellung eines Fahrzeugs mit einer Datenbrille in einer Fahrzeugumgebung zur Veranschaulichung der relativen Beziehungen zwischen dem Umgebungskoordinatensystem, dem Fahrzeugkoordinatensystem und dem Brillenkoordinatensystem;
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems zur kontaktanalogen Darstellung von Informationsobjekten bezogen auf eine feste Umgebungsposition; und
4a und 4b Darstellungen einer möglichen Anzeige eines Markers auf einer Markeranzeigefläche bei synchronisiertem Umgebungskoordinatensystem und Fahrzeugkoordinatensystem bzw. nach einem Auftreten eines Nickens der Fahrzeugfront nach unten beispielsweise aufgrund einer Fahrbahnunebenheit.

Beschreibung von Ausführungsformen
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Fahrzeug. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z. B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Fahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Fahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
Das Assistenzsystem 2 kann eine Steuereinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Fahrzeugs und abhängig von einer durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Informationsobjekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt wird. Die Umgebungsposition des mindestens einen virtuellen Informationsobjekts wird bezüglich eines festgelegten, vordefinierten Umgebungskoordinatensystem angegeben.
Das Assistenzsystem 2 weist weiterhin eine Fahrzeugsensorik 28 auf. Die Fahrzeugsensorik 28 umfasst eine Inertialsensorik, um die translatorischen Beschleunigungen und Winkelbeschleunigungen des Fahrzeugs zu erfassen, ein GPS-System zur Erfassung einer Geoposition des Fahrzeugs und eine Odometrie zum Bereitstellen einer Angabe zu einer Bewegungstrajektorie (Geschwindigkeit, Lenkwinkel) des Fahrzeugs bezüglich der Umgebung. Diese können zum Ermitteln von Abweichungen zwischen dem Fahrzeugkoordinatensystem und dem Umgebungskoordinatensystem zwischen Synchronisationszeitpunkten ausgewertet werden. Die Inertialsensorik kann Fahrzeugbewegungen bezüglich aller drei Raumrichtungen erfassen.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist beispielhaft mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z. B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Informationsobjekt, wie beispielsweise ein Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegen kann und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen können. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, so dass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.
Zur Anzeige von Informationsobjekten werden entsprechende Objektinformationen in Form von Objektdaten von dem Assistenzsystem 2 an die Datenbrille 3 übermittelt. Die Objektdaten geben dabei die Art des Informationsobjekts, wie z. B. ein Textobjekt, ein Icon oder eine sonstige Kennzeichnung eines Anzeigebereichs, den Blickwinkelbereich bzw. die Blickwinkelbereiche, in dem/denen das Informationsobjekt auf der Anzeigefläche angezeigt werden soll und die Objektposition auf der Anzeigefläche, an der das Informationsobjekt angezeigt werden soll, an.
Es kann eine Bewegungssensorik 38 vorgesehen sein, die z. B. in Form eines 6-DOF-Intertialsensors ausgebildet ist. Dieser stellt Bewegungsangaben in Form von translatorischen Beschleunigungen und Winkelbeschleunigungen zur Verfügung, die durch die jeweilige zweifache Integration in eine Positions- und Orientierungsänderung umgerechnet werden können. Dadurch kann die Posenerkennung für höherfrequente Anteile unterstützt werden.
Mithilfe einer Steuereinheit 37 werden Objektinformationen über eine Kommunikationseinrichtung 39 von dem Assistenzsystem 2 empfangen und verarbeitet, so dass diese in dem jeweiligen Blickwinkelbereich, in den der Benutzer der Datenbrille blickt, angezeigt werden.
Die Funktion der Steuereinheit 37 und/oder die Kommunikationseinheit 39 kann teilweise oder vollständig auf einem von der Datenbrille physisch getrennten Begleitgerät (z.B. ein Smart-Phone) untergebracht sein, welches seinerseits z.B. drahtlos oder kabelgebunden mit der eigentlichen Datenbrille 3 verbunden ist.
Die Datenbrille 3 weist eine Datenbrillenkamera 34 auf, die vorzugsweise in Blickrichtung des Trägers der Datenbrille 3 ausgerichtet ist. Die Datenbrillenkamera 34 dient in erster Linie dazu, anhand eines Markers oder sonstiger Strukturen, die im Innenraum des Fahrzeugs angeordnet sind, die Brillenpose der Datenbrille 3 in der Steuereinheit 37 der Datenbrille 3 zu ermitteln. Die Datenbrillenkamera kann im sichtbaren Spektrum und/oder im unsichtbaren z.B. im Infrarotspektrum arbeiten. Letzteres kann z.B. eine Datenbrillenkamera sein, die für ein LIDAR gestütztes System auf einer Datenbrille eingesetzt wird.
Das Assistenzsystem 2 weist eine Markeranzeigeeinheit 26 auf. Die Markeranzeigeeinheit 26 weist eine oder mehrere Anzeigeflächen 27 auf, auf der ein ortsvariabler Marker zur Erkennung durch die Datenbrillenkamera 34 angezeigt werden kann. Dazu übermittelt die Steuereinheit 23 des Assistenzsystems 2 entsprechende Anzeigeinformation an die Markeranzeigeeinheit 26.
Die Markeranzeigeeinheit 26 kann ein im Fahrzeug verteiltes System sein, welches aus mehreren physisch getrennten Anzeigeflächen und Lichtquellen besteht. Jede einzelne Anzeigefläche auf der eine Teilmarkerstruktur des Markers erzeugt wird, hat eine Größe von typisch 4 x 4 cm und kann z.B. eine LCD-Fläche mit einem IR-Backlight sein oder ein beliebiges diffus streuendes Material, welches von einer getrennten Lichtquelle aus dem Fahrzeuginnenraum z.B. punktförmig beleuchtet wird.
Die Steuereinheit 37 der Datenbrille 3 ist ausgebildet, um mithilfe der Datenbrillenkamera 34 den Marker auf der Anzeigefläche 27 zu erkennen und eine Brillenpose abhängig von der Position des Markers zu detektieren. Während herkömmlich die Marker ortsfest vorgesehen sind, sodass die Brillenpose bezogen auf ein Fahrzeugkoordinatensystem ermittelt werden kann, ist durch die Anzeigefläche 27 vorgesehen, den Marker ortsvariabel anzuzeigen. Dadurch können Abweichungen zwischen dem Fahrzeugkoordinatensystem und dem Umgebungskoordinatensystem angegeben werden. Insbesondere kann mithilfe der ortsvariablen Marker die Brillenpose bezogen auf ein Umgebungskoordinatensystem bestimmt werden.
2 zeigt schematisch die Definitionen der Koordinatensysteme bezüglich der Datenbrille 3, des Fahrzeugs 5 und der Umgebung. Das Umgebungskoordinatensystem U ist weltfest definiert und kann beispielsweise in Geokoordinaten definiert sein.
Im Wesentlichen interessant für die vorliegende Erfindung sind die rotatorischen Abweichungen zwischen dem Fahrzeugkoordinatensystem F und dem Umgebungskoordinatensystem U.
Der Benutzer der Datenbrille 3 befindet sich als Insasse in dem Fahrzeug 5 und kann durch Kopfbewegungen die Brillenpose der Datenbrille 3 relativ zu dem Fahrzeugkoordinatensystem F ändern. Zur Darstellung eines Informationsobjekts auf der Anzeigefläche der Datenbrille 3 wird dazu eine Position bezogen auf ein Brillenkoordinatensystem B angegeben. Soll ein Informationsobjekt in der Datenbrille 3 bezogen auf das Umgebungskoordinatensystem U kontaktanalog zu einer Umgebungsposition dargestellt werden, muss in der Datenbrille 3 eine Information der Umgebungsposition bezüglich des Brillenkoordinatensystems B vorliegen.
Durch die Bewegung des Fahrzeugs 5 entlang der durch Fahrgeschwindigkeit und Lenkwinkel vorgegebenen glatten Bewegungstrajektorie ist die Orientierung des Fahrzeugs bezüglich des Umgebungskoordinatensystems U bekannt. Die Umgebungsposition, an der ein Informationsobjekt angezeigt werden soll, kann in der Datenbrille 3 entsprechend der Bewegung entlang der bekannten glatten Bewegungstrajektorie des Fahrzeugs 5 angepasst werden, so dass eine kontaktanaloge Anzeige des Informationsobjekts bezogen auf die Umgebungsposition kontinuierlich möglich ist. Höherfrequente Abweichungen zwischen der tatsächlichen Orientierung des Fahrzeugs 5 bezüglich der durch die letzte bekannte Pose des Fahrzeugs 5 und der Bewegungstrajektorie bestimmten Orientierung des Fahrzeugs 5 im Umgebungskoordinatensystem können aufgrund von Bodenunebenheiten, korrigierende Lenkeingriffe, Windböen, Fahrbahnneigungen und dergleichen auftreten und können dadurch nicht ausgeglichen werden.
Die ortsvariablen Marker können nun so angezeigt werden, dass diese die rotatorischen Abweichungen der Brillenpose bezüglich des Umgebungskoordinatensystem repräsentieren. Da die Marker quasi ohne Zeitverzögerung von der Datenbrillenkamera erfasst werden können, steht die Brillenpose im Umgebungskoordinatensystem unmittelbar zu Verfügung.
Die Position der Marker ermöglicht es somit, höherfrequente Abweichungen zwischen dem Fahrzeugkoordinatensystem und dem Umgebungskoordinatensystem, wie ein Nicken, d.h. ein Schwenken des Fahrzeugs 5 um seine Querachse, ein Rollen, d. h. ein Rotieren um die Längsachse des Fahrzeugs 5, und ein Gieren, d. h. ein Schwenken des Fahrzeugs 5 um seine Höhenachse, zu erkennen, welche die häufigsten höherfrequenten Variationen während des Fahrens des Fahrzeugs 5 entlang der Bewegungstrajektorie darstellen.
Sofern aus einmaligen Systemmessungen die Latenzzeit L des Systems bekannt ist, die für die Übertragung der Markerposition im Umgebungskoordinatensystem vom Assistenzsystem 2 an die Datenbrille 3 und die Berücksichtigung im Algorithmus auf der Datenbrille 3 benötigt wird, so kann die Markerposition im Umgebungskoordinatensystem um die Latenzzeit L in die Zukunft prädiziert werden, insbesondere unter Berücksichtigung der bekannten glatten Bewegungstrajektorie des Fahrzeugs 5. Diese Forward-Korrektur kann im Assistenzsystem 2 oder auf der Datenbrille 3 geschehen. Der Fehler, der durch die Prädiktion entsteht, ist in typischen Fahrsituationen vernachlässigbar, sofern die Latenz nicht signifikant über einem Wert von z.B. 100 ms liegt.
3 veranschaulicht anhand eines Flussdiagramms ein Verfahren, das in dem Anzeigesystem 1 ausgeführt wird. Das Verfahren ist in dem Assistenzsystem 2 und der Datenbrille 3 implementiert, deren Zeitgeber zueinander synchronisiert sind. Das Verfahren geht davon aus, dass ein darzustellendes Informationsobjekt und deren Umgebungsposition (weltfeste Position bezogen auf das Umgebungskoordinatensystem U), an der dieses dargestellt werden soll, in der Datenbrille 3 bekannt sind. Die Anzeigeinformation, die eines oder mehrere Informationsobjekte mit ihren jeweiligen Umgebungspositionen angibt, kann in der Datenbrille 3 generiert sein oder von dem Assistenzsystem 2 zuvor bereitgestellt werden.
In Schritt S1 werden durch die Fahrzeugsensorik 28 des Assistenzsystems 2 Bewegungsdaten erfasst, insbesondere die Inertialsensorik, das GPS-System und die Odometrie.
In Schritt S2 wird die Anzeigeposition des Markers zur Anzeige auf der oder den Anzeigeflächen 27 der Markeranzeigeeinheit 26 bestimmt. Die Anzeigeposition ergibt sich so, dass der Marker relativ bezüglich des Umgebungskoordinatensystems sich auf einer vorgegebenen Bewegungstrajektorie ohne hochfrequente Störungen bewegt. Die Bewegungstrajektorie ergibt sich aus Messungen der Fahrzeugsensorik 28.
In Schritt S3 wird weiterhin die Position Pu(t) des Markers bezüglich des Umgebungskoordinatensystems zu jedem Zeitschritt entlang der glatten Bewegungstrajektorie bestimmt.
So werden mithilfe einer Fahrzeuginitialsensorik höherfrequente rotatorische Abweichungen zwischen der tatsächlichen Orientierung des Fahrzeugs und der ermittelten Orientierung ausgehend von dem Verlauf der Bewegungstrajektorie ermittelt. Die Abweichung ergibt sich durch zweifache Integration von translatorischen Beschleunigungen und von Winkelbeschleunigungen. Diese höherfrequenten Abweichungen stellen in der Regel eine Nickbewegung, eine Rollbewegung oder eine Gierbewegung des Fahrzeugs dar und führen zu einem kurzfristigen Versatz zwischen dem Fahrzeugkoordinatensystem und dem Umgebungskoordinatensystem. Diese Winkelabweichungen können durch ein Verschieben des Markers bezüglich der Markerreferenzposition auf der Anzeigefläche ausgeglichen werden, sodass die Bestimmung der Brillenpose in der Datenbrille 3, die sich auf den ortsvariablen Marker bezieht, stets einen Bezug zu dem Umgebungskoordinatensystem erhält.
In Schritt S3 werden neben der Position Pu(t) des Markers auch die Beschleunigungswerte Au(t) des Markers zu jedem Zeitschritt bestimmt. Als die Beschleunigungswerte Au(t) des Markers werden Beschleunigungswerte entlang der glatten Trajektorie bezüglich des Umgebungskoordinatensystems in der x-, y- und z-Richtung sowie die dazugehörenden Winkelbeschleunigungen (Nick, Roll- und Gier-Beschleunigung) angegeben.
Die Position Pu(t) des Markers als auch die Beschleunigungswerte Au(t) des Markers werden mit einem entsprechenden Zeitstempel an die Datenbrille 3 über die Kommunikationsverbindung übertragen, so dass dort zu jedem Zeitpunkt eine Position des Markers im Umgebungskoordinatensystem durch Extrapolation bzw. Fortschreiben der zuletzt detektierten Bewegung des Markers auf der glatten Bewegungstrajektorie ermittelt werden kann.
Die Anzeigeposition, an der der Marker auf der Markeranzeigefläche 27 der Markeranzeigeeinheit 26 angezeigt wird, ergibt sich aus den rotatorischen Versatzen bezüglich der Raumrichtungen. Vorzugsweise wird die Position der Anzeige des Markers so angepasst, dass diese bezüglich des Fahrzeugkoordinatensystems eine Winkeländerung anzeigt, die der Winkelabweichung zwischen Fahrzeugkoordinatensystem und Umgebungskoordinatensystem entspricht. Die rein translatorischen Versatze können vernachlässigt werden, da diese für die Passung eines auf der Datenbrille angezeigten Objektes zur relativ weit entfernten Umwelt für den Betrachter keine wahrnehmbare Rolle spielen.
Das Assistenzsystem kann in Schritt S4 für den aktuellen Zeitpunkt den Marker durch die Markeranzeigeeinheit ausgeben. Die Ausgabe erfolgt an einer Anzeigeposition der oder den Markeranzeigefläche(n) 27 der Markeranzeigeeinheit 26, die sich aus einer Abweichung zwischen der Pose des Fahrzeugs im Umgebungskoordinatensystem, die sich zu jedem Zeitschritt entsprechend der glatten (d.h. sich langsamer als durch die höherfrequente Nick-, Roll- oder Gierbewegung des Fahrzeugs bestimmte) Bewegungstrajektorie ergibt.
Die Position, an der der Marker angezeigt wird, kann in Schritt S5 zu einem Synchronisationszeitpunkt auf eine Markerreferenzposition synchronisiert werden. Diese Synchronisation kann beispielsweise wegen eines Herauslaufens der Anzeigeposition aus der nutzbaren Markeranzeigefläche 27 der Markeranzeigeeinheit 26 erforderlich sein. Zum Synchronisationszeitpunkt wird der Marker an einer Markerreferenzposition insbesondere einer Mittenposition, auf der Markeranzeigefläche 27 der Markeranzeigeeinheit 26 angezeigt, die Position des Markers im Umgebungskoordinatensystem Pu(t) wird daraufhin entsprechend angepasst.
In Schritt S6 wird mithilfe der Datenbrillenkamera in der Datenbrille 3 die Positionen des Markers erfasst, der auf der Markeranzeigefläche 27 der Markeranzeigeeinheit 26 dargestellt wird.
In Schritt S7 wird nun in der Datenbrille 3 die Brillenpose im Umgebungskoordinatensystem bestimmt. Dies erfolgt durch die Bestimmung der Brillenpose relativ zum Marker und der Auswertung der Position des Markers im Umgebungskoordinatensystem Pu(t) und den Beschleunigungswerten des Markers Au(t) auf der glatten Bewegungstrajektorie im Umgebungskoordinatensystem. Die Beschleunigungswerte Au(t) sind hier relevant, um Beschleunigungen am Kopf des Trägers der Datenbrille 3, die von der Brilleninertialsensorik 38 detektiert werden, in Bestandteile separieren zu können, die von der Bewegung des Fahrzeugs entlang der glatten Bewegungstrajektorie stammen und solchen, die von zusätzlichen Bewegungen des Kopfes stammen. Nur letztere werden von dem brilleneigenen Algorithmus zur Bildstabilisierung herangezogen werden.
Durch die Anpassung der Markerposition, so dass diese eine Position im Umgebungskoordinatensystem anzeigt, kann die Datenbrille direkt durch optisches Erfassen des Markers die eigene Brillenpose bezüglich des Umgebungskoordinatensystems bestimmen.
In Schritt S8 wird die Position des weltfest, kontaktanalog darzustellenden Informationsobjektes relativ zu den Anzeigepositionen des Markers ermittelt. Dazu berechnet die Datenbrille die Pose des Informationsobjektes im Brillenkoordinatensystem aus den vorliegenden Informationen von relativer Brillenpose der Datenbrille 3 (relativ zur Position des Markers) und der Pose des Markers relativ zur Welt.
Die Brillenpose kann damit in an sich bekannter Weise verwendet werden, um die Darstellung des Informationsobjekts kontaktanalog zu einer Umgebungsposition auf der Anzeigefläche 35 der Datenbrille 3 vorzunehmen. Dabei können mithilfe einer Brilleninertialsensorik 38 Kopfbewegungen des Trägers der Datenbrille 3 ebenfalls berücksichtigt werden. Hierzu werden die Bewegungsangaben der Brilleninertialsensorik 38, nämlich translatorische Beschleunigungen und Winkelbeschleunigungen, durch doppelte Integration als Posenänderung der Brillenpose berücksichtigt. Dabei werden die Beschleunigungswerte Au(t) des Fahrzeugs in der oben ausgeführten Weise berücksichtigt bzw. herausgerechnet.
In Schritt S9 wird die Abbildungsvorschrift zur Anzeige auf der Anzeigefläche 35 der Datenbrille 3 abhängig von der relativen Brillenpose der Datenbrille 3 bestimmt. Die Brillenpose der Datenbrille 3 kann in vielfältiger Weise ermittelt werden, insbesondere durch Inside-Out-Tracking-Verfahren unter Verwendung der Datenbrillenkamera und des ortsvariablen Markers, wie zuvor beschrieben. Alternativ könnte die Brillenpose der Datenbrille 3 auch durch eine Innenraumkamera des Assistenzsystems bestimmt und an die Datenbrille 3 übermittelt werden mit den oben ausgeführten hohen Latenzen (nicht in 3 dargestellt).
In Schritt S10 kann das Informationsobjekt in kontaktanaloger Weise abhängig von der Brillenpose, die basierend auf der Position des Markers auf der Markeranzeigefläche 27 ermittelt wurde, an der zugeordneten Umgebungsposition dargestellt werden.
Im voranstehenden Text wurden für das bessere Verständnis der Logik die Schritte sequenziell erläutert. Im realen Betrieb können die Verfahrensabläufe des Schritts S1, der Schritte S2 bis S5 und der Schritte S6 bis S10 jeweils zeitlich parallel ablaufen und die jeweils aktuellsten Ausgangsgrößen der jeweils anderen Verfahrensabläufe nutzen.
Es wird beispielsweise der Marker von der Markerreferenzposition (Mittenposition) nach rechts um einen Versatz verschoben, der sich aus einer rotatorischen Verschwenkung des Fahrzeugkoordinatensystems nach links ergibt. Der Abstand kann dabei dem Produkt aus der Entfernung der Datenbrille 3 zu der Anzeigefläche 35 und dem arctan des Versatzwinkels entsprechen.
Analog kann, wie in den 4a und 4b dargestellt ist, der Marker ausgehend von der Markerreferenzposition nach oben verschoben werden, wenn die Fahrzeuglängsachse nach unten nickt. 4a zeigt eine Situation bei einer Orientierung des Fahrzeugs im Umgebungskoordinatensystem, die sich aus der Fahrzeugposition zu dem Synchronisationszeitpunkt und der Prädiktion der Fahrzeugposition basierend auf der bekannten Bewegungstrajektorie ergibt. Einem Fahrzeuginsassen 41, der eine Datenbrille 3 trägt, wird an einer Umgebungsposition ein Informationsobjekt 42 dargestellt. Auf der Markeranzeigefläche 27 wird der Marker im Wesentlichen an der Markerreferenzposition dargestellt. Dadurch kann die Datenbrille 3 die Umgebungsposition in eine Anzeigeposition auf der Anzeigefläche 35 der Datenbrille 3 umsetzen und dort das Informationsobjekt darstellen.
Bei einem Nicken des Fahrzeugs nach unten, wie es in 4b dargestellt ist, erhält die Datenbrille 3 eine Information über die Abweichung der Orientierung des Fahrzeugs bezüglich der prädizierten Pose des Fahrzeugs bezüglich des Umgebungskoordinatensystems anhand der Verschiebung der Anzeigeposition des Markers auf der Markeranzeigefläche 27 und kann somit die Anzeigeposition des Informationsobjekts auf der Anzeigefläche 35 in der Datenbrille 3 entsprechend so anpassen, dass diese weiterhin das Informationsobjekt an der zugeordneten Umgebungsposition überlagernd anzeigt.
Die Markeranzeigeeinheit zur Erzeugung des ortsvariablen Markers kann mehrere Anzeigeflächen aufweisen, die z.B. jeweils einem herkömmlichen Bildschirmanzeigebereich entsprechen. Die Anzeigeflächen können verteilt angeordnet sein, um die Teilmarkerstrukturen des Markers anzuzeigen. Vorzugsweise sind die Markeranzeigebereiche 27 in einer Größenordnung von 4 x 4 bis 6 x 6 cm ausgebildet. Auch andere Größen von Markeranzeigebereichen sind grundsätzlich möglich. Die Markeranzeigeflächen n können z.B. als LCD-Bildschirm oder als LED-Bildschirm ausgebildet sein.
Der Marker kann Teilmarkerstrukturen aufweisen, die jeweils als einfach zu erkennendes Symbol als Punkt, Ring, Kreuz oder einer beliebigen anderen Form ausgebildet sein können. Diese können mit einem einfachen Algorithmus zur Bildinterpretation in der Datenbrille 3 in einfacher Weise und ohne hohen Rechenaufwand erkannt werden.
Zusätzlich zum ortsvariablen Marker gemäß voranstehenden Ausführungen kann auch ein ortsfester Marker in dem Fahrzeug angeordnet sein, so dass die Ausrichtung des Fahrzeugkoordinatensystems durch die Datenbrille jederzeit erkannt werden kann, um auch kontaktanaloge Darstellungen von Informationsobjekten bezüglich des Fahrzeugkoordinatensystems vornehmen zu können. Dies kann beispielsweise zur Überblendung von Anzeigen des Armaturenbretts oder dergleichen zweckmäßig sein. Dieser ortsfeste Marker kann in einem anderen Spektralbereich des Lichts betrieben werden, damit die Kamera der Datenbrille diesen vom ortsvariablen Marker unterscheiden kann.
Sofern die Datenbrille über kein eigenes Eyetracking verfügt, kann über die Innenraumkamera 25 über die Kommunikationsverbindung 4 die Information über die relative Lage der Pupillen zur Anzeigefläche 35 der Datenbrille 3 übermittelt werden. Da sich diese unter normalen Bedingungen nur langsam ändert, bestehen nur geringe Anforderungen an die Latenz bei der Übertragung des entsprechenden Signals.
Bezugszeichenliste

1: Anzeigesystem
2: Assistenzsystem
3: Datenbrille
4: Kommunikationsverbindung
21: Kommunikationseinheit
22: Umgebungserfassungssystem
23: Steuereinheit
25: Innenraumkamerasystem
26: Markeranzeigeeinheit
27: Markeranzeigefläche
28: Fahrzeugsensorik
31: Rahmen
32: Sichtscheiben
33: Brillenbügel
34: Datenbrillenkamera
35: Anzeigefläche
36: Anzeigeeinrichtung
37: Steuereinheit
38: Brilleninertialsensorik
39: Kommunikationseinrichtung
41: Fahrzeuginsassen
42: Informationsobjekt
5: Fahrzeug

Claims

Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Fahrzeug (5), mit folgenden Schritten: - Anzeigen (S4) eines bezogen auf den Fahrzeuginnenraum ortsvariablen Markers zur Erfassung durch eine Datenbrillenkamera (34) einer Datenbrille (3) in einem Fahrzeuginnenraum an einer Anzeigeposition, wobei die Anzeigeposition des Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs (5) von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs (5) bezüglich eines Umgebungskoordinatensystems (U) abhängt; - Erfassen (S6) der Anzeigeposition des ortsvariablen Markers durch die Datenbrillenkamera (34), um eine Orientierung des Markers zur Datenbrille (3) in einem Brillenkoordinatensystem der Datenbrille (3) und damit eine Brillenpose im Umgebungskoordinatensystem (U) zu erhalten; - Anzeigen (S10) mindestens eines Informationsobjektes auf einer Anzeigefläche (35) in der Datenbrille (3) kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose.
Verfahren nach Anspruch 1, wobei zusätzlich ein ortsfester Marker vorgesehen ist, wobei eine weitere Brillenpose bezogen auf das Fahrzeugkoordinatensystem ermittelt wird, wobei abhängig von der weiteren Brillenpose ein weiteres Informationsobjekt kontaktanalog zu einer Fahrzeugposition in dem Fahrzeugkoordinatensystem angezeigt wird.
Verfahren nach einem der Ansprüche 1-2, wobei die rotatorischen Abweichungen zwischen der tatsächlichen Orientierung des Fahrzeugs (5) von einer durch die Bewegungstrajektorie vorgegebenen Pose des Fahrzeugs bezüglich eines Umgebungskoordinatensystems auf außerhalb der vorgegebenen Bewegungstrajektorie einwirkende Einflüsse auf das Kraftfahrzeug zurückgehen, insbesondere auf eine Unebenheit der Fahrbahn, Windeinfluss und/oder unerwartete bzw. korrigierende Lenkeingriffe eines Fahrers.
Verfahren nach einem der Ansprüche 1-3, wobei ein Rücksetzen des Markers auf eine vorgegebene Markerreferenzposition zu vorgegebenen Synchronisationszeitpunkten oder bei Erreichen eines Randbereichs auf der Anzeigefläche (35) der Markenanzeigeeinheit erfolgt.
Verfahren nach einem der Ansprüche 1 bis 4, wobei sich ein Abstand des angezeigten ortsvariablen Markers von einer Markerreferenzposition des Markers auf mindestens einer Markeranzeigefläche abhängig von einem rotatorischen Versatz ergibt, der einer Abweichung der Orientierung des Fahrzeugs (5) gegenüber einer sich aus einer vorbestimmten Bewegungstrajektorie des Fahrzeugs (5) ergebenden Orientierung entspricht.
Verfahren nach einem der Ansprüche 1 bis 5, wobei eine Angabe eines Informationsobjektes zur Anzeige auf der Anzeigefläche in der Datenbrille (3) mit Bezug zu einer Umgebungsposition in der Datenbrille (3) bereitgestellt wird.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der ortsvariable Marker eine Markierung oder eine optische Struktur darstellt, die von einer Datenbrillenkamera der Datenbrille erfassbar ist, um die relative Brillenpose bezüglich der Umgebung aus einer bekannten Orientierung der Datenbrillenkamera zum Marker und der bekannten Position des Markers im Umgebungskoordinatensystem (U) abzuleiten.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Struktur des Markers so beschaffen ist, dass die relative Brillenpose ermittelbar ist, wobei insbesondere der Marker mindestens drei voneinander beabstandete Teilmarkerstrukturen umfasst, die nicht auf einer Linie angeordnet sind.
Anzeigesystem mit einer Datenbrille und einem Assistenzsystem (2) in einem Fahrzeug (5), wobei das Assistenzsystem eine Markeranzeigeeinheit mit mindestens einer Markeranzeigefläche zur Anzeige eines ortsvariablen Markers aufweist, wobei das Assistenzsystem ausgebildet ist, um einen bezogen auf den Fahrzeuginnenraum ortsvariablen Marker zur Erfassung durch eine Datenbrillenkamera (34) einer Datenbrille (3) in einem Fahrzeuginnenraum an einer Anzeigeposition anzuzeigen, wobei die Anzeigeposition des Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs (5) von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs (5) bezüglich eines Umgebungskoordinatensystems abhängt; wobei die Datenbrille ausgebildet ist, um die Anzeigeposition des ortsvariablen Markers durch die Datenbrillenkamera (34) zu erfassen, so dass eine Orientierung des Markers zur Datenbrille (3) in einem Brillenkoordinatensystem der Datenbrille (3) und damit eine Brillenpose im Umgebungskoordinatensystem (U) erhalten wird; und um mindestens ein Informationsobjekt auf einer Anzeigefläche (35) in der Datenbrille (3) kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose anzuzeigen.
Datenbrille (3), insbesondere zur Verwendung in einem Anzeigesystem nach Anspruch 9, wobei die Datenbrille eine Datenbrillenkamera (34), die ausgebildet ist, um die Anzeigeposition eines angezeigten, ortsvariablen Markers zu erfassen, so dass eine Orientierung des Markers zur Datenbrille (3) in einem Brillenkoordinatensystem der Datenbrille (3) und damit eine Brillenpose im Umgebungskoordinatensystem (U) erhalten wird; und eine Anzeigefläche (35) aufweist, die ausgebildet ist, um mindestens ein Informationsobjekt auf der Anzeigefläche (35) in der Datenbrille (3) kontaktanalog zu einer vorgegebenen Umgebungsposition abhängig von der bestimmten relativen Brillenpose anzuzeigen.
Assistenzsystem (2) in einem Fahrzeug (5), insbesondere zur Verwendung in einem Anzeigesystem nach Anspruch 9, wobei das Assistenzsystem eine Markeranzeigeeinheit mit mindestens einer Markeranzeigefläche zur Anzeige eines bezogen auf den Fahrzeuginnenraum ortsvariablen Markers aufweist, wobei das Assistenzsystem ausgebildet ist, um den ortsvariablen Marker zur Erfassung durch eine Datenbrillenkamera (34) einer Datenbrille (3) in einem Fahrzeuginnenraum an einer Anzeigeposition anzuzeigen, wobei die Anzeigeposition des ortsvariablen Markers von einer rotatorischen Abweichung einer tatsächlichen Orientierung des Fahrzeugs (5) von einer deterministischen, durch eine vorgegebene Bewegungstrajektorie bestimmten Position des Fahrzeugs (5) bezüglich eines Umgebungskoordinatensystems abhängt.