DE102018117135A1

DE102018117135A1 - Fahrzeugassistenz einer erweiterten realität für farbblindheit

Info

Publication number: DE102018117135A1
Application number: DE102018117135.8A
Authority: DE
Inventors: Siyuan Dai; Nikos Arechiga; Chung-Wei Lin; Shinichi Shiraishi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-07-18
Filing date: 2018-07-16
Publication date: 2019-01-24
Also published as: JP2019021306A; US10527849B2; US20190025584A1; JP6729636B2

Abstract

Die Offenbarung umfasst Ausführungsbeispiele zum Bereitstellen einer Fahrzeugassistenz einer erweiterten Realität („AR“) für Fahrer, die farbenblind sind. Ein Verfahren gemäß manchen Ausführungsbeispielen umfasst ein Identifizieren eines beleuchteten Lichts in einer Fahrumgebung eines Fahrzeugs, das ein AR-Headset umfasst. Das Verfahren umfasst weiterhin ein Bestimmen einer Fahrzeugaktion, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist. Das Verfahren umfasst weiterhin eine Anzeige einer AR-Einblendung unter Verwendung des AR-Headsets, die ein Wort darstellt, das die Fahrzeugaktion beschreibt, die als Reaktion darauf, dass das beleuchtete Licht identifiziert wird, vorzunehmen ist.

Description

HINTERGRUND
Die Spezifikation betrifft eine erweiterte Realität bzw. Augmented Reality zum Bereitstellen einer Fahrzeugassistenz einer erweiterten Realität bzw. einer Augmented-Reality-Fahrzeugassistenz für Fahrer, die farbenblind sind.
Farbblindheit, ebenso als Farbwahrnehmungsschwäche bekannt, ist die verringerte Fähigkeit, Farben oder Unterschiede in Farben zu sehen. Rot-Grün-Farbblindheit ist die am weitesten verbreitete Form, gefolgt von Blau-Gelb-Farbblindheit und vollständiger Farbblindheit. Rot-Grün-Farbblindheit betrifft bis zu 8% der Männer und 0,5% der Frauen von nordeuropäischer Abstammung. Es gibt keine medizinische Heilung für Farbblindheit.
Die Fähigkeit, Farben zu sehen, nimmt ebenso in hohem Alter ab. Farbenblind zu sein kann dazu führen, dass Menschen für bestimmte Berufe bzw. Aufgaben in bestimmten Ländern untauglich sind. Zum Beispiel sind in manchen Ländern Menschen, die farbenblind sind, nicht tauglich, um als Piloten, Zugführer oder Taxifahrer zu arbeiten.
KURZFASSUNG
Nachstehend ist ein System einer erweiterten Realität bzw. ein „Augmented Reality“-System (nachstehend als „AR-System“ bezeichnet) beschrieben, das betriebsfähig ist, um einem Fahrzeug eine neue oder unterschiedliche Fahrzeugfunktionalität bereitzustellen. Eine erweiterte Realität bzw. „Augmented Reality“ kann nachstehend als „AR“ bezeichnet werden.
Das AR-System kann in einem Fahrzeug umfasst sein. Das AR-System umfasst ein AR-Headset und einen oder mehrere AR-Handschuhe, die durch einen Fahrer eines Fahrzeugs getragen werden.
Viele Fahrer, die unter Farbblindheit leiden, berichten von Schwierigkeiten beim Fahren eines Fahrzeugs. Speziell haben diese Fahrer tendenziell Mühe beim Interpretieren von (1) Verkehrssignalen und von (2) Bremslichtern anderer Fahrzeuge. Zum Beispiel kann ein Fahrer mit einer Rot-Grün-Farbblindheit manchmal das rote und grüne Verkehrssignal verwechseln, was unglücklicherweise Verkehrsunfälle ergibt. Diese Fahrer sind ebenso nicht dazu in der Lage, zu erkennen, ob Bremslichter des Fahrzeugs vor ihnen an oder aus sind. Diese Situation ergibt ebenso Verkehrsunfälle.
Das hierin beschriebene AR-System steuert die Operation von AR-Hardware (zum Beispiel einer Head-up-Anzeigeeinheit, „HUD“ oder einer AR-Brille) und verbessert das Leistungsverhalten eines Fahrzeugs durch Unterstützen eines farbenblinden Fahrers zum Verstehen und korrekten Interpretieren seiner Fahrumgebung, wenn dieser das Fahrzeug betätigt.
Eine der Schwierigkeiten beim Entwerfen von Fahrzeugsystemen zum Unterstützen von farbenblinden Fahrern ist es, zu verstehen, dass es verschiedene Grade von Farbblindheit gibt, und jegliches Fahrzeugsystem, das versucht, das Problem der Farbblindheit für Fahrzeuganwendungen zu lösen, muss dazu in der Lage sein, alle Grade an Farbblindheit unterzubringen. Allgemein fokussieren vorhandene Lösungen, die versuchen, das Problem der Farbblindheit für Fahrzeuganwendungen zu lösen, auf das Problem, Anzeigen für Leute zugänglicher zu machen, die unter Farbblindheit leiden, durch Erfassen von Lichtern unter Verwendung von Sensoren und Anzeigen. Diese vorhandenen Lösungen sind nicht adäquat, weil diese nicht dazu in der Lage sind, alle Grade an Farbblindheit unterzubringen. Manche Menschen mit einem höheren Grad einer Farbblindheit könnten immer noch Probleme damit haben, Verkehrslichter zu unterscheiden, auch wenn diese durch die vorhandenen Lösungen unterstützt werden, und so sind auf diese Weise die vorhandenen Lösungen nicht dazu in der Lage, solchen Fahrern zu helfen, ihre Fahrumgebung beim Fahren eines Fahrzeugs zu verstehen oder korrekt zu interpretieren. Zum Vergleich ist das hierin beschriebene AR-System dazu in der Lage, alle farbenblinden Fahrer, unabhängig von deren Grad an Farbblindheit, zu unterstützen.
In manchen Ausführungsbeispielen wird das AR-System unter Verwendung eines fahrzeugseitigen Fahrzeugcomputers, einer elektronischen Steuerungseinheit („ECU“, „electronic control unit“) oder manch anderer fahrzeugseitiger Einheit („OBU“, „onboard unit“) eines Fahrzeugs implementiert. Das AR-System ist betriebsfähig, um die Operation von einem oder mehreren der folgenden Elemente des Fahrzeugs zu steuern: (1) eines AR-Headsets; und (2) eines AR-Handschuhs. Insbesondere betreibt das AR-System eines oder mehrere des AR-Headsets und des AR-Handschuhs, um farbenblinde Fahrer des Fahrzeugs zu unterstützen, Verkehrssignale und Bremslichter, die sich in ihrer Fahrumgebung befinden, zu verstehen und zu interpretieren.
Das AR-Headset umfasst ein HUD oder eine AR-Brille. In manchen Ausführungsbeispielen ist die HUD eine dreidimensionale HUD („3D-HUD“), wie etwa die, die in 5 dargestellt ist. Der farbenblinde Fahrer betrachtet seine Fahrumgebung durch die HUD oder die AR-Brille. Wenn diese Fahrumgebung Verkehrssignale oder Bremslichter umfasst, erzeugt das AR-System eine graphische Einblendung, die eines oder mehrere Wörter graphisch darstellt, die den Fahrer beim Verstehen und korrekten Interpretieren von beleuchteten Verkehrssignalen oder Bremslichtern innerhalb seiner Fahrumgebung unterstützen. In manchen Ausführungsbeispielen beschreiben die Wörter die Aktionen, die der Fahrer vornehmen sollte, basierend auf einem leuchtenden Verkehrssignal oder einem Bremslicht innerhalb der Fahrumgebung. In manchen Ausführungsbeispielen ist es bevorzugt, dass die Anzahl von verwendeten Wörtern minimiert wird, sodass die Anweisung, die durch die graphische Einblendung bereitgestellt wird, durch den Fahrer schnell verstanden werden kann.
In einem Beispiel für Verkehrslichter erfasst das AR-System in manchen Ausführungsbeispielen den Ort des beleuchteten Verkehrslichts auf der HUD oder der AR-Brille unter Verwendung einer Kombination von GPS-Informationen und Bilderfassungsalgorithmen, und veranlasst dann das AR-Headset, eine graphische Einblendung anzuzeigen, die die Wörter „LOS“ für grünes Licht, „VERLANGSAMEN“ für gelbes Licht und „STOPP“ für rotes Licht darstellt. Siehe zum Beispiel 4A bis 4E.
In einem Beispiel für Bremslichter erfasst das AR-System in manchen Ausführungsbeispielen den Ort von einem oder mehreren beleuchteten Bremslichtern eines zweiten Fahrzeugs, das vor dem Fahrzeug des Fahrers fährt, unter Verwendung von Tiefensensoren und Bilderfassungsalgorithmen und veranlasst dann das AR-Headset, eine graphische Einblendung anzuzeigen, die das Wort „BREMSEN“ darstellt, wenn die Bremslichter des zweiten Fahrzeugs erleuchtet sind. Wenn die Bremslichter des zweiten Fahrzeugs nicht erleuchtet sind, wird die graphische Einblendung nicht durch das AR-Headset dargestellt. Siehe zum Beispiel 4E.
In manchen Ausführungsbeispielen identifiziert das AR-System einen oder mehrere Interessenspunkte, die für diesen geographischen Ort vorhanden sind, die für den Fahrer aufgrund seiner Farbblindheit schwierig zu verstehen sind. Zum Beispiel identifiziert das AR-System eines oder mehrere beleuchtete Verkehrssignale oder Bremslichter.
In manchen Ausführungsbeispielen identifiziert das AR-System einen oder mehrere Interessenspunkte unter Verwendung von einer oder mehrerer der folgenden Arten von digitalen Daten: einer oder mehrere fahrzeugseitige Fahrzeugsensoren, die das Vorhandensein des Interessenspunkts sowie dessen Bereich von dem Fahrzeug, das das AR-System umfasst, erfassen und Umgebungsdaten erzeugen, die das Vorhandensein des Interessenspunkts und seinen Bereich von dem Fahrzeug beschreiben; geographische Positionssystemdaten („GPS-Daten“), die einen geographischen Ort des Fahrzeugs beschreiben, das das AR-System umfasst; GPS-Daten, die einen geographischen Ort eines Interessenpunkts beschreiben (zum Beispiel, welcher an das AR-System über eine drahtlose Benachrichtigung einer dedizierten Nahbereichskommunikation („DSRC-Drahtlosmitteilung“, DRSC, „dedicated short range communication) oder manch anderes drahtloses Benachrichtigungsprotokoll übertragen werden kann); und eine Lichtdatenstruktur, die digitale Daten umfasst, die den geographischen Ort von statischen Interessenspunkten beschreiben, wie etwa Verkehrssignale und Verkehrszeichen, die unter Verwendung der GPS-Daten für das Fahrzeug abgefragt oder querverwiesen werden können, um zu identifizieren, ob sich das Fahrzeug in der Nähe eines Interessenspunkts befindet, der durch die digitalen Daten beschrieben ist, die in der Lichtdatenstruktur gespeichert sind.
In manchen Ausführungsbeispielen erzeugt das AR-System graphische Daten, um das AR-Headset zu veranlassen, eine oder mehrere geographische Einblendungen bzw. Überlagerungen für den einen oder die mehreren Interessenspunkte anzuzeigen. Die eine oder mehreren graphischen Einblendungen werden durch das AR-System konfiguriert, um speziell die Farbblindheit des Fahrers zu lindern. Das AR-System stellt die graphischen Daten der AR-Brille (oder in manchen Ausführungsbeispielen einer HUD oder einer 3D-HUD) bereit, um diese zu veranlassen, diese eine oder mehreren graphischen Einblendungen anzuzeigen. Siehe zum Beispiel 4A bis 4E. Unsere Nachforschungen geben an, dass das AR-System das Fahrgefühl und die Sicherheit für Fahrer mit Farbblindheit drastisch verbessert und dass das AR-System für alle Grade an Farbblindheit arbeitet, aufgrund der Verwendung von Wörtern, die genau beschreiben, welche Fahrzeugaktionen der Fahrer vornehmen sollte, um auf eine ansonsten nicht gesehene beleuchtete Farbe in deren Fahrumgebung zu reagieren.
Ein System von einem oder mehreren Computern kann konfiguriert sein, um bestimmte Operationen oder Aktionen mittels Software, Firmware, Hardware oder einer Kombination von diesen, die auf dem System installiert sind, durchzuführen, die in Betrieb das System veranlassen, die Aktionen durchzuführen. Eines oder mehrere Computerprogramme können konfiguriert sein, um bestimmte Operationen oder Aktionen durch Umfassen von Anweisungen, die, wenn diese durch eine Datenverarbeitungsvorrichtung ausgeführt werden, die Vorrichtung veranlassen, die Aktionen durchzuführen. Ein allgemeiner Aspekt umfasst ein Verfahren für ein Fahrzeug mit einem AR-Headset, wobei das Verfahren aufweist: Identifizieren eines beleuchteten Lichts in einer Fahrumgebung des Fahrzeugs; Bestimmen einer Fahrzeugaktion bzw. Fahraktion, die als Reaktion darauf vorzunehmen ist, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird; und Anzeigen einer AR-Einblendung unter Verwendung des AR-Headsets, die visuell ein Wort darstellt, das die Fahrzeugaktion bzw. Fahraktion beschreibt, die als Reaktion darauf, dass das beleuchtete Licht identifiziert wird, vorzunehmen ist. Andere Ausführungsbeispiele dieses Aspekts umfassen entsprechende Computersysteme, eine Vorrichtung und Computerprogramme, die auf einem oder mehreren Computerspeichereinrichtungen aufgezeichnet sind, die jeweils dazu konfiguriert sind, die Aktionen der Verfahren durchzuführen.
Implementierungen können eines oder mehrere der folgenden Merkmale umfassen: Das Verfahren, bei dem das beleuchtete Licht aus einer Gruppe ausgewählt wird, die das Folgende aufweist: ein rotes Licht eines Verkehrssignals; ein rotes Licht eines Bremslichts; ein gelbes Licht eines Verkehrssignals; und ein grünes Licht eines Verkehrssignals. Das Verfahren, bei dem das Wort aus einer Gruppe ausgewählt wird, die das Folgende umfasst: Stopp für ein rotes Licht eines Verkehrssignals; Bremsen für ein rotes Licht eines Bremslichts; Verlangsamen für ein gelbes Licht eines Verkehrssignals; und Los für ein grünes eines Verkehrssignals. Das Verfahren, bei dem das beleuchtete Licht basierend auf digitalen Daten identifiziert wird, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, wobei die digitalen Daten das beleuchtete Licht beschreiben. Das Verfahren, bei dem das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese in der realen Welt erscheint, als ob diese drei Dimensionen aufweisen würde. Das Verfahren, bei dem das AR-Headset eine AR-Brille ist. Das Verfahren, bei dem die AR-Einblendung aus Text für ein Wort besteht, das die Fahrzeugaktion bzw. Fahraktion beschreibt. Das Verfahren, bei dem das Verfahren in Echtzeit relativ zu der Identifizierung des beleuchteten Lichts ausgeführt wird. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder einen Prozess oder Computersoftware auf einem computerzugreifbaren Medium umfassen.
Ein allgemeiner Aspekt umfasst ein System eines Fahrzeugs, mit: einem AR-Headset; und einem fahrzeugseitigen Fahrzeugcomputersystem, das mit dem AR-Headset kommunikativ gekoppelt ist, wobei das fahrzeugseitige Fahrzeugcomputersystem einen nichtflüchtigen Speicher aufweist, der Computercode speichert, der, wenn dieser durch das fahrzeugseitige Fahrzeugcomputersystem ausgeführt wird, das fahrzeugseitige Fahrzeugcomputersystem veranlasst, um: ein beleuchtetes Licht in einer Fahrumgebung des Fahrzeugs zu identifizieren; eine Fahrzeugaktion bzw. Fahraktion zu bestimmen, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist; und das AR-Headset zu veranlassen, eine AR-Einblendung anzuzeigen, die visuell ein Wort darstellt, das die Fahrzeugaktion bzw. Fahraktion beschreibt, die als Reaktion darauf, dass das beleuchtete Licht identifiziert wird, vorzunehmen ist. Weitere Ausführungsbeispiele dieses Aspekts umfassen entsprechende Computersysteme, eine Vorrichtung und Computerprogramme, die auf einer oder mehreren Computerspeichereinrichtungen aufgezeichnet sind, die jeweils dazu konfiguriert sind, die Aktionen der Verfahren durchzuführen.
Implementierungen können eines oder mehrere der folgenden Merkmale umfassen. Das System, bei dem das beleuchtete Licht basierend auf Messungen der Fahrumgebung, die durch einen oder mehrere fahrzeugseitige Sensoren des Fahrzeugs aufgezeichnet werden, identifiziert wird. Das System, bei dem das beleuchtete Licht basierend auf digitalen Daten identifiziert wird, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, wobei die digitalen Daten das beleuchtete Licht beschreiben. Das System, bei dem das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese erscheint, als ob diese in einer realen Welt drei Dimensionen aufweisen würde. Das System, bei dem das AR-Headset eine AR-Brille ist. Das System, bei dem die AR-Einblendung aus einem Text von einem Wort besteht, das die Fahrzeugaktion bzw. Fahraktion beschreibt. Das System, bei dem die AR-Einblendung in Echtzeit relativ zum Identifizieren des beleuchteten Lichts angezeigt wird. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder einen Prozess oder Computersoftware auf einem computerzugreifbaren Medium umfassen.
Ein allgemeiner Aspekt umfasst ein Computerprogrammprodukt mit einem nichtflüchtigen Speicher eines fahrzeugseitigen Fahrzeugcomputersystems eines Fahrzeugs, der computerausführen Code speichert, der, wenn dieser durch das fahrzeugseitige Fahrzeugcomputersystem ausgeführt wird, das fahrzeugseitige Fahrzeugcomputersystem veranlasst, um: ein beleuchtetes Licht in einer Fahrumgebung des Fahrzeugs zu identifizieren; eine Fahrzeugaktion bzw. Fahraktion zu bestimmen, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist; und eine AR-Einblendung auf einem AR-Headset des Fahrzeugs anzuzeigen, die ein Wort visuell darstellt, das die Fahrzeugaktion bzw. Fahraktion beschreibt, die als Reaktion darauf, dass das beleuchtete Licht identifiziert wird, vorzunehmen ist. Weitere Ausführungsbeispiele dieses Aspekts umfassen entsprechende Computersysteme, eine Vorrichtung und Computerprogramme, die auf einem oder mehreren Computerspeichereinrichtungen aufgezeichnet sind, die jeweils dazu konfiguriert sind, die Aktionen der Verfahren durchzuführen.
Implementierungen können eines oder mehrere der folgenden Merkmale umfassen. Das Computerprogrammprodukt, bei dem das beleuchtete Licht basierend auf Messungen der Fahrumgebung, die durch einen oder mehrere fahrzeugseitige Sensoren des Fahrzeugs aufgezeichnet werden, identifiziert wird. Das Computerprogrammprodukt, bei dem das beleuchtete Licht basierend auf digitalen Daten, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, identifiziert wird, wobei die digitalen Daten das beleuchtete Licht beschreiben. Das Computerprogrammprodukt, bei dem das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese visuell erscheint, als ob diese in der realen Welt drei Dimensionen aufweisen würde. Das Computerprogrammprodukt, bei dem die AR-Einblendung aus Text für ein Wort besteht, das die Fahrzeugaktion bzw. Fahraktion beschreibt. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder einen Prozess oder Computersoftware auf einem computerzugreifbaren Medium umfassen.
Figurenliste
Die Offenbarung wird in den Figuren der anhängigen Zeichnungen, in denen gleiche Bezugszeichen verwendet werden, um ähnliche Elemente zu bezeichnen, als Beispiel und nicht als Beschränkung dargestellt.

1 ist ein Blockdiagramm, das eine Operationsumgebung für ein AR-System eines Fahrzeugs gemäß manchen Ausführungsbeispielen darstellt.
2 ist ein Blockdiagramm, das ein Beispiel eines Computersystems inklusive des AR-Systems eines Fahrzeugs gemäß manchen Ausführungsbeispielen darstellt.
3 umfasst ein Ablaufdiagramm eines Beispiels eines Verfahrens zum Bereitstellen einer AR-basierten Assistenz für einen farbenblinden Fahrer gemäß manchen Ausführungsbeispielen.
4A bis 4E sind Beispiele einer graphischen Einblendung bzw. Überlagerung, die durch das AR-System gemäß manchen Ausführungsbeispielen bereitgestellt wird.
5 ist ein Blockdiagramm, das eine 3D-HUD gemäß manchen Ausführungsbeispielen darstellt.

DETAILLIERTE BESCHREIBUNG
AR und eine virtuelle Realität („VR“) sind nicht das gleiche. In VR trägt ein Benutzer ein VR-Headset, welches es dem Benutzer nicht ermöglicht, die Außenwelt zu sehen, und ein Paar von Kopfhörern, die Audioinformationen bereitstellen, die den Bildern entsprechen, die durch das VR-Headset angezeigt werden, während ebenso der Ton der realen Welt aufgehoben bzw. ausgeblendet wird. Mit anderen Worten ist der Zweck von VR, dass der Benutzer in eine VR-Welt eintaucht, sodass dieser die reale Welt vollkommen vergisst.
Dementsprechend ist VR für den Einsatz in Fahrzeugen nicht geeignet, da es den Fahrer von der Fahrbahn, die in der realen Welt vorhanden ist, ablenkt, und daher aus diesem Grund ein Sicherheitsrisiko ist. Das AR-System und der AR-Verwalter stellen keine VR-Erfahrung an einen Fahrer bereit, weil dies ein lebensgefährliches Sicherheitsrisiko wäre.
In AR trägt ein Benutzer ein AR-Headset, das eine transparente Scheibe (oder Plastik oder ein sonstiges geeignetes transparentes Material) umfasst, das dazu konfiguriert ist, dem Benutzer zu ermöglichen, die reale Welt zu sehen, wenn dieser durch das AR-Headset schaut. Das AR-Headset zeigt virtuelle Objekte an, die graphische Bilder umfassen, die über die reale Welt eingeblendet bzw. überlagert werden. Die virtuellen Objekte können visuell transparent, durscheinend, undurchsichtig oder fest bzw. dauerhaft erscheinen. Die virtuellen Objekte verbessern oder modifizieren die Weise, wie die echte Welt ausschaut, wenn diese durch das AR-Headset betrachtet wird. Der Benutzer kann ebenso einen AR-Handschuh tragen, der die Weise, wie sich die reale Welt anfühlt, verbessert oder modifiziert. Mit anderen Worten ist der Zweck von AR, Erfahrungen zu der realen Welt hinzuzufügen, ohne zu verursachen, dass der Benutzer die reale Welt völlig vergisst, da die reale Welt ein Teil der AR-Erfahrung ist.
Hierin werden Ausführungsbeispiele eines Systems eines Fahrzeugs beschrieben, die einem farbenblinden Fahrer dabei unterstützen, dessen Fahrumgebung durch Verwendung von AR zu verstehen und korrekt zu interpretieren.
Beispielhafte Übersicht
Bezugnehmend auf 1 ist eine Operationsumgebung 100 für ein AR-System 199 eines Fahrzeugs 123 gemäß manchen Ausführungsbeispielen dargestellt. Die Operationsumgebung 100 kann eines oder mehrere des Fahrzeugs 123 und eines Servers 107 umfassen. Diese Elemente können kommunikativ miteinander über ein Netzwerk 105 gekoppelt sein. Obwohl ein Fahrzeug 123, ein Server 107 und ein Netzwerk 105 in 1 dargestellt sind, kann die Operationsumgebung 100 in der Praxis eines oder mehrere Fahrzeuge 123, einen oder mehrere Server 107 und eines oder mehrere Netzwerk 105 umfassen.
In manchen Ausführungsbeispielen wird das Fahrzeug 123 als ein „Ego-Fahrzeug“ bzw. „Bezugsfahrzeug“ bezeichnet, weil das Fahrzeug 123 das AR-System 199 umfasst. In manchen Ausführungsbeispielen zum Beispiel unterstützt das AR-System 199 einen Fahrer des Fahrzeugs 123 dabei, die Bremslichter eines zweiten Fahrzeugs, das vor dem Fahrzeug 123 fährt, zu sehen und korrekt zu interpretieren (siehe zum Beispiel 4E), und in diesen Ausführungsbeispielen kann das Fahrzeug 123 als ein Ego-Fahrzeug bzw. Bezugsfahrzeug bezeichnet werden, um dieses von dem zweiten Fahrzeug, das vor dem Ego-Fahrzeug bzw. Bezugsfahrzeug fährt, zu unterscheiden.
Das AR-System 199 ist in 1 mit einer gestrichelten Linie als ein Element des Servers 107 und des Fahrzeugs 123 dargestellt. Dies liegt daran, dass in manchen Ausführungsbeispielen die Funktionalität des AR-Systems 199 über einer Vielzahl von Endpunkten, wie etwa den Server 107 und das Fahrzeug 123, verteilt ist. In manchen Ausführungsbeispielen zum Beispiel ist die Lichtdatenstruktur 184 ein Element des Servers 107 und wird die Funktionalität des AR-Systems 199 bezüglich der Lichtdatenstruktur 184 durch den Server 107 bereitgestellt, da der Server 107 zum Beispiel mehr Rechnerleistung aufweisen kann als das Fahrzeug 123.
In manchen Ausführungsbeispielen ist der Server 107 ein optionales Merkmal der Operationsumgebung 100. Zum Beispiel ist in manchen Ausführungsbeispielen das AR-System 199 des Fahrzeugs 123 dazu in der Lage, all die Funktionalität des AR-Systems 199 ohne Verwendung des Servers 107 bereitzustellen. Zum Beispiel ist in manchen Ausführungsbeispielen die Lichtdatenstruktur 184 ein Element des Fahrzeugs 123 und stellt das AR-System 199 des Fahrzeugs 123 die Funktionalität des AR-Systems bezüglich der Lichtdatenstruktur 184 bereit.
Das Netzwerk 105 kann von einer herkömmlichen Art sein, drahtgebunden oder drahtlos, und kann zahlreiche unterschiedliche Konfigurationen aufweisen, inklusive einer Sternkonfiguration, einer Token-Ring-Konfiguration oder anderer Konfigurationen. Des Weiteren kann das Netzwerk 105 ein Nahbereichsnetzwerk (LAN), ein Weitbereichsnetzwerk (WAN) (zum Beispiel das Internet) oder andere zwischenverbundene Datenpfade umfassen, über die mehrere Einrichtungen und/oder Entitäten kommunizieren können. In manchen Ausführungsbeispielen kann das Netzwerk 105 ein Peer-zu-Peer-Netzwerk umfassen. Das Netzwerk 105 kann ebenso mit Abschnitten eines Telekommunikationsnetzwerks zum Senden von Daten in einer Vielzahl von unterschiedlichen Kommunikationsprotokollen gekoppelt sein oder dieses umfassen. In manchen Ausführungsbeispielen umfasst das Netzwerk 105 ein Bluetooth®-Kommunikationsnetzwerk oder ein zellulares Kommunikationsnetzwerk zum Senden und Empfangen von Daten inklusive eines Kurzmitteilungsdienstes (SMS), eines Multimediamitteilungsdienstes (MMS), Hypertext Transfer Protokoll (HTTP), einer direkten Datenverbindung, eines drahtlosen Anwendungsprotokolls (WAP), E-Mail, DSRC, einer Voll-Duplex-Drahtloskommunikation, usw. Das Netzwerk 105 kann ebenso ein mobiles Datennetzwerk umfassen, das 3G, 4G, LTE, LTE-V2X, VoLTE oder irgendein anderes mobiles Datennetzwerk oder Kommunikation von mobilen Datennetzwerken umfassen kann. Weiterhin kann das Netzwerk 105 eines oder mehrere IEEE 802.11 Drahtlosnetzwerke umfassen.
In manchen Ausführungsbeispielen ist das Fahrzeug 123 ein mit DSRC ausgestattetes Fahrzeug. In manchen Ausführungsbeispielen ist ein mit DSRC ausgestattetes Fahrzeug ein Fahrzeug, das einen DSRC-Funk 144 und eine DSRC-konforme GPS-Einheit 150 umfasst. Der DSRC-Funk 144 sind elektronische Hardwareeinrichtungen, die einen DSRC-Sender und einen DSRC-Empfänger umfassen, die lizenziert sind, um rechtmäßig DSRC-Mitteilungen auf dem 5,9 GHz Band in dem Rechtssystem, in dem sich das mit DSRC ausgestattete Fahrzeug befindet, zu senden und zu empfangen.
Eine DSRC-Mitteilung ist eine drahtlose Mitteilung, die speziell konfiguriert ist, um durch stark mobile Einrichtungen wie etwa Fahrzeuge gesendet und empfangen zu werden, und ist mit einem oder mehreren der folgenden DSRC-Standards inklusive irgendwelcher Ableitungen und Gabelungen davon konform: EN 12253:2004 Dedizierte Nahbereichskommunikation - physikalische Schicht unter Verwendung von Mikrowellen bei 5,8 GHz (Review); EN 12795:2002 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Datenverbindungsschicht: Medienzugriffs- und Logiklinksteuerung (Review); EN 12834:2002 Dedizierte Nahbereichskommunikation - Anwendungsschicht (Review); und EN 13372:2004 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Profile für RTTT-Anwendungen (Review); EN ISO 14906:2004 Elektronische Gebührensammlung - Anwendungsschnittstelle.
In den Vereinigten Staaten, Europa und Asien werden DSRC-Mitteilungen bei 5,9 GHz übertragen. In den Vereinigten Staaten ist DSRC-Mitteilungen ein Spektrum von 75 MHz in dem 5,9 GHz Band zugewiesen. In Europa und Asien ist DSRC-Mitteilungen ein Spektrum von 30 MHz in dem 5,9 GHz Band zugewiesen. Eine drahtlose Mitteilung ist deshalb keine DSRC-Mitteilung, solange diese nicht in dem 5,9 GHz Band arbeitet. Eine drahtlose Mitteilung ist ebenso keine DSRC-Mitteilung, solange diese nicht durch einen DSRC-Sender eines DSRC-Funks übertragen wird.
Dementsprechend ist eine DSRC-Mitteilung keine der Folgenden: einer WiFi-Mitteilung; einer 3G-Mitteilung; einer 4G-Mitteilung; einer LTE-Mitteilung; einer Millimeterwellenkommunikationsmitteilung; einer Bluetooth-Mitteilung; einer Satellitenkommunikation; und einer Nahbereichsfunkmitteilung, die von einem Schlüsselanhänger bei 315 MHz oder 433,92 MHz übertragen oder rundgesendet wird. In den Vereinigten Staaten zum Beispiel umfassen Schlüsselanhänger für ferngesteuerte schlüssellose Systeme einen Kurzbereichsfunksender, der bei 315 MHz arbeitet, und Übertragungen oder Rundsendungen von diesen Nahbereichsfunksender sind keine DSRC-Mitteilungen, da zum Beispiel solche Übertragungen oder Rundsendungen nicht irgendeinem DSRC-Standard entsprechen, nicht durch einen DSRC-Sender eines DSRC-Funks übertragen werden und nicht bei 5,9 GHz übertragen werden. In einem anderen Beispiel umfassen in Europa und Asien Schlüsselanhänger für ferngesteuerte schlüssellose Systeme einen Nahbereichsfunksender, der bei 433,92 MHz arbeitet, und Übertragungen oder Rundsendungen von diesem Nahbereichsfunksender sind keine DSRC-Mitteilungen, aus den gleichen Gründen wie denen, die vorstehend für das ferngesteuerte schlüssellose System in den Vereinigten Staaten beschrieben wurden.
In manchen Ausführungsbeispielen umfasst ein mit DSRC ausgestattetes Fahrzeugs keine herkömmliche Einheit eines globalen Positionierungssystems („GPS-Einheit“), und umfasst stattdessen eine DSRC-konforme GPS-Einheit 150. Eine herkömmliche GPS-Einheit stellt Positionsinformationen bereit, die eine Position der herkömmlichen GPS-Einheit mit einer Genauigkeit von plus oder minus 10 Metern von der tatsächlichen Position der herkömmlichen GPS-Einheit beschreiben. Zum Vergleich stellt eine DSRC-konforme GPS-Einheit 150 GPS-Daten 185 bereit, die eine Position der DSRC-konformen GPS-Einheit 150 mit einer Genauigkeit von plus oder minus 1,5 Metern von der tatsächlichen Position der DSRC-konformen GPS-Einheit 150 beschreiben. Dieser Grad einer Genauigkeit wird als „Spurlevelgenauigkeit“ bezeichnet, da eine Spur einer Straße bzw. Fahrbahn allgemein ungefähr 3 Meter breit ist und eine Genauigkeit von plus oder minus 1,5 Metern ausreichend ist, um zu identifizieren, auf welcher Spur das Fahrzeug 123 fährt, auch wenn das Fahrzeug 123 auf einer Fahrbahn mit einer Vielzahl von Spuren fährt, bei der Verkehr in die gleiche Richtung fließt.
In manchen Ausführungsbeispielen ist die DSRC-konforme GPS-Einheit 150 betriebsfähig, um ihre zweidimensionale Position innerhalb von 1,5 Metern von ihrer tatsächlichen Position zu 68% der Zeit unter freiem Himmel zu identifizieren, zu überwachen und zu verfolgen. Da Spuren einer Fahrbahn üblicherweise nicht weniger als 3 Meter breit sind, kann das AR-System 199, das hierin beschrieben ist, wann immer der zweidimensionale Fehler der GPS-Daten 185 weniger als 1,5 Meter ist, die GPS-Daten 185, die durch die DSRC-konforme GPS-Einheit 150 bereitgestellt sind, analysieren und bestimmen, auf welcher Spur der Fahrbahn das Fahrzeug 123 fährt, basierend auf den relativen Positionen einer Vielzahl von Fahrzeugen auf der Fahrbahn, auf der das Fahrzeug 123 in der Mehrzahl vorhanden ist.
Ein Beispiel einer DSRC-Mitteilung ist eine Basissicherheitsmitteilung („BSM-Mitteilung“, BSM, „basic safety message“). Der DSRC-Funk 144 des Fahrzeugs 123 überträgt BSM-Mitteilungen in regelmäßigen Intervallen (zum Beispiel einmal alle 0,1 Sekunden oder in manch anderem Intervall, das durch den Benutzer konfigurierbar ist). Jede BSM-Mitteilung umfasst BSM-Daten, die das Fahrzeug beschreiben, das die BSM-Mitteilung rundgesendet hat. Die BSM-Daten sind digitale Daten, die unter anderem eine eindeutige Kennung des Fahrzeugs, das die BSM-Mitteilung rundgesendet hat, und die GPS-Daten 185 für dieses Fahrzeug beschreiben. Auf diese Weise können die individuellen Fahrzeuge einer Vielzahl von mit DSRC ausgestatteten Fahrzeuge, die auf der Fahrbahn fahren, sich selbst bezüglich anderen mit DSRC ausgestatteten Fahrzeugen identifizieren und diese über deren geographischen Ort mit einer Spurlevelgenauigkeit informieren. Das hierin beschriebene AR-System 199 kann diese Informationen zum Beispiel verwenden, um das Vorhandensein von Bremslichtern zu identifizieren, und zu identifizieren, ob ihr Bereich zu dem Fahrzeug 123 sie zu einem Interessenspunkt des Fahrers des Fahrzeugs 123 macht.
In manchen Ausführungsbeispielen kann ein straßenseitiges Gerät, wie etwa Verkehrssignale bzw. Verkehrsampeln, einen DSRC-Funk 144 umfassen, und diese Verkehrssignale können DSRC-Mitteilungen übertragen, die digitale Daten, die deren geographischen Ort beschreiben, und optional Informationen umfassen, die angeben, welches Licht des Verkehrssignals momentan beleuchtet wird (ob es das rote Licht, gelbes Licht oder das grüne Licht ist). Das hierin beschriebene AR-System 199 empfängt diese DSR-Mitteilung, extrahiert die digitalen Daten und veranlasst das AR-Headset 198, eine graphische Einblendung anzuzeigen, die dem beleuchteten Licht des Verkehrssignals entspricht, das durch die digitalen Daten beschrieben ist, die von der DSCR-Mitteilung extrahiert werden.
Das Netzwerk 105 kann einen oder mehrere Kommunikationskanäle umfassen, die von dem Fahrzeug 123 und anderen Fahrzeugen auf der Fahrbahn gemeinsam genutzt werden. Der Kommunikationskanal kann DSRC, LTE-V2X, eine Voll-Duplex-Drahtloskommunikation oder irgendein anderes drahtloses Kommunikationsprotokoll umfassen. Zum Beispiel kann das Netzwerk 105 verwendet werden, um eine DSRC-Mitteilung, eine DSRC-Sondierung, eine BSM- oder eine Voll-Duplex-Mitteilung inklusive irgendwelcher der hierin beschriebenen Daten zu übertragen.
Das Fahrzeug 123 ist irgendeine Art des Fahrzeugs. Zum Beispiel ist das Fahrzeug 123 eines der folgenden Arten von Fahrzeugen: ein Auto; ein Lastwagen; ein Sports-Utility-Vehicle bzw. ein Geländewagen; ein Bus; ein Sattelzug; eine Drohne oder irgendein anderes fahrbahnbasiertes Beförderungsmittel.
In manchen Ausführungsbeispielen ist das Fahrzeug 123 ein autonomes Fahrzeug oder ein semi-autonomes Fahrzeug.
In manchen Ausführungsbeispielen umfasst das Fahrzeug 123 eines oder mehrere der folgenden Elemente: einen Prozessor 125A; einen Speicher 127A; eine Kommunikationseinheit 145A inklusive des DSRC-Funks 144; ein AR-Headset 198; einen oder mehrere AR-Handschuhe 196; und ein AR-System 199. Diese Elemente des Fahrzeugs 123 sind miteinander über einen Bus 120A kommunikativ gekoppelt.
Der Server 107 ist eine prozessorbasierte Rechnereinrichtung. Zum Beispiel kann der Server 107 eine oder mehrere der folgenden Arten von prozessorbasierten Rechnereinrichtungen umfassen: einen Personal Computer; einen Laptop; einen Mainframe bzw. Großrechner; oder irgendeine andere prozessorbasierte Rechnereinrichtung, die dazu in der Lage ist, als ein Server zu arbeiten. Der Server 107 kann einen Hardwareserver umfassen.
In manchen Ausführungsbeispielen umfasst der Server 107 eines oder mehrere der folgenden Elemente: einen Prozessor 125B; einen Speicher 127B; eine Kommunikationseinheit 145B; und ein AR-System 199. Diese Elemente des Servers 107 sind miteinander über einen Bus 120B kommunikativ gekoppelt.
Der Prozessor 125A des Fahrzeugs 123 und der Prozessor 125B des Servers 107 können hierin gemeinsam oder einzeln als der „Prozessor 125“ bezeichnet werden, da zum Beispiel der Prozessor 125A des Fahrzeugs 123 den Komponenten des Fahrzeugs 123 eine ähnliche Funktionalität bereitstellt wie der Prozessor 125B des Servers 107. Aus ähnlichen Gründen verwendet die hier bereitgestellte Beschreibung die folgenden Ausdrücke, wenn auf Elemente Bezug genommen wird, die dem Fahrzeug 123 und dem Server 107 gemeinsam sind: der „Speicher 127“, wenn auf den Speicher 127A und den Speicher 127B gemeinsam oder einzeln Bezug genommen wird; und die „Kommunikationseinheit 145“, wenn auf die Kommunikationseinheit 145A und die Kommunikationseinheit 145B gemeinsam oder einzeln Bezug genommen wird.
Das Fahrzeug 123 und der Server 107 werden nun beschrieben.
Fahrzeug 123
In manchen Ausführungsbeispielen sind der Prozessor 125 und der Speicher 127 Elemente eines fahrzeugseitigen Fahrzeugcomputersystems (wie etwa eines Computersystems 200, das nachstehend mit Bezug auf 2 beschrieben ist). Das fahrzeugseitige Fahrzeugcomputersystem ist betriebsfähig, um den Betrieb des AR-Systems 199 zu verursachen oder zu steuern. Das fahrzeugseitige Fahrzeugcomputersystem ist betriebsfähig, um auf die Daten, die auf dem Speicher 127 gespeichert sind, zuzugreifen und diese auszuführen, um die hierin beschriebene Funktionalität für das AR-System 199 oder dessen Elemente bereitzustellen (siehe zum Beispiel 2). Das fahrzeugseitige Fahrzeugcomputersystem ist betriebsfähig, um das AR-System 199 auszuführen, das das fahrzeugseitige Fahrzeugcomputersystem veranlasst, einen oder mehrere der Schritte des Verfahrens 300, das nachstehend mit Bezug auf 3 beschrieben ist, auszuführen.
Der Prozessor 125 umfasst eine arithmetische Logikeinheit, einen Mikroprozessor, einen Allzweckcontroller oder manch anderes Prozessorfeld, um Berechnungen durchzuführen und elektronische Anzeigesignale an eine Anzeigeeinrichtung bereitzustellen. Der Prozessor 125 verarbeitet Datensignale und kann verschiedene Berechnungsarchitekturen umfassen, inklusive einer „Complex Instruction Set Computer“-(CISC-)Architektur, einer „Reduced Instruction Set Computer“-(RISC-)Architektur oder einer Architektur, die eine Kombination von Anweisungssätzen implementiert. Das Fahrzeug 123 kann einen oder mehrere Prozessoren 125 umfassen. Andere Prozessoren, Betriebssysteme, Sensoren, Anzeigen und physikalische Konfiguration können möglich sein.
Der Speicher 127 speichert Anweisungen oder Daten, auf die durch den Prozessor 125 zugegriffen werden kann oder die durch den Prozessor 125 ausgeführt werden können. Die Anweisungen oder Daten können einen Code zum Durchführen der hierin beschriebenen Techniken umfassen. Der Speicher 127 kann eine Einrichtung eines dynamischen Direktzugriffsspeichers (DRAM), eine Einreichung eines statischen Direktzugriffsspeichers (SRAM), ein Flashspeicher oder manch andere Speichereinrichtung sein. In manchen Ausführungsbeispielen umfasst der Speicher 127 ebenso einen nichtflüchtigen Speicher oder eine ähnliche permanente Speichereinrichtung und Medien inklusive eines Festplattenlaufwerks, eines Diskettenlaufwerks, einer CD-ROM-Einrichtung, einer DVD-ROM-Einrichtung, einer DVD-RAM-Einrichtung, einer DVD-RW-Einrichtung, einer Flashspeichereinrichtung, oder manch anderer Massenspeichereinrichtung zum Speichern von Informationen auf einer permanenten Basis. Ein Abschnitt des Speichers 127 kann zur Verwendung als Puffer oder als virtueller Direktzugriffsspeicher (virtueller RAM) reserviert sein. Das Fahrzeug 123 kann einen oder mehrere Speicher 127 umfassen.
Der Speicher 127 des Fahrzeugs 123 kann eine oder mehrere der folgenden Arten von digitalen Daten speichern: GPS-Daten 185; Umgebungsdaten 186; graphische Daten 187; und Kopfpositionsdaten 188. In manchen Ausführungsbeispielen speichert der Speicher 127 die Lichtdatenstruktur 184.
Die GPS-Daten 185 sind digitale Daten, die den geographischen Ort des Fahrzeugs 123 beschreiben. In manchen Ausführungsbeispielen beschreiben die GPS-Daten 185 den geographischen Ort des Fahrzeugs 123 mit einer Spurlevelgenauigkeit. Die GPS-Daten 185 werden durch das AR-System 199 zum Beispiel verwendet, um zu identifizieren, ob sich das Fahrzeug 123 an einem geographischen Ort befindet, der ein Verkehrssignal oder ein Bremslicht umfasst.
In manchen Ausführungsbeispielen umfassen die GPS-Daten 185 digitale Daten, die den geographischen Ort von anderen mit DSRC ausgestatteten Objekten innerhalb der Fahrumgebung des Fahrzeugs 123, wie etwa andere mit DSRC ausgestattete Fahrzeuge, mit DSRC ausgestattete Verkehrssignale oder mit DSRC ausgestattete Verkehrszeichen beschreiben. In diesen Ausführungsbeispielen umfasst das AR-System 199 einen Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um den Prozessor 125 zu veranlassen, zu bestimmen, ob sich das Fahrzeug 123 an einem geographischen Ort befindet, der ein Verkehrssignal oder ein Bremslicht umfasst, durch Vergleichen des geographischen Orts des Fahrzeugs 123 mit dem geographischen Ort der anderen mit DSRC ausgestatteten Objekte.
Die Lichtdatenstruktur 184 ist eine Tabelle oder eine andere Datenstruktur, die digitale Daten umfasst, die den Breitengrad und Längengrad für unterschiedliche Verkehrslichter oder Verkehrszeichen in einem geographischen Bereich beschreiben. Das AR-System 199 umfasst Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um den Prozessor 125 zu veranlassen, die GPS-Daten 185 mit den digitalen Daten, die in der Lichtdatenstruktur 184 gespeichert sind, zu vergleichen, um zu identifizieren, ob der momentane GPS-Ort für das Fahrzeug 123 dem Ort für ein Verkehrslicht oder ein Verkehrszeichen entspricht.
Die Umgebungsdaten 186 sind digitale Daten, die die Fahrumgebung außerhalb des Fahrzeugs 123 beschreiben. In manchen Ausführungsbeispielen beschreiben die Umgebungsdaten 186 die Messungen von einem oder mehreren externen Sensoren des Sensorsatzes 170. Das AR-System 199 umfasst Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um den Prozessor 125 zu veranlassen, die Umgebungsdaten 186 zu analysieren, um zu identifizieren, ob die Fahrumgebung für das Fahrzeug 123 ein Verkehrslicht oder ein Bremslicht für ein anderes Fahrzeug, das vor dem Fahrzeug 123 fährt, umfasst.
In manchen Ausführungsbeispielen beschreiben die Umgebungsdaten 186 einen oder mehrere Interessenspunkte. Ein Interessenspunkt ist ein Objekt innerhalb der Fahrumgebung des Fahrzeugs 123, der beleuchtet ist und eine Farbe aufweist, die durch die spezielle Art und den Grad an Farbblindheit des Fahrers des Fahrzeugs 123 beeinträchtigt ist. In manchen Ausführungsbeispielen umfasst das AR-System 199 einen Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um den Prozessor 125 zu veranlassen, die Umgebungsdaten 186 zu analysieren (sowie andere Eingaben, wie etwa die GPS-Daten 185 und die Lichtdatenstruktur 184), um einen oder mehrere Interessenspunkte in der momentanen Fahrumgebung für das Fahrzeug 123 zu identifizieren. Das AR-System 199 kann diese Analyse in regelmäßigen Intervallen über die Zeit wiederholen, sodass die identifizierten Interessenspunkte regelmäßig aktualisiert werden.
Die graphischen Daten 187 sind digitale Daten, die betriebsfähig sind, um das AR-Headset 198 zu veranlassen, eine oder mehrere AR-Einblendungen bzw. AR-Überlagerungen anzuzeigen, basierend auf dem einen oder den mehreren Interessenspunkten, die durch die Umgebungsdaten 186 beschrieben sind. Zum Beispiel sind die graphischen Daten 187 betriebsfähig, um das AR-Headset 198 zu veranlassen, eine oder mehrere der AR-Einblendungen anzuzeigen, die in 4A bis 4E dargestellt sind.
Die Kopfpositionsdaten 188 sind digitale Daten, die eine Ausrichtung eines Kopfes eines Fahrers des Fahrzeugs 123 beschreiben. In manchen Ausführungsbeispielen beschreiben die Kopfpositionsdaten 188 die Messungen von einem oder mehreren internen Sensoren, die in dem Sensorsatz 170 umfasst sind. Zum Beispiel umfasst der Sensorsatz 170 eine oder mehrere interne Kameras, die die Kopfausrichtung des Fahrers des Fahrzeugs 123 verfolgen, und die Kopfpositionsdaten 188 beschreiben die Messungen dieser Sensoren. In manchen Ausführungsbeispielen umfasst das AR-Headset 198 einen oder mehrere Beschleunigungsmesser, die die Ausrichtung des Kopfes des Fahrers verfolgen.
Die Kommunikationseinheit 145 überträgt und empfängt Daten an und von einem Netzwerk 105 oder zu einem anderen Kommunikationskanal. In manchen Ausführungsbeispielen kann die Kommunikationseinheit 145 einen DSRC-Senderempfänger, einen DSRC-Empfänger und andere Hardware oder Software umfassen, die notwendig ist, um das Fahrzeug 123 (oder manch andere Einrichtung wie etwa den Server 107) zu einer DSRC-fähigen Einrichtung zu machen.
In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 einen Anschluss für eine direkte physikalische Verbindung zu dem Netzwerk 105 oder zu einem anderen Kommunikationskanal. Zum Beispiel umfasst die Kommunikationseinheit 145 einen USB-, SD-, CAT-5-, oder einen ähnlichen Anschluss für eine drahtgebundene Kommunikation mit dem Netzwerk 105. In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 einen drahtlosen Senderempfänger zum Austauschen von Daten mit dem Netzwerk 105 oder einem anderen Kommunikationskanal und der Verwendung von einem oder mehreren drahtlosen Kommunikationsverfahren, inklusive: IEEE 802.11; IEEE 802.16, BLUETOOTH®; EN ISO 14906:2004 Elektronische Gebührensammlung - Anwendungsschnittstelle; EN 11253:2004 Dedizierte Nahbereichskommunikation - physikalische Schicht unter Verwendung von Mikrowellen bei 5,8 GHz (Review); EN 12795:2002 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Datenverbindungsschicht: Medienzugriffs- und Logiklinksteuerung (Review); EN 12834:2002 Dedizierte Nahbereichskommunikation - Anwendungsschicht (Review); EN 13372:2004 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Profile für RTTT-Anwendungen (Review); das Kommunikationsverfahren, das in der US-Patentanmeldung Nr. 14/471,387 , eingereicht am 28. August 2014 mit dem Titel „Full-Duplex Coordination System“ beschrieben ist; oder irgendeinem anderen geeigneten drahtlosen Kommunikationsverfahren.
In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 ein Voll-Duplex-Koordinationssystem, das in der US-Patentanmeldung Nr. 14/471,387 , eingereicht am 28. August 2014 mit dem Titel „Full-Duplex Coordination System“ beschrieben ist, deren Gesamtheit hierin durch Bezugnahme miteingeschlossen ist.
In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 einen zellularen Kommunikationssenderempfänger zum Senden und Empfangen von Daten über ein zellulares Kommunikationsnetzwerk inklusive eines Kurzmitteilungsdienstes (SMS), eines Multimediamitteilungsdienstes (MMS), Hypertext Transfer Protokoll (HTTP), einer direkten Datenverbindung, WAP, E-Mail oder einer anderen geeigneten Art von elektronischer Kommunikation. In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 einen drahtlosen Anschluss und einen drahtlosen Senderempfänger. Die Kommunikationseinheit 145 stellt ebenso andere konventionelle Verbindungen zu dem Netzwerk 105 zum Verteilen von Dateien oder Medienobjekten unter Verwendung von Standardnetzwerkprotokollen inklusive TCP/IP, HTTP, HTTPS und SMTP, Millimeterwellen, DSRC, usw. bereit.
In manchen Ausführungsbeispielen umfasst die Kommunikationseinheit 145 einen DSRC-Funk 144. Der DSRC-Funk 144 ist eine Hardwareeinheit, die einen DSRC-Sender und einen DSRC-Empfänger umfasst. Der DSRC-Sender ist betriebsfähig, um DSRC-Mitteilungen über das 5,9 GHz Band zu übertragen und rundzusenden. Der DSRC-Empfänger ist betriebsfähig, um DSRC-Mitteilungen über das 5,9 GHz Band zu empfangen.
In manchen Ausführungsbeispielen umfasst der DSRC-Funk 144 einen nichtflüchtigen Speicher, der digitale Daten speichert, die die Häufigkeit bzw. Frequenz zum Rundsenden von BSM-Mitteilungen steuert. In manchen Ausführungsbeispielen speichert der nichtflüchtige Speicher eine gepufferte Version der GPS-Daten 185 für das Fahrzeug 123, sodass die GPS-Daten 185 für das Fahrzeug 123 als ein Element der BSM-Mitteilung, die regelmäßig durch den DSRC-Funk 144 rundgesendet wird, rundgesendet werden.
In manchen Ausführungsbeispielen umfasst der DSRC-Funk 144 irgendeine Hardware oder Software, die notwendig ist, damit das Fahrzeug 123 dem DSRC-Standard entspricht. In manchen Ausführungsbeispielen ist die DSRC-konforme GPS-Einheit 150 ein Element des DSRC-Funks 144.
In manchen Ausführungsbeispielen umfasst die DSRC-konforme GPS-Einheit 150 irgendeine Hardware und Software, die notwendig ist, damit das Fahrzeug 123 oder die DSRC-konforme GPS-Einheit 150 einem oder mehreren der folgenden DSRC-Standards entspricht, inklusive irgendwelchen Ableitungen oder Gabelungen von diesen: EN 12253:2004 Dedizierte Nahbereichskommunikation - physikalische Schicht unter Verwendung von Mikrowellen bei 5,8 GHz (Review); EN 12795:2002 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Datenverbindungsschicht: Medienzugriffs- und Logiklinksteuerung (Review); EN 12834:2002 Dedizierte Nahbereichskommunikation - Anwendungsschicht (Review); und EN 13372:2004 Dedizierte Nahbereichskommunikation (DSRC) - DSRC-Profile für RTTT-Anwendungen (Review); EN ISO 14906:2004 Elektronische Gebührensammlung - Anwendungsschnittstelle.
In manchen Ausführungsbeispielen ist die DSRC-konforme GPS-Einheit 150 betriebsfähig, um GPS-Daten 185 bereitzustellen, die den Ort des Fahrzeugs 123 mit einer Spurlevelgenauigkeit beschreiben.
Das AR-Headset 198 ist irgendein herkömmliches AR-Headset, eine Brille oder Gläser. Beispiele des AR-Headsets 198 können eines oder mehrere der Folgenden umfassen: Google™ Glass; CastAR; Moverio BT-200; Meta; Vuzix M-100; Laster SeeThru; Icis; Optinvent ORA-S; GlassUP; Atheer One; K-Glass; und Microsoft™ Hololens. Das AR-Headset 198 ist derart konfiguriert, dass ein Fahrer des Fahrzeugs 123 auf das Fahrgefühl fokussiert werden kann, wenn dieser das Fahrzeug 123 betätigt.
In manchen Ausführungsbeispielen umfasst das AR-Headset 198 einen oder mehrere Sensoren (zum Beispiel Beschleunigungsmesser), die die Ausrichtung des Kopfes des Fahrers verfolgen und Kopfpositionsdaten 188 ausgeben, die die Ausrichtung des Kopfes des Fahrers beschreiben. Die Kopfpositionsdaten 188 werden durch das AR-System 199 verwendet, um zum Beispiel zu bestimmen, wann das AR-Headset 198 zu veranlassen ist, die AR-Einblendung anzuzeigen, die einen Interessenspunkt beschreibt, der in dem Sichtfeld des Fahrers ist (oder optional von dem Sichtfeld des Fahrers verschleiert ist). Zum Beispiel umfasst das AR-System 199 Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um das AR-Headset 198 zu veranlassen, die AR-Einblendung anzuzeigen, wenn die Kopfausrichtung des Fahrers angibt, dass dieser auf die Fahrbahn in die Richtung des Interessenspunkts schaut, der durch die AR-Einblendung beschrieben ist. Zum Beispiel stellt das AR-System 199 die graphischen Daten 187 dem AR-Headset 198 bereit.
In manchen Ausführungsbeispielen ist das AR-Headset 198 eine 3D-HUD. Ein Beispiel der 3D-HUD ist in 5 dargestellt. Zum Beispiel kann ein Fahrer des Fahrzeugs 123 die 3D-HUD betrachten und kann die 3D-HUD eine oder mehrere virtuelle Einblendungen anzeigen, wie die, die in 4A bis 4E dargestellt sind.
In manchen Ausführungsbeispielen werden die eine oder die mehreren virtuellen Einblendungen durch das AR-Headset 198 als dreidimensionale virtuelle Einblendungen bzw. Überlagerungen angezeigt, die dem Fahrer derart erscheinen, als ob diese drei Dimensionen (x-, y- und z-Achse) aufweisen, wobei die horizontale Linie der Windschutzscheibe des Fahrzeugs 123 die x-Achse ist, die vertikale Linie der Windschutzschiebe die y-Achse ist und die z-Achse durch die Windschutzscheibe in die Richtung des Kopfes des Fahrers und die Außenumgebung des Fahrzeugs 123 kommt.
Das Fahrzeug 123 kann einen oder mehrere AR-Handschuhe 196 umfassen. Der AR-Handschuh 196 ist ein Handschuh mit haptischem Feedback, der dazu konfiguriert ist, dass der Fahrer des Fahrzeugs 123 virtuelle Einblendungen berühren, greifen und fühlen kann, als ob diese in der realen Welt existieren würden (siehe zum Beispiel die virtuellen Einblendungen, die in 4A bis 4E dargestellt sind).
In manchen Ausführungsbeispielen kann der AR-Handschuh 196 ein haptisches Feedback an den Fahrer bereitstellen, um diesen über das Vorhandensein einer virtuellen Einblendung, die durch das AR-System 199 neu angezeigt wird, zu informieren.
In manchen Ausführungsbeispielen kann einer oder mehrere Sensoren des Sensorsatzes 170 betriebsfähig sein, um Daten aufzuzeichnen, die einen Ort des AR-Handschuhs 196 relativ zu manch anderen realen Objekten oder virtuellen Objekten beschreiben.
In manchen Ausführungsbeispielen umfasst der AR-Handschuh 196 Force-Feedback-Einheiten (nachstehend „Motoren“), die ein Drehmoment auf die Finger des Fahrers aufbringen, die sich in dem AR-Handschuh 196 befinden. Diese Motoren sind betriebsfähig, wenn diese durch das AR-System 199 gesteuert werden, um die Richtung und Größenordnung der Kraft dynamisch zu ändern, die durch die Hand-/Fingerbewegung des Fahrers verursacht wird, um eine spezifische Steifigkeit einer virtuellen Einblendung zu simulieren. Auf diese Weise stellen die Motoren des AR-Handschuhs 196 einen leichten Widerstand bereit, wenn der Fahrer ein virtuelles Objekt handhabt, das einem weichen Objekt wie etwa einem Lederknauf oder Handgriff entspricht, und stellen einen starken Widerstand bereit, wenn das virtuelle Objekt ein dichteres Objekt darstellt, wie etwa eines, das in der echten Welt aus Metall bestehen würde.
In manchen Ausführungsbeispielen umfasst der AR-Handschuh 196 andere kleinere Motoren, die haptische Vibrationen an die Fingerspitzen des Fahrers innerhalb des AR-Handschuhs 196 bereitstellen. Diese haptischen Vibrationen simulieren den Effekt eines Fingers, der auf eine Berührungsschnittstelle trifft oder an einer texturierten Oberfläche entlang verläuft.
In manchen Ausführungsbeispielen sind die Motoren, die in dem AR-Handschuh 196 bereitgestellt sind, ausreichend leistungsfähig, sodass diese betriebsfähig sind, um physisches Feedback bereitzustellen, das dazu in der Lage ist, physisch zu verhindern, dass Finger des Fahrers virtuelle Objekte, die auf dem AR-Headset 198 angezeigt sind, durchdringen.
Wie nachstehend detaillierter beschrieben ist, kann der AR-Handschuh 196 einen nichtflüchtigen Cache oder Puffer umfassen, der Daten, die dieser von dem AR-System 199 empfängt, vorübergehend speichert.
Der Sensorsatz 170 umfasst einen oder mehrere Sensoren, die betriebsfähig sind, um die physikalische Umgebung außerhalb des Fahrzeugs 123 zu messen (das heißt „externe Sensoren“). Zum Beispiel umfasst der Sensorsatz 170 einen oder mehrere Sensoren, die eine oder mehrere physikalische Charakteristika der physikalischen Umgebung, die sich in der Nähe des Fahrzeugs 123 befindet (das heißt die „Fahrumgebung“), aufzeichnet. Der Speicher 127 kann Umgebungsdaten 186 speichern, die die eine oder mehreren physikalischen Charakteristika beschreiben, die durch den Sensorsatz 170 von der Fahrumgebung aufgezeichnet werden.
In manchen Ausführungsbeispielen können die Umgebungsdaten 186 durch das AR-System 199 verwendet werden, um die GPS-Daten 185 oder andere Daten, die in dem Speicher 127 gespeichert sind, zu bestätigen oder zu verwerfen. Zum Beispiel können die GPS-Daten 185 angeben, dass sich das Fahrzeug 123 in der Nähe eines bestimmten Orientierungspunkts befindet, und können die Umgebungsdaten 186 ein Bild umfassen, das den bestimmten Orientierungspunkt umfasst, wodurch die Genauigkeit der GPS-Daten 185 bestätigt wird.
In manchen Ausführungsbeispielen kann der Sensorsatz 170 einen oder mehrere der folgenden Fahrzeugsensoren umfassen: eine Kamera; einen LIDAR-Sensor; einen Radarsensor; einen Laserhöhenmesser; einen Infrarotdetektor; einen Bewegungsdetektor; ein Thermostat; einen Tondetektor; einen Kohlenmonoxidsensor; einen Kohlendioxidsensor; einen Sauerstoffsensor; einen Luftmassensensor; einen Maschinenkühlmitteltemperatursensor; einen Drosselklappenpositionssensor; einen Kurbelwellenpositionssensor; einen Automobilmaschinensensor; einen Ventilzeitgeber; ein Luftkraftstoffverhältnismessgerät; ein Totwinkelmessgerät; einen Randsteinfühler; einen Defektdetektor; einen Hall-Effekt-Sensor; einen Krümmerabsolutdrucksensor; einen Parksensor; eine Radarpistole; einen Geschwindigkeitsmesser; einen Geschwindigkeitssensor; einen Reifendrucküberwachungssensor; einen Drehmomentsensor; einen Getriebeflüssigkeitstemperatursensor; einen Turbinendrehzahlsensor (TSS); einen variablen Reluktanzsensor bzw. Induktionsgeber; einen Fahrzeuggeschwindigkeitssensor bzw. Fahrzeugdrehzahlsensor (VSS); einen Wassersensor; einen Raddrehzahlsensor; und irgendeine andere Art eines automotiven Sensors.
In manchen Ausführungsbeispielen umfasst der Sensorsatz 170 einen oder mehrere Sensoren, die betriebsfähig sind, um die physikalische Umgebung innerhalb des Fahrzeugs 123 zu messen (das heißt „interne Sensoren“). Zum Beispiel umfasst der Sensorsatz 170 einen oder mehrere Sensoren, die eine oder mehrere physikalische Charakteristika der physikalischen Umgebung aufzeichnen, die sich innerhalb der Fahrzeugkabine des Fahrzeugs 123 befinden. Der Speicher 127 kann Kopfpositionsdaten 188 speichern, die die eine oder mehreren physikalischen Charakteristika beschreiben, die durch den Sensorsatz 170 von innerhalb der Kabine des Fahrzeugs 123 aufgezeichnet werden.
In manchen Ausführungsbeispielen umfasst das AR-System 199 Code und Routinen, die betriebsfähig sind, wenn diese durch den Prozessor 125 ausgeführt werden, um den Prozessor 125 zu veranlassen, einen oder mehrere der Schritte des Verfahrens 300 auszuführen, das nachstehend mit Bezug auf 3 beschrieben ist.
In manchen Ausführungsbeispielen kann das AR-System 199 des Fahrzeugs 123 unter Verwendung von Hardware inklusive eines feldprogrammierbaren Gate-Arrays („FPGA“, „field-programmable gate array“) oder einer anwendungsspezifischen integrierten Schaltung („ASIC“, „application-specific integrated circuit“) implementiert werden. In manch anderen Ausführungsbeispielen kann das AR-System 199 unter Verwendung einer Kombination aus Hardware und Software implementiert werden. Das AR-System 199 kann in einer Kombination der Einrichtungen (zum Beispiel Server oder andere Einrichtungen) oder in einer der Einrichtungen gespeichert sein.
Das AR-System 199 wird nachstehend detaillierter mit Bezug auf 2 bis 5 beschrieben.
Server 107
In manchen Ausführungsbeispielen ist der Server 107 ein Cloudserver, der eines oder mehrere der folgenden Elemente umfasst: das AR-System 199; die Kommunikationseinheit 145; den Prozessor 125; und den Speicher 127.
Die folgenden Elemente des Servers 107 sind die gleichen oder ähnlichen wie die, die vorstehend für das Fahrzeug 123 beschrieben wurden, sodass Beschreibungen von diesen Elementen hier nicht wiederholt werden: das AR-System 199, der Prozessor 125; der Speicher 127; und die Kommunikationseinheit 145.
In manchen Ausführungsbeispielen überträgt die Kommunikationseinheit 145 des Fahrzeugs 123 eine oder mehrere drahtlose Mitteilungen (das heißt eine oder mehrere „Anforderungsmitteilungen“) an den Server 107 in regelmäßigen Intervallen über das Netzwerk 105, die digitale Daten wie etwa die GPS-Daten 185 und die Umgebungsdaten 186 umfassen, und das AR-System 199 des Servers 107 bestimmt die graphischen Daten 187 für das Fahrzeug 123 basierend auf diesen Eingaben und, optional, anderen lokal zugreifbaren Daten wie etwa der Lichtdatenstruktur 184. Die Kommunikationseinheit 145 des Servers 107 überträgt dann die graphischen Daten 187 an die Kommunikationseinheit 145 des Fahrzeugs 123 über das Netzwerk 105 auf eine ähnliche Weise, wie die eine oder die mehreren Anforderungsmitteilungen anfänglich durch das Fahrzeug 123 empfangen wurden.
Bezugnehmend nun auf 2 ist ein Blockdiagramm dargestellt, das ein Beispiel eines Computersystems 200 inklusive eines AR-Systems 199 gemäß manchen Ausführungsbeispielen darstellt.
In manchen Ausführungsbeispielen kann das Computersystem 200 ein Spezialzweckcomputersystem umfassen, das dazu programmiert ist, einen oder mehrere Schritte eines Verfahrens 300 durchzuführen, das nachstehend mit Bezug auf 3 beschrieben ist.
In manchen Ausführungsbeispielen kann das Computersystem 200 ein Element des Servers 107 sein.
In manchen Ausführungsbeispielen kann das Computersystem 200 ein fahrzeugseitiger Fahrzeugcomputer des Fahrzeugs 123 sein.
In manchen Ausführungsbeispielen kann das Computersystem 200 eine elektronische Steuerungseinheit, eine Haupteinheit oder irgendeine andere prozessorbasierte Rechnereinrichtung des Fahrzeugs 123 umfassen.
Das Computersystem 200 kann eines oder mehrere der folgenden Elemente gemäß manchen Beispielen umfassen: das AR-System 199; den Prozessor 125; die Kommunikationseinheit 145; den Sensorsatz 170; den Speicher 127; den AR-Handschuh 196; und das AR-Headset 198. Die Komponenten des Computersystems 200 sind über einen Bus 120 kommunikativ gekoppelt.
In dem dargestellten Ausführungsbeispiel ist der Prozessor 125 mit dem Bus 120 über eine Signalleitung 238 kommunikativ gekoppelt. Die Kommunikationseinheit 145 ist mit dem Bus 120 über eine Signalleitung 246 kommunikativ gekoppelt. Der Sensorsatz 170 ist mit dem Bus 120 über eine Signalleitung 248 kommunikativ gekoppelt. Der AR-Handschuh 196 ist mit dem Bus 120 über eine Signalleitung 241 kommunikativ gekoppelt. Das AR-Headset 198 ist mit dem Bus 120 über eine Signalleitung 242 kommunikativ gekoppelt. Der Speicher 127 ist mit dem Bus 120 über eine Signalleitung 244 kommunikativ gekoppelt.
Die folgenden Elemente des Computersystems 200 wurden vorstehend mit Bezug auf 1 beschrieben, sodass deren Beschreibungen hier nicht wiederholt werden: der Prozessor 125; die Kommunikationseinheit 145; der Sensorsatz 170; der AR-Handschuh 146; das AR-Headset 198; und der Speicher 127.
Der Speicher 127 kann irgendwelche der mit Bezug auf 1 beschriebenen Daten speichern. Der Speicher 127 kann irgendwelche Daten speichern, die für das Computersystem 200 notwendig sind, um deren Funktionalität bereitzustellen.
In manchen Ausführungsbeispielen speichert der Speicher 127 Kontextdaten 299. Die Kontextdaten 299 umfassen digitale Daten, die Informationen beschreiben, die durch das AR-System 199 verwendet werden, um die Umgebungsdaten 186 zu analysieren und zu identifizieren, wie ein Interessenspunkt in der realen Welt zu identifizieren und zu beschreiben ist, basierend auf den Umgebungsdaten 186. Zum Beispiel sind die Kontextdaten 299 digitale Daten, die beschreiben, wie ein beleuchtetes Licht unter anderen Lichtern, die nicht beleuchtet sind, zu identifizieren ist, und dann die Farbe des beleuchteten Lichts zu bestimmen ist, und welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, basierend darauf, dass das Vorhandensein eines beleuchteten Lichts dieser bestimmten Farbe identifiziert wurde.
In einem Beispiel der Kontextdaten 299, wenn die Umgebungsdaten 186 digitale Daten umfassen, die angeben, dass das beleuchtete Licht grün ist, dann umfassen die Kontextdaten 299 digitale Daten, die irgendwelche Informationen beschreiben, die für das AR-System 199 notwendig sind, um zu bestimmen, dass der Fahrer „LOSFAHREN“ sollte, und so erzeugt das AR-System 199 graphische Daten 187, die betriebsfähig sind, um das AR-Headset 198 zu veranlassen, eine AR-Einblendung mit dem Wort „LOS“ anzuzeigen, das in der AR-Einblendung an einem visuellen Ort des AR-Headsets 198 dargestellt ist, der mit dem Ort des Interessenspunkts in der realen Welt korreliert ist (zum Beispiel das grüne Licht), wie er durch den Fahrer des Fahrzeugs 123 betrachtet wird.
In einem anderen Beispiel der Kontextdaten 299, wenn die Umgebungsdaten 186 digitale Daten umfassen, die angeben, dass das beleuchtete Licht gelb ist, dann umfassen die Kontextdaten 299 digitale Daten, die irgendwelche Informationen beschreiben, die für das AR-System 199 notwendig sind, um zu bestimmen, dass der Fahrer „VERLANGSAMEN“ sollte, und so erzeugt das AR-System 199 graphische Daten 187, die betriebsfähig sind, um das AR-Headset 198 zu veranlassen, eine AR-Einblendung mit dem Wort „VERLANGSAMEN“ anzuzeigen, das in der AR-Einblendung an einem visuellen Ort des AR-Headsets 198 dargestellt ist, der mit dem Ort des Interessenspunkts in der realen Welt korreliert ist (zum Beispiel das gelbe Licht), wie er durch den Fahrer des Fahrzeugs 123 betrachtet wird.
In einem anderen Beispiel der Kontextdaten 299, wenn die Umgebungsdaten 186 digitale Daten umfassen, die angeben, dass das beleuchtete Licht rot und ein Element eines Verkehrssignals oder eines Verkehrszeichens ist, dann umfassen die Kontextdaten 299 digitale Daten, die irgendwelche Informationen beschreiben, die für das AR-System 199 notwendig sind, um zu bestimmen, dass der Fahrer „STOPPEN“ sollte, und so erzeugt das AR-System 199 graphische Daten 187, die betriebsfähig sind, um das AR-Headset 198 zu veranlassen, eine AR-Einblendung mit dem Wort „STOPP“ anzuzeigen, das in der AR-Einblendung an einem visuellen Ort des AR-Headsets 198 dargestellt ist, der mit dem Ort des Interessenspunkts in der realen Welt korreliert ist (zum Beispiel das rote Licht des Verkehrssignals oder des Verkehrszeichens), wie er durch den Fahrer des Fahrzeugs 123 betrachtet wird.
In einem anderen Beispiel der Kontextdaten 299, wenn die Umgebungsdaten 186 digitale Daten umfassen, die angeben, dass das beleuchtete Licht rot und ein Element eines Fahrzeugs ist (das heißt ein Bremslicht), dann umfassen die Kontextdaten 299 digitale Daten, die dem AR-System 199 ermöglichen, zu wissen, dass der Fahrer „BREMSEN“ sollte, und so erzeugt das AR-System 199 graphische Daten 187, die betriebsfähig sind, um das AR-Headset 198 zu veranlassen, eine AR-Einblendung mit dem Wort „BREMSEN“ anzuzeigen, das in der AR-Einblendung an einem visuellen Ort des AR-Headsets 198 dargestellt ist, der mit dem Ort des Interessenspunkts in der realen Welt korreliert ist (zum Beispiel das rote Licht des Fahrzeugs), wie er durch den Fahrer des Fahrzeugs 123 betrachtet wird. Es sei angemerkt, dass die Kontextdaten 299 Aktionen eines Bremslichts und eines Stopplichts mit den Wörtern „BREMSEN“ und „STOPP“ unterscheiden, da, wenn ein Bremsen wegen Bremslichtern vorgenommen wird, der Fahrer manchmal verlangsamt, aber nicht stoppt.
In dem dargestellten Ausführungsbeispiel, das in 2 gezeigt ist, umfasst das AR-System 199 ein Kommunikationsmodul 202. Das Kommunikationsmodul 202 kann Software sein, inklusive Routinen zum Handhaben von Kommunikationen zwischen dem AR-System 199 und anderen Komponenten des Computersystems 200. In manchen Ausführungsbeispielen kann das Kommunikationsmodul 202 ein Satz von Anweisungen sein, der durch den Prozessor 125 ausführbar ist, um die nachstehend beschriebene Funktionalität zum Handhaben von Kommunikationen zwischen dem AR-System 199 und anderen Komponenten des Computersystems 200 bereitzustellen.
Das Kommunikationsmodul 202 sendet und empfängt Daten über die Kommunikationseinheit 145 an und von einem oder mehreren Elementen der Operationsumgebung 100. Zum Beispiel empfängt oder überträgt das Kommunikationsmodul 202 über die Kommunikationseinheit 145 eines oder mehrere der folgenden Elemente: die Lichtdatenstruktur 184; die GPS-Daten 185; die Umgebungsdaten 186; die graphischen Daten 187; die Kopfpositionsdaten 188; und die Kontextdaten 299. Das Kommunikationsmodul 202 kann irgendwelche der Daten oder Mitteilungen, die vorstehend mit Bezug auf 1 oder nachstehend mit Bezug auf 3 beschrieben sind, über die Kommunikationseinheit 145 senden oder empfangen.
In manchen Ausführungsbeispielen empfängt das Kommunikationsmodul 202 Daten von Komponenten des AR-Systems 199 und speichert die Daten in dem Speicher 127 (oder einem Puffer oder Cache des AR-Handschuhs 196). Zum Beispiel empfängt das Kommunikationsmodul 202 irgendwelche der vorstehend mit Bezug auf den Speicher 127 beschriebenen Daten von der Kommunikationseinheit 145 (über das Netzwerk 105) und speichert diese Daten in dem Speicher 127 (oder einem Puffer oder Cache des AR-Handschuhs 196).
In manchen Ausführungsbeispielen kann das Kommunikationsmodul 202 Kommunikationen zwischen Komponenten des AR-Systems 199 handhaben.
In manchen Ausführungsbeispielen kann das Kommunikationsmodul 202 in dem Speicher 127 des Computersystems 200 gespeichert sein und kann durch den Prozessor 125 zugreifbar und ausführbar sein. Das Kommunikationsmodul 202 kann zur Kooperation und Kommunikation mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 222 angepasst sein.
Bezugnehmend nun auf 3 ist ein Ablaufdiagramm eines Beispiels eines Verfahrens 300 zum Bereitstellen einer AR-basierten Assistenz für einen farbenblinden Fahrer gemäß manchen Ausführungsbeispielen dargestellt.
Einer oder mehrere der Schritte, die hierin für das Verfahren 300 beschrieben sind, können durch eines oder mehrere Computersysteme 200 ausgeführt werden.
In Schritt 303 identifiziert das AR-System den Ort des Fahrzeugs unter Verwendung der GPS-Einheit des Fahrzeugs. Der Ort wird durch GPS-Daten beschrieben. In manchen Ausführungsbeispielen ist die GPS-Einheit eine DSRC-konforme GPS-Einheit und sind die GPS-Daten DSRC-konforme GPS-Daten, die eine Genauigkeit von plus oder minus 1,5 Metern relativ zu dem tatsächlichen Ort des Fahrzeugs in der realen Welt aufweisen.
In Schritt 305 erzeugt das AR-System Umgebungsdaten unter Verwendung der externen Sensoren des Fahrzeugs. Die Umgebungsdaten beschreiben die Umgebung außerhalb des Fahrzeugs.
In Schritt 307 analysiert das AR-System eine oder mehrere der GPS-Daten, der Umgebungsdaten und der Kontextdaten, um zu identifizieren, ob die Fahrumgebung eine oder mehrere beleuchtete Verkehrslichter oder Bremslichter umfasst, und wenn dies so ist, werden diese als „einer oder mehrere Interessenspunkte“ bezeichnet. In manchen Ausführungsbeispielen speichert der Speicher eine Lichtdatenstruktur (zum Beispiel eine Tabelle oder manch andere digitale Datenstruktur), die digitale Daten umfasst, die den Breitengrad und Längengrad für unterschiedliche Verkehrslichter in einem geographischen Bereich beschreiben. Das AR-System vergleicht die GPS-Daten mit den digitalen Daten, die in der Lichtdatenstruktur gespeichert sind, um zu identifizieren, ob der momentane geographische Ort für das Fahrzeug dem Ort eines Verkehrslichts entspricht. In manchen Ausführungsbeispielen verlässt sich das AR-System nicht auf die Lichtdatenstruktur, um alle Arten von Lichtern zu identifizieren. Zum Beispiel können Bremslichter eines zweiten Fahrzeugs durch das AR-System basierend auf den Umgebungsdaten alleine identifiziert werden, ohne Bezug auf die digitalen Daten, die in der Lichtdatenstruktur gespeichert sind.
In Schritt 308 bestimmt das AR-System graphische Daten für einen oder mehrere Interessenspunkte. Die graphischen Daten beschreiben eine oder mehrere AR-Einblendungen, die dazu konfiguriert sind, die Farbblindheit des Fahrers spezifisch mit Bezug auf die bestimmte Farbe, die in einem oder mehreren der Interessenspunkte umfasst ist, zu lindern.
In Schritt 309 veranlasst das AR-System das AR-System dazu, eine oder mehrere graphische Einblendungen anzuzeigen, die graphische Informationen auf solch eine Weise umfassen, um den farbenblinden Fahrer zu unterstützen.
Experimente zeigen, dass das AR-System 199 das Verfahren 300 in Echtzeit oder fast in Echtzeit relativ zu dem Auftreten eines beleuchteten Lichts in der Fahrumgebung des Fahrzeugs ausführt.
Bezugnehmend nun auf 4A bis 4E sind Beispiele von graphischen Einblendungen dargestellt, die durch das AR-System gemäß manchen Ausführungsbeispielen bereitgestellt werden.
Es wird auf 4A Bezug genommen. Ein vertikal ausgerichtetes Verkehrssignal 499 umfasst drei Lichter: ein rotes Licht 415; ein gelbes Licht 420; und ein grünes Licht 425. In 4A geben die Umgebungsdaten 186 an, dass das grüne Licht 425 beleuchtet ist. Optional gibt eine DSRC-Mitteilung, die durch das vertikal ausgerichtete Verkehrssignal 499 übertragen wird, an, dass das grüne Licht 425 beleuchtet ist. Die Kontextdaten 299 beschreiben, welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, das heißt, ob er ein Fahren beginnen oder ein Fahren fortsetzen sollte. Dementsprechend erzeugt das AR-System 199 graphische Daten 187, die das AR-Headset 198 veranlassen, eine AR-Einblendung 401 für das grüne Licht 425 darzustellen, die das Wort „LOS“ oder irgendeine andere Variante einer Schreibweise dieses Wortes darstellt, um diese Aktion zu beschreiben (zum Beispiel „Los“, „los“, usw.).
Es wird auf 4B Bezug genommen. Die Umgebungsdaten 186 geben an, dass das gelbe Licht 420 beleuchtet ist. Optional gibt eine DSRC-Mitteilung, die durch das vertikal ausgerichtete Verkehrssignal 499 übertragen wird, an, dass das gelbe Licht 420 beleuchtet ist. Die Kontextdaten 299 beschreiben, welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, das heißt, dass er verlangsamen sollte (das heißt langsamer werden sollte), als Vorbereitung darauf, dass das rote Licht beleuchtet wird. Dementsprechend erzeugt das AR-System 199 graphische Daten 187, die das AR-Headset 198 veranlassen, eine AR-Einblendung 402 für das gelbe Licht 420 darzustellen, die das Wort „VERLANGSAMEN“ oder irgendeine andere Variante einer Schreibweise dieses Wortes darstellt, um diese Aktion zu beschreiben.
Es wird auf 4C Bezug genommen. Die Umgebungsdaten 186 geben an, dass das rote Licht 415 beleuchtet ist. Optional gibt eine DSRC-Mitteilung, die durch das vertikal ausgerichtete Verkehrssignal 499 übertragen wird, an, dass das rote Licht 415 beleuchtet ist. Die Kontextdaten 299 beschreiben, welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, das heißt, dass er stoppen sollte. Dementsprechend erzeugt das AR-System 199 graphische Daten 187, die das AR-Headset 198 veranlassen, eine AR-Einblendung 403 für das rote Licht 415 darzustellen, die das Wort „STOPP“ oder irgendeine andere Variante einer Schreibweise dieses Wortes darstellt, um diese Aktion zu beschreiben.
Es wird auf 4D Bezug genommen. Ein horizontal ausgerichtetes Verkehrssignal 498 umfasst drei Lichter: ein rotes Licht 415; ein gelbes Licht 420; und ein grünes Licht 425. In 4D geben die Umgebungsdaten 186 an, dass das rote Licht 415 beleuchtet ist. Optional gibt eine DSRC-Mitteilung, die durch das horizontal ausgerichtete Verkehrssignal 498 übertragen wird, an, dass das rote Licht 415 beleuchtet ist. Die Kontextdaten 299 beschreiben, welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, das heißt, dass er stoppen sollte. Dementsprechend erzeugt das AR-System 199 graphische Daten 187, die das AR-Headset 198 veranlassen, eine AR-Einblendung 403 für das rote Licht 415 darzustellen, die das Wort „STOPP“ oder irgendeine andere Variante einer Schreibweise dieses Wortes darstellt, um diese Aktion zu beschreiben.
Es wird auf 4E Bezug genommen. Ein zweites Fahrzeug fährt vor einem Ego-Fahrzeug bzw. Bezugsfahrzeug. Das zweite Fahrzeug kann durch den Fahrer des Bezugsfahrzeugs betrachtet werden, wenn dieser durch eine 3D-HUD schaut. Das zweite Fahrzeug umfasst ein erstes Bremslicht 421 und ein zweites Bremslicht 422. In 4D geben die Umgebungsdaten 186 an, dass das erste Bremslicht 421 und das zweite Bremslicht 422 beleuchtet sind. Optional gibt eine DSRC-Mitteilung, die durch das zweite Fahrzeug übertragen wird, an, dass das erste Bremslicht 421 und das zweite Bremslicht 422 beleuchtet sind. Die Kontextdaten 299 beschreiben, welche Aktion der Fahrer des Fahrzeugs 123 vornehmen sollte, das heißt, dass er ein Bremsen des Bezugsfahrzeugs beginnen sollte. Dementsprechend erzeugt da AR-System 199 graphische Daten 187, die die 3D-HUD veranlassen, eine erste AR-Einblendung 405 und eine zweite AR-Einblendung 404 entsprechend für das erste Bremslicht 421 und das zweite Bremslicht 422 dazustellen, die jeweils das Wort „BREMSEN“ oder irgendeine andere Variante einer Schreibweise dieses Worts darstellen, um diese Aktion zu beschreiben.
Bezugnehmend auf 5 ist ein Blockdiagramm dargestellt, das ein AR-Headset 198 in Ausführungsbeispielen darstellt, in denen das AR-Headset 198 eine 3D-HUD ist.
In manchen Ausführungsbeispielen umfasst die 3D-HUD einen Projektor 1001, einen beweglichen Bildschirm 1002, eine Bildschirmantriebseinheit 1003, ein optisches System (inklusive Linsen 1004, 1006, eines Reflektors 1005, usw.). Der Projektor 1001 kann irgendeine Art eines Projektors wie etwa ein DMD-Projektor („Digital Mirror Device“-Projektor), ein Flüssigkristallprojektor sein. Der Projektor 1001 projiziert eine AR-Einblendung bzw. AR-Überlagerung 1008 auf den beweglichen Bildschirm 1002. Die AR-Einblendung 1008 kann ein virtuelles Objekt umfassen, das drei Dimensionen aufweist und visuell erscheint, als ob es in der realen Welt existiert, wenn es durch den Fahrer des Fahrzeugs betrachtet wird. Zum Beispiel betrachtet der Fahrer die AR-Einblendung 1008 und dies erscheint für den Fahrer als ein Objekt der realen Welt und nicht als ein Bild eines Objekts der realen Welt, das drei Dimensionen aufweist und in der gleichen physikalischen Realität wie der Fahrer vorhanden ist.
Der bewegliche Bildschirm 1002 umfasst eine transparente Platte und das Licht des projizierten Bildes durchläuft den beweglichen Bildschirm 1002, um auf die Windschutzscheibe 1007 eines Fahrzeugs (zum Beispiel des Fahrzeugs 123) projiziert zu werden. Das Bild, das auf die Windschutzscheibe 1007 projiziert wird, wird durch einen Fahrer 1010 wahrgenommen, als wenn es ein reales Objekt wäre (als 1011a, 1011b gezeigt), das in dem dreidimensionalen Raum der realen Welt existiert, entgegengesetzt zu einem Objekt, das auf die Windschutzscheibe projiziert wird.
In manchen Ausführungsbeispielen ist die 3D-HUD dazu in der Lage, die Richtung des Bildes relativ zu dem Fahrer 1010 (mit anderen Worten die Bildposition auf der Windschutzscheibe) durch Anpassen der Projektionsposition auf dem Bildschirm 1002 zu steuern. Weiterhin ist der Bildschirm 1002 durch die Bildschirmantriebseinheit 1003 in dem Bereich zwischen den Positionen 1003a und 1003b beweglich. Ein Anpassen der Position des Bildschirms 1002 kann die Tiefe (den Abstand) des projizierten Bildes von dem Fahrer 1010 in der realen Welt variieren. In einem Beispiel kann der bewegliche Bereich des Bildschirms 1002 (der Abstand zwischen Positionen 1003a und 1003b) gleich 5 mm sein, was einem Bereich von 5 m bis zu unendlich in der realen Welt entspricht. Die Verwendung der 3D-HUD ermöglicht dem Fahrer 1010, das projizierte Bild als in der realen Welt (dem dreidimensionalen Raum) existierend wahrzunehmen. Wenn zum Beispiel ein Bild an der gleichen dreidimensionalen Position (oder im Wesentlichen zumindest der gleichen Tiefe) wie ein reales Objekt (wie etwa zum Beispiel ein Fußgänger, ein Fahrzeug, usw.) projiziert wird, muss der Fahrer einen Augenfokus nicht anpassen, um das projizierte Bild zu betrachten, was ein einfaches Begreifen des projizierten Bildes während des Betrachtens des realen Objekts ermöglicht.
Die 3D-HUD, die in 5 dargestellt ist, ist als Beispiel bereitgestellt. Andere Beispiele sind möglich. Diese Beispiele umfassen Head-up-Anzeigen, die eine geringere oder größere Komplexität als die 3D-HUD aufweisen, die in 5 dargestellt ist. Zum Beispiel wird erwartet, dass es in der Zukunft Head-up-Anzeigen geben wird, die keine beweglichen Teile erfordern, wie etwa den beweglichen Bildschirm 1002. Zum Beispiel kann ein statischer Bildschirm eingesetzt werden, der sich nicht bewegt. Die eingesetzte Head-up-Anzeige könnte keine zweidimensionale Head-up-Anzeige sein. In manchen Ausführungsbeispielen sind das AR-System 199 und die graphischen Daten 187, die vorstehend mit Bezug auf 1 bis 4E beschrieben sind, entworfen, um mit solchen Komponenten betriebsfähig zu sein.
In der vorstehenden Beschreibung wurden zum Zweck der Erklärung zahlreiche spezifische Details dargelegt, um ein volles Verständnis der Spezifikation bereitzustellen. Es wird jedoch durch den Fachmann anerkannt, dass die Offenbarung ohne diese spezifischen Details praktiziert werden kann. In manchen Fällen sind Strukturen und Einrichtungen in Blockdiagrammform gezeigt, um eine Unklarheit der Beschreibung zu vermeiden. Zum Beispiel können die vorliegenden Ausführungsbeispiele, die vorstehend beschrieben sind, hauptsächlich mit Bezug auf Benutzerschnittstellen und bestimmte Hardware beschrieben werden. Jedoch können die vorliegenden Ausführungsbeispiele auf irgendeine Art eines Computersystems, das Daten und Anweisungen empfangen kann, und irgendeine periphere Einrichtung, die Dienste bereitstellt, angewendet werden.
Eine Bezugnahme in der Spezifikation auf „manche Ausführungsbeispiele“ oder „manche Fälle“ bedeutet, dass ein bestimmtes Merkmal, Struktur oder Charakteristik, die in Verbindung mit Ausführungsbeispielen oder Fällen beschrieben ist, in zumindest einem Ausführungsbeispiel der Erfindung enthalten sein kann. Das Erscheinen des Ausdrucks „in manchen Ausführungsbeispielen“ an verschiedenen Stellen in der Spezifikation betrifft nicht notweniger Weise die gleichen Ausführungsbeispiele.
Manche Abschnitte der detaillierten Beschreibungen, die folgen, sind hinsichtlich des Algorithmus und symbolischen Darstellungen von Operationen bezüglich Datenbits innerhalb eines Computerspeichers präsentiert. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die durch den Fachmann in dem Bereich der Datenverarbeitung verwendet werden, um die Substanz ihrer Arbeit den anderen Fachmännern darzulegen. Ein Algorithmus wird hier und im Allgemeinen als eine in sich stimmige Abfolge von Schritten betrachtet, die zu einem gewünschten Ergebnis führt. Die Schritte sind die, die eine physikalische Manipulation von physikalischen Größen erfordert. Üblicherweise, obwohl es nicht notwendig ist, nehmen diese Größen die Form von elektrischen oder magnetischen Signalen an, die dazu in der Lage sind, gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert zu werden. Es hat sich zeitweise als komfortabel erwiesen, prinzipiell aus Gründen der üblichen Verwendung, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Ausdrücke, Zahlen oder Ähnliches zu verweisen.
Es sollte jedoch berücksichtigt werden, dass all diese und ähnliche Ausdrücke mit geeigneten physikalischen Größen zu verknüpfen sind und lediglich angenehme Bezeichnungen sind, die auf diese Größen angewendet werden. Solange es nicht anderweitig dargelegt ist, wie von der folgenden Diskussion offensichtlich ist, wird anerkannt, dass in der gesamten Beschreibung Diskussionen unter Verwendung der Ausdrücke, die „Verarbeiten“ oder „Rechnen“ oder „Berechnen“ oder „Bestimmen“ oder „Anzeigen“ oder Ähnliches umfassen, auf die Aktion und Prozesse eines Computersystems oder einer ähnlichen elektronischen Rechnereinrichtung Bezug nehmen, die Daten manipuliert und transformiert, die als physikalische (elektronische) Größen innerhalb des Computersystemregisters und - speichers dargestellt sind, in andere Daten, die auf ähnliche Weise als physikalische Größen innerhalb des Computersystemspeichers oder -registers dargestellt sind, oder andere solche Informationsspeicher, Übertragung oder Anzeigeeinrichtungen.
Die vorliegenden Ausführungsbeispiele der Spezifikation können sich ebenso auf eine Vorrichtung zum Durchführen der Operationen hierin beziehen. Diese Vorrichtung kann für den erforderlichen Zweck speziell konstruiert sein oder kann ein Allzweckcomputer sein, der selektiv aktiviert und durch ein Computerprogramm, das in dem Computer gespeichert ist, rekonfiguriert wird. Solch ein Computerprogramm kann in einem computerlesbaren Speichermedium aufgezeichnet werden, das umfasst, aber nicht beschränkt ist auf, irgendeine Art einer Platte, inklusive Disketten, optischen Disketten, CD-ROMs und magnetischen Platten, Festwertspeichern (ROMs), Direktzugriffspeichern (RAMs), EPROMs, EEPROMs, magnetische oder optische Karten, Flashspeicher inklusive USB-Sticks mit einem nichtflüchtigen Speicher, oder irgendeine andere Art von Medien, die zum Speichern von elektronischen Anweisungen geeignet sind, die jeweils mit einem Computersystembus gekoppelt sind.
Die Spezifikation kann die Form von manchen ganzheitlichen Hardwareausführungsbeispielen, manchen ganzheitlichen Softwareausführungsbeispielen oder manchen Ausführungsbeispielen, die sowohl Hardware als auch Softwareelemente umfassen, annehmen. In solchen bevorzugten Ausführungsbeispielen wird die Spezifikation in Software implementiert, die zum Beispiel umfasst aber nicht beschränkt ist auf, Firmware, Betriebssoftware (resident software), Microcode usw.
Des Weiteren kann die Beschreibung die Form eines Computerprogrammprodukts annehmen, das von einem computerverwendbaren oder computerlesbaren Medium zugreifbar ist, das einen Programmcode bereitstellt zur Verwendung durch oder in Verbindung mit einem Computer oder irgendeinem Anweisungsausführungssystem. Zum Zweck dieser Beschreibung kann ein computerverwendbares oder computerlesbares Medium irgendeine Vorrichtung sein, die das Programm speichern, kommunizieren, propagieren oder transportieren kann, zur Verwendung durch oder in Verbindung mit dem Anweisungsausführungssystem, der Vorrichtung oder Einrichtung.
Ein Datenverarbeitungssystem, das zum Speichern oder Ausführen von Programmcode geeignet ist, wird zumindest einem Prozessor, der direkt oder indirekt mit Speicherelementen durch einen Systembus verbunden ist, umfassen. Die Speicherelemente können einen lokalen Speicher umfassen, der während einer tatsächlichen Ausführung des Programmcodes eingesetzt wird, einen Massenspeicher und Cache-Speicher, die eine vorübergehende Speicherung von zumindest gewissen Programmcodes bereitstellen, um die Anzahl zu reduzieren, wie oft der Code von dem Massenspeicher während der Ausführung abgerufen werden muss.
Eingabe-/Ausgabeeinrichtungen oder I/O-Einrichtungen (inklusive aber nicht beschränkend auf Tastaturen, Anzeigen, Zeigereinrichtungen usw.) können mit dem System entweder direkt oder unter Verwendung von I/O-Steuerungen gekoppelt sein.
Netzwerkadapter können ebenso mit dem System gekoppelt sein, um dem Datenverarbeitungssystem zu ermöglichen, mit anderen Datenverarbeitungssystemen oder entfernten Druckern oder Speichereinrichtungen durch dazwischenliegende private oder öffentliche Netzwerke gekoppelt zu werden. Modems, ein Kabelmodem und Ethernetkarten sind nur ein paar der momentan verfügbaren Arten von Netzwerkadaptern.
Schließlich sind die hierin präsentierten Algorithmen und Anzeigen nicht inhärent auf irgendeinen bestimmten Computer oder irgendeine Vorrichtung bezogen. Verschiedene Mehrzwecksysteme können mit Programmen gemäß den hierin beschriebenen Lehren verwendet werden, oder es kann sich als vorteilhaft erweisen, spezialisierte Vorrichtungen zum Durchführen der erforderlichen Verfahrensschritte zu konstruieren. Die erforderliche Struktur für eine Vielzahl dieser Systeme wird von der nachstehenden bzw. vorstehenden Beschreibung in Erscheinung treten. Zusätzlich ist die Spezifikation nicht mit Bezug auf irgendeine bestimmte Programmiersprache beschrieben. Es ist anzuerkennen, dass eine Vielzahl von Programmiersprachen verwendet werden kann, um die Lehren der hierin beschriebenen Spezifikation zu implementieren.
Die vorgehende Beschreibung von Ausführungsbeispielen der Spezifikation wurde zum Zweck der Darstellung und Beschreibung präsentiert. Diese ist nicht dazu gedacht, erschöpfend zu sein oder die Spezifikation auf die präzise offenbarte Form zu beschränken. Viele Modifikationen und Variationen sind im Lichte der vorstehenden Lehre möglich. Es ist gedacht, dass der Umfang der Offenbarung nicht durch die detaillierte Beschreibung beschränkt ist, sondern durch die Ansprüche dieser Anmeldung. Wie durch den Fachmann verstanden wird, kann die Spezifikation auf andere spezifische Formen verkörpert werden, ohne sich vom Geist oder essentiellen Charakteristika von dieser zu entfernen. Auf ähnliche Weise sind die bestimmte Namensgebung und Aufteilung der Module, Routinen, Merkmale, Attribute, Methoden und andere Aspekte nicht zwingend oder signifikant, und die Mechanismen, die die Spezifikation oder deren Merkmale implementieren, können unterschiedliche Namen, Aufteilungen oder Formate aufweisen. Des Weiteren, wie für den Fachmann offensichtlich ist, können die Module, Routinen, Merkmale, Attribute, Methoden und andere Aspekte der Offenbarung als Software, Hardware, Firmware oder irgendeine Kombination von diesen dreien implementiert werden. Ebenso, wo auch immer eine Komponente, wie zum Beispiel ein Modul der Spezifikation als Software implementiert ist, kann die Komponente als ein eigenständiges Programm, als ein Teil eines größeren Programms, als eine Vielzahl von separaten Programmen, als eine statische oder dynamisch verlinkte Bibliothek, als ein Kernel-ladbares Modul, als ein Einrichtungstreiber, oder auf irgendeine andere bekannte Weise, die dem Fachmann für Computerprogrammierung jetzt oder in der Zukunft bekannt ist, verkörpert werden. Zusätzlich ist die Offenbarung in keiner Weise auf ein Ausführungsbeispiel in irgendeiner spezifischen Programmiersprache beschränkt, oder auf irgendein spezifisches Betriebssystem oder eine spezifische Umgebung. Dementsprechend ist die Offenbarung dazu gedacht, den Umfang der Spezifikation darzustellen und nicht zu beschränken, wie dieser in den folgenden Ansprüchen dargelegt ist.
Die Offenbarung umfasst Ausführungsbeispiele zum Bereitstellen einer graphischen Einblendung, die Spurlinien darstellt, an ein Fahrzeug inklusive einer Betrachtungseinrichtung für erweiterte Realität („AR“). Ein Verfahren gemäß manchen Ausführungsbeispielen umfasst ein Bestimmen, ob Umgebungsdaten angeben, dass ein Fahrer eines Fahrzeugs Spurlinien auf einer Straße vor dem Fahrzeug erkennen kann. Das Verfahren umfasst, als Reaktion darauf, dass die Umgebungsdaten nicht angeben, dass der Fahrer des Fahrzeugs die Spurlinien identifizieren kann, Erzeugen von Liniendaten basierend auf den Umgebungsdaten und Daten eines globalen Positionierungssystems, GPS-Daten. Das Verfahren umfasst ein Erzeugen von AR-Daten basierend auf den Liniendaten. Das Verfahren umfasst ein Bereitstellen der AR-Daten an die AR-Betrachtungseinrichtung. Das Verfahren umfasst ein Bestimmen, basierend auf Kopfpositionsdaten, die mit der AR-Betrachtungseinrichtung verknüpft sind, die AR-Betrachtungseinrichtung anzuweisen, eine graphische Einblendung, die die Spurlinien darstellt, anzuzeigen.
Die Offenbarung umfasst Ausführungsbeispiele zum Bereitstellen einer Fahrzeugassistenz einer erweiterten Realität („AR“) für Fahrer, die farbenblind sind. Ein Verfahren gemäß manchen Ausführungsbeispielen umfasst ein Identifizieren eines beleuchteten Lichts in einer Fahrumgebung eines Fahrzeugs, das ein AR-Headset umfasst. Das Verfahren umfasst weiterhin ein Bestimmen einer Fahrzeugaktion, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist. Das Verfahren umfasst weiterhin eine Anzeige einer AR-Einblendung unter Verwendung des AR-Headsets, die ein Wort darstellt, das die Fahrzeugaktion beschreibt, die als Reaktion darauf, dass das beleuchtete Licht identifiziert wird, vorzunehmen ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14/471387 [0060]
US 14471387 [0061]

Zitierte Nicht-Patentliteratur

IEEE 802.11 [0060]
IEEE 802.16 [0060]
EN ISO 14906:2004 [0060, 0066]
EN 11253:2004 [0060]
EN 12795:2002 [0060]
EN 12834:2002 [0060]
EN 13372:2004 [0060]

Claims

Verfahren für ein Fahrzeug mit einem Headset für erweiterte Realität („AR“), wobei das Verfahren aufweist: Identifizieren eines beleuchteten Lichts in einer Fahrumgebung des Fahrzeugs; Bestimmen einer Fahrzeugaktion, die als Reaktion darauf vorzunehmen ist, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird; und Anzeigen einer AR-Einblendung unter Verwendung des AR-Headsets, die visuell ein Wort darstellt, das die Fahrzeugaktion beschreibt, die als Reaktion darauf vorzunehmen ist, dass das beleuchtete Licht identifiziert wird.
Verfahren gemäß Anspruch 1, wobei das beleuchtete Licht aus einer Gruppe ausgewählt wird, die das Folgende umfasst: ein rotes Licht eines Verkehrssignals; ein rotes Licht eines Bremslichts; ein gelbes Licht eines Verkehrssignals; und ein grünes Licht eines Verkehrssignals.
Verfahren gemäß Anspruch 1 oder 2, wobei das Wort aus einer Gruppe ausgewählt wird, die das Folgende umfasst: „STOPP“ für ein rotes Licht eines Verkehrssignals; „BREMSEN“ für ein rotes Licht eines Bremslichts; „VERLANGSAMEN“ für ein gelbes Licht eines Verkehrssignals; und „LOS“ für ein grünes Licht eines Verkehrssignals.
Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das beleuchtete Licht basierend auf digitalen Daten identifiziert wird, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, wobei die digitalen Daten das beleuchtete Licht beschreiben.
Verfahren gemäß einem der Ansprüche 1 bis 4, wobei das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese visuell erscheint, als ob diese in der realen Welt drei Dimensionen aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das AR-Headset eine AR-Brille ist.
Verfahren gemäß einem der Ansprüche 1 bis 6, wobei die AR-Einblendung aus Text für ein Wort besteht, das die Fahrzeugaktion beschreibt.
Verfahren gemäß einem der Ansprüche 1 bis 7, wobei das Verfahren in Echtzeit relativ zu der Identifikation des beleuchteten Lichts ausgeführt wird.
System eines Fahrzeugs, mit: einem Headset für erweiterte Realität („AR“); und einem fahrzeugseitigen Fahrzeugcomputersystem, das mit dem AR-Headset kommunikativ gekoppelt ist, wobei das fahrzeugseitige Fahrzeugcomputersystem einen nichtflüchtigen Speicher umfasst, der Computercode speichert, der, wenn dieser durch das fahrzeugseitige Fahrzeugcomputersystem ausgeführt wird, das fahrzeugseitige Fahrzeugcomputersystem veranlasst, um: ein beleuchtetes Licht in einer Fahrumgebung des Fahrzeugs zu identifizieren; eine Fahrzeugaktion zu bestimmen, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist; und das AR-Headset zu veranlassen, eine AR-Einblendung anzuzeigen, die visuell ein Wort darstellt, das die Fahrzeugaktion beschreibt, die als Reaktion darauf vorzunehmen ist, dass das beleuchtete Licht identifiziert wird.
System gemäß Anspruch 9, wobei das beleuchtete Licht basierend auf Messungen der Fahrumgebung identifiziert wird, die durch einen oder mehrere fahrzeugseitige Sensoren des Fahrzeugs aufgezeichnet werden.
System gemäß Anspruch 9 oder 10, wobei das beleuchtete Licht basierend auf digitalen Daten identifiziert wird, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, wobei die digitalen Daten das beleuchtete Licht beschreiben.
System gemäß einem der Ansprüche 9 bis 11, wobei das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese visuell erscheint, als ob diese in der realen Welt drei Dimensionen aufweist.
System gemäß einem der Ansprüche 9 bis 12, wobei das AR-Headset eine AR-Brille ist.
System gemäß einem der Ansprüche 9 bis 13, wobei die AR-Einblendung aus Text für ein Wort besteht, das die Fahrzeugaktion beschreibt.
System gemäß einem der Ansprüche 9 bis 14, wobei die AR-Einblendung in Echtzeit relativ zu der Identifikation des beleuchteten Lichts angezeigt wird.
Computerprogrammprodukt mit einem nichtflüchtigen Speicher eines fahrzeugseitigen Fahrzeugcomputersystems eines Fahrzeugs, der computerausführbaren Code speichert, der, wenn dieser durch das fahrzeugseitige Fahrzeugcomputersystem ausgeführt wird, das fahrzeugseitige Fahrzeugcomputersystem veranlasst, um: ein beleuchtetes Licht in einer Fahrumgebung des Fahrzeugs zu identifizieren; eine Fahrzeugaktion zu bestimmen, die als Reaktion darauf, dass das beleuchtete Licht in der Fahrumgebung des Fahrzeugs identifiziert wird, vorzunehmen ist; und eine Einblendung einer erweiterten Realität („AR“) auf einem AR-Headset des Fahrzeugs anzuzeigen, die visuell ein Wort darstellt, das die Fahrzeugaktion beschreibt, die als Reaktion darauf vorzunehmen ist, dass das beleuchtete Licht identifiziert wird.
Computerprogrammprodukt gemäß Anspruch 16, wobei das beleuchtete Licht basierend auf Messungen der Fahrumgebung identifiziert wird, die durch einen oder mehrere fahrzeugseitige Sensoren des Fahrzeugs aufgezeichnet werden.
Computerprogrammprodukt gemäß Anspruch 16 oder 17, wobei das beleuchtete Licht basierend auf digitalen Daten identifiziert wird, die in einer dedizierten Nahbereichskommunikationsmitteilung enthalten sind, die durch das Fahrzeug empfangen wird, wobei die digitalen Daten das beleuchtete Licht beschreiben.
Computerprogrammprodukt gemäß einem der Ansprüche 16 bis 18, wobei das AR-Headset eine dreidimensionale Head-up-Anzeigeeinheit ist, die betriebsfähig ist, um die AR-Einblendung anzuzeigen, sodass diese visuell erscheint, als ob diese in der realen Welt drei Dimensionen aufweist.
Computerprogrammprodukt gemäß einem der Ansprüche 16 bis 19, wobei die AR-Einblendung aus einem Text für ein Wort besteht, das die Fahrzeugaktion beschreibt.