Nothing Special   »   [go: up one dir, main page]

DE102010013356B4 - Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe - Google Patents

Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe Download PDF

Info

Publication number
DE102010013356B4
DE102010013356B4 DE102010013356.6A DE102010013356A DE102010013356B4 DE 102010013356 B4 DE102010013356 B4 DE 102010013356B4 DE 102010013356 A DE102010013356 A DE 102010013356A DE 102010013356 B4 DE102010013356 B4 DE 102010013356B4
Authority
DE
Germany
Prior art keywords
vehicle
driver
display
operator
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010013356.6A
Other languages
English (en)
Other versions
DE102010013356A1 (de
Inventor
Joseph F. Szczerba
Dehua Cui
Thomas A. Seder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/417,077 external-priority patent/US8629903B2/en
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102010013356A1 publication Critical patent/DE102010013356A1/de
Application granted granted Critical
Publication of DE102010013356B4 publication Critical patent/DE102010013356B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Emergency Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Abstract

Verfahren zum Alarmieren hinsichtlich eines Fahrermüdigkeitszustands an einer transparenten Frontscheiben-Head-Up-Anzeige (150) eines Fahrzeugs (100), wobei das Verfahren umfasst, dass: ein Sensor überwacht wird, der ausgestaltet ist, um einen Fahrer des Fahrzeugs (100) zu beobachten; ein Auftreten eines Blickverhaltens des Fahrers überwacht wird, das eine Müdigkeit angibt, wobei der Fahrermüdigkeitszustand auf der Grundlage des Überwachens des Sensors ermittelt wird, wenn sich ein Blickort des Fahrers während einer Zeitperiode nicht ändert, wenn eine oder mehrere Grafiken an der transparenten Frontscheiben-Head-Up-Anzeige (150) an einem Ort außerhalb des Blickorts des Fahrers angezeigt werden; und hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige (150) auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands alarmiert wird; und wobei das Alarmieren hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige (150) auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands umfasst, dass eine Grafik angezeigt wird, die ausgewählt wird, um die Aufmerksamkeit des Fahrers zu erregen; und wobei die transparente Frontscheiben-Head-Up-Anzeige (150) eine Anzeige umfasst, die Licht emittierende Partikel (22) oder Mikrostrukturen (26) über einem vordefinierten Gebiet einer Frontscheibe umfasst, die eine lumineszierende Anzeige zulassen, während eine Sicht durch die Frontscheibe zugelassen wird.

Description

  • TECHNISCHES GEBIET
  • Diese Offenbarung bezieht sich auf eine grafische Abbildung an einer Frontscheibe in einem Kraftfahrzeug.
  • HINTERGRUND
  • Die Aussagen in diesem Abschnitt stellen lediglich eine Hintergrundinformation bereit, die mit der vorliegenden Offenbarung in Beziehung steht, und müssen nicht unbedingt Stand der Technik darstellen.
  • Eine Darstellung einer Information für den Bediener eines Fahrzeugs auf eine effektive Weise ist erwünscht und reduziert die Beanspruchung des Bedieners. Es sind Anzeigetechniken bekannt, bei denen Licht an eine Projektionsfläche projiziert wird, und das Licht wird an der Projektionsfläche in eine sichtbare Anzeige umgewandelt. Bei einer Anwendung auf Transportanwendungen sind solche Anzeigen als Head-Up-Anzeigen bekannt, wobei eine Information an einen Blendschutz, eine Projektionsfläche zwischen dem Bediener und einer Frontscheibe oder direkt an die Frontscheibe projiziert wird. Bekannte Systeme, die Licht direkt an eine Frontscheibe projizieren, erfordern jedoch häufig eine Beschichtung oder ein Material, das die Transparenz der Frontscheibe signifikant verringert. Als Ergebnis sind Head-Up-Anzeigen häufig auf ein begrenztes Gebiet an der Frontscheibe beschränkt.
  • Fahrzeugsysteme überwachen eine Menge an Informationen. Insbesondere Fahrzeugsysteme, die Fahrunterstützungen verwenden, wie beispielsweise einen adaptiven Tempomat (ACC von adaptive cruise control), eine automatische Lateralsteuerung, Kollisionsvermeidungs- oder Vorbereitungssysteme und Spureinhalteunterstützungen, überwachen und verarbeiten eine Information bezüglich der Betriebsumgebung um das Fahrzeug herum. Ferner steht eine Information von einer Vielzahl von Quellen zur Verfügung, um das Fahrzeug in Relation zu einer 3D-Kartendatenbank zu lokalisieren, eine Fahrtroute für das Fahrzeug zu einem Ziel zu planen und diese Fahrtroute mit einer verfügbaren Information bezüglich der Route in Korrelation zu bringen. Ferner stellen fahrzeugeigene Fahrzeugsysteme eine große Vielzahl von Informationen bereit, die verwendet werden können, um die Steuerung des Fahrzeugs zu verbessern. Ferner ist bekannt, dass Fahrzeug-Fahrzeug-Kommunikationen Daten, die in einem Fahrzeug beim Kommunizieren mit Fahrzeugen an einer anderen Stelle auf der Straße gesammelt werden, verwenden.
  • Ein Bediener, der ein Fahrzeug fährt, während er müde ist, kann einen unerwünschten Zustand darstellen. Es ist bekannt, dass ein müder Fahrer bestimmte Verhalten aufweist, die ein häufigeres Schließen der Augen als ein munterer Fahrer und ein Sinken des Kopfs umfassen.
  • Um festzustellen, ob der Fahrer müde ist, ist es beispielsweise aus der US 2005/0030184 A1 bekannt, die Öffnung des Augenlids, die Kopfposition oder Augenbewegungen zu messen. Die DE 10 2005 035 412 A1 beschreibt ferner, das Lenkverhalten und die Lidschlagfrequenz des Fahrers zu überwachen, um eine Müdigkeitserfassung durchzuführen. Wird erkannt, dass der Fahrer müde ist, kann eine mittels einer Head-Up-Anzeige dargestellte Fahrbahn verengt angezeigt werden, um den Fahrer vor eine anspruchsvollere Fahraufgabe zu stellen. Eine Head-Up-Anzeigevorrichtung ist zum Beispiel aus der US 7 182 467 B2 bekannt.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System anzugeben, welche eine verbesserte Erkennung eines müden Fahrers gestatten.
  • Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst.
  • ZUSAMMENFASSUNG
  • Eine im Wesentlichen transparente Frontscheiben-Head-Up-Anzeige eines Fahrzeugs umfasst eine Anzeige mit Licht emittierenden Partikeln oder Mikrostrukturen über einem vordefinierten Gebiet der Frontscheibe, die eine lumineszierende Anzeige zulassen, während eine Sicht durch die Frontscheibe zugelassen wird. Ein Verfahren zum Alarmieren hinsichtlich eines Fahrermüdigkeitszustands an einer im Wesentlichen transparenten Frontscheiben-Head-Up-Anzeige umfasst, dass ein Sensor überwacht wird, der ausgestaltet ist, um einen Bediener des Fahrzeugs zu beobachten, der Fahrermüdigkeitszustand auf der Grundlage des Überwachens des Sensors ermittelt wird und hinsichtlich des Fahrermüdigkeitszustands an der im Wesentlichen transparenten Frontscheiben-Head-Up-Anzeige auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands alarmiert wird. Ein Alarmieren hinsichtlich des Fahrermüdigkeitszustands umfasst ein Anzeigen einer Grafik, die ausgewählt wird, um die Aufmerksamkeit des Bedieners zu erregen, und die im Wesentlichen transparente Frontscheiben-Head-Up-Anzeige.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Nachstehend werden eine oder mehrere Ausführungsformen beispielhaft in Bezug auf die begleitenden Zeichnungen beschrieben, in denen:
  • 1 ein beispielhaftes Fahrzeug, das mit einem EVS-System ausgestattet ist, gemäß der vorliegenden Offenbarung zeigt;
  • 2 ein beispielhaftes Diagramm einer im Wesentlichen transparenten Anzeige gemäß der vorliegenden Offenbarung ist;
  • 3 eine beispielhafte grafische Projektion an eine Fläche gemäß der vorliegenden Offenbarung zeigt;
  • 4 ein Schema zum Verwenden von Anregungslicht zum Emittieren von sichtbarem Licht von der HUD gemäß der vorliegenden Offenbarung zeigt;
  • 5 eine beispielhafte Anordnung von Licht emittierenden Partikeln an einem Substrat gemäß der vorliegenden Offenbarung zeigt;
  • 6 verschiedene Typen von Licht emittierenden Materialien, die an einem Substrat aufgeschichtet sind, gemäß der vorliegenden Offenbarung zeigt;
  • 7 ein beispielhaftes Diagramm der Anregungs- und Emissionsbeziehungen von verschiedenen Licht emittierenden Materialien gemäß der vorliegenden Offenbarung ist;
  • 8 ein beispielhaftes Diagramm eines Musters von Mikrostrukturen, die in einem im Wesentlichen transparenten oder transluzenten Substrat verteilt sind, gemäß der vorliegenden Offenbarung ist;
  • 9 ein beispielhaftes Diagramm eines Musters von Mikrostrukturen, die an einer Fläche eines im Wesentlichen transparenten oder transluzenten Substrats angeordnet sind, ähnlich wie bei 8, gemäß der vorliegenden Offenbarung ist;
  • 10 ein beispielhaftes Diagramm eines Winkelmusters von Mikrostrukturen, die in einem im Wesentlichen transparenten oder transluzenten Substrat verteilt sind, ähnlich wie bei 8, gemäß der vorliegenden Offenbarung ist;
  • 11 eine beispielhafte Ausführungsform eines zweidimensionalen lichtstrahlbasierten FC-Anzeigesubsystems gemäß der vorliegenden Offenbarung zeigt;
  • 12 ein schematisches Diagramm des Systems des Fahrzeugs 10, das mit einem Zielverfolgungssystem konstruiert wurde, gemäß der vorliegenden Offenbarung zeigt;
  • 13 einen Informationsfluss, der beim Erzeugen einer Verfolgungsliste verwendet wird, gemäß der vorliegenden Offenbarung zeigt;
  • 14 einen beispielhaften Datenvereinigungsprozess gemäß der vorliegenden Offenbarung zeigt;
  • 15 einen beispielhaften Datenfluss, der eine gemeinsame Verfolgung und Sensorregistrierung ermöglicht, gemäß der vorliegenden Offenbarung zeigt;
  • 16 schematisch ein beispielhaftes System, durch das Sensoreingänge zu Objektverfolgungen vereinigt werden, die bei einem Kollisionsvorbereitungssystem nützlich sind, gemäß der vorliegenden Offenbarung zeigt;
  • 17 schematisch ein beispielhaftes Bildvereinigungsmodul gemäß der vorliegenden Offenbarung zeigt;
  • 18 schematisch eine beispielhafte Bank von Kalman-Filtern, die arbeiten, um eine Position und Geschwindigkeit einer Gruppe von Objekten zu schätzen, gemäß der vorliegenden Offenbarung zeigt;
  • 19 beispielhafte einer entsprechenden Bildebene überlagerte Entfernungsdaten, was bei systeminternen Analysen verschiedene Zielobjekte nützlich ist, gemäß der vorliegenden Offenbarung darstellt;
  • 20 ein beispielhaftes Fahrzeug, das einen Sensor zum Erlangen von Straßengeometriedaten vor einem Fahrzeug verwendet, gemäß der vorliegenden Offenbarung zeigt;
  • 21 einen beispielhaften Vorwärtsspurschätzungsprozess gemäß der vorliegenden Offenbarung zeigt;
  • 22 einen beispielhaften Prozess, bei dem eine Information von einer Kartendatenbank verwendet werden kann, um ein geometrisches Modell einer Straße in einem Bereich eines Fahrzeugs zu konstruieren, gemäß der vorliegenden Offenbarung zeigt;
  • 23 grafisch ein beispielhaftes iteratives Verfahren zum Finden eines angenäherten Orts eines Fahrzeugs in Bezug auf eine geschätzte Straßengeometrie gemäß der vorliegenden Offenbarung zeigt;
  • 24 einen beispielhaften Fahrzeugposenlokalisierungsprozess gemäß der vorliegenden Offenbarung zeigt;
  • 25 eine beispielhafte Ermittlung, die in dem lateralen Modell des Fahrzeugs durchgeführt wird, gemäß der vorliegenden Offenbarung zeigt;
  • 26 eine beispielhafte Verwendung von Wegpunkten entlang einer projizierten Spur vor dem Fahrzeug zum Schätzen der Spurgeometrie gemäß der vorliegenden Offenbarung zeigt;
  • 27–29 eine beispielhafte Anwendung einer Kontextinformation auf erfasste Objektdaten, um zu ermitteln, ob die erfassten Daten eine kritische Information sind, gemäß der vorliegenden Offenbarung zeigen;
  • 27 ein Fahrzeug zeigt, das drei sequentielle Datenpunkte umfasst, die ein Zielobjekt vor dem Fahrzeug beschreiben;
  • 28 eine beispielhafte Situation zeigt, in der entsprechende Datenpunkte eine kritische Information für einen Bediener korrekt angeben würden; und
  • 29 eine beispielhafte Situation zeigt, in der entsprechende Datenpunkte eine kritische Information für einen Bediener inkorrekt angeben könnten;
  • 30 und 31 schematisch eine beispielhafte Verwendung einer eingeschränkten Architektur eines Pixel-Sichtfelds gemäß der vorliegenden Offenbarung zeigen;
  • 30 einen beispielhaften Emitter zeigt, der Licht an ein eingeschränktes Sichtfeld emittieren kann; und
  • 31 einen beispielhaften Prozess zum Erzeugen der notwendigen Struktur von Emittern, die auf ein Polymersubstrat ausgerichtet sind, um ein Sehen mit eingeschränktem Sichtfeld zu ermöglichen, beschreibt;
  • 32–37 ausgewählte beispielhafte Anzeigen einer kritischen Information, die an eine HUD projiziert werden könnte, gemäß der vorliegenden Offenbarung zeigen;
  • 32 eine beispielhafte nicht verbesserte externe Sicht zeigt, die Merkmale umfasst, die für einen Bediener eines Fahrzeugs wünschenswerterweise sichtbar zugänglich sind;
  • 33 eine beispielhafte Sicht, die durch starken Nebel behindert ist, und beispielhafte verbesserte Sichtanzeigen, die verwendet werden können, um die Auswirkung des Nebels zu kompensieren, zeigt;
  • 34 eine beispielhafte Anzeige einer Grafik zeigt, die die Sicherheit über einen Spurwechsel verbessert;
  • 35 eine beispielhafte Situation zeigt, in der ein Verbesserungsmerkmal eines peripheren hervorstechenden Merkmals in Kombination mit einem geschätzten Blickort des Bedieners verwendet wird, um einen Bediener hinsichtlich einer kritischen Information zu alarmieren;
  • 36 eine beispielhafte Ansicht zeigt, die eine Anzeige von Navigationsanweisungen an einer HUD beschreibt;
  • 37 eine weitere beispielhafte Ansicht zeigt, die eine kritische Information beschreibt, die an einer HUD angezeigt werden kann; und
  • 38 schematisch einen beispielhaften Informationsfluss, der oben beschriebene Verfahren erreicht, gemäß der vorliegenden Offenbarung zeigt.
  • DETAILLIERTE BESCHREIBUNG
  • Nun auf die Zeichnungen Bezug nehmend, bei denen die Darstellungen lediglich dem Zweck des Erläuterns bestimmter beispielhafter Ausführungsformen und nicht dem Zweck des Einschränkens dieser dienen, wird ein Verfahren offenbart, das ein verbessertes Sichtsystem (EVS von enhanced vision system) verwendet, um grafische Bilder an einer Frontscheibe eines Fahrzeugs darzustellen, wobei eine Betriebsumgebung für das Fahrzeug beschrieben wird. Die grafischen Bilder stammen von Sensor- und/oder Dateneingängen, die die Betriebsumgebung beschreiben, und umfassen eine Verarbeitung der Eingänge, um eine kritische Information an den Bediener oder an Insassen des Fahrzeugs zu übermitteln. Die an der Frontscheibe anzuzeigenden grafischen Bilder werden ferner hinsichtlich der sichtbaren relevanten Merkmale, die durch die Frontscheibe beobachtbar sind, registriert, so dass ein vorgesehener Insasse das relevante Merkmal und das registrierte grafische Bild als einzelnen wahrnehmbaren Eingang sehen kann.
  • 1 zeigt ein beispielhaftes Fahrzeug, das mit einem EVS-System ausgestattet ist, gemäß der vorliegenden Offenbarung. Ein Fahrzeug 100 umfasst eine EVS-Systemverwaltungseinrichtung 110; Fahrzeugsensorsysteme, die ein Kamerasystem 120 und ein Radarsystem 125 umfassen; Fahrzeugbetriebssensoren, die einen Fahrzeuggeschwindigkeitssensor 130 umfassen; Informationssysteme, die eine GPS-Einrichtung 140 und ein drahtloses Kommunikationssystem 145 umfassen; eine Head-Up-Anzeige (HUD von heads-up display) 150; ein EVS-Grafiksystem 155; ein Grafikprojektionssystem 158; und ein Insassenaugenortserfassungssystem 160. Die EVS-Systemverwaltungseinrichtung 110 umfasst einen programmierbaren Prozessor, der eine Programmierung umfasst, um verschiedene Eingänge zu überwachen und zu ermitteln, welche Information für eine Anzeige an der HUD geeignet ist. Die EVS-Systemverwaltungseinrichtung kann direkt mit verschiedenen Systemen und Komponenten kommunizieren [engl.: communication], oder die EVS-Systemverwaltungseinrichtung kann alternativ oder zusätzlich über ein LAN/CAN-System 115 kommunizieren. Die EVS-Systemverwaltungseinrichtung verwendet eine Information bezüglich der Betriebsumgebung des Fahrzeugs, die von einer Anzahl von Eingängen abgeleitet wird. Das Kamerasystem 120 umfasst eine Kamera oder eine Bilderfassungseinrichtung, die periodische oder sequentielle Bilder aufnimmt, die eine Sicht von dem Fahrzeug aus darstellen. Das Radarsystem 125 umfasst eine Einrichtung, die in der Technik bekannt ist und elektromagnetische Strahlung verwendet, um andere Fahrzeuge oder Objekte zu detektieren, die sich in der Nähe des Fahrzeugs befinden. In einem Fahrzeug ist eine Anzahl von bekannten fahrzeuginternen Sensoren weit verbreitet, und diese werden verwendet, um die Fahrzeuggeschwindigkeit, die Motordrehzahl, den Radschlupf und andere Parameter zu überwachen, die den Betrieb des Fahrzeugs beschreiben. Es ist ein beispielhafter Fahrzeuggeschwindigkeitssensor 130 gezeigt, um solch einen fahrzeuginternen Sensor darzustellen, der den Fahrzeugbetrieb beschreibt, wobei die Offenbarung jedoch jegliche solche Sensoren zur Verwendung durch das EVS umfassen soll. Die GPS-Einrichtung 140 und das drahtlose Kommunikationssystem 145 sind Einrichtungen, die in der Technik bekannt sind, um mit Ressourcen außerhalb des Fahrzeugs, beispielsweise einem Satellitensystem 180 und einem Zellularkommunikationsturm 190, zu kommunizieren. Die GPS-Einrichtung 140 kann in Verbindung mit einer 3D-Kartendatenbank verwendet werden, die eine detaillierte Information bezüglich einer globalen Koordinate umfasst, die durch die GPS-Einrichtung 140 bezüglich des aktuellen Orts des Fahrzeugs empfangen wird. Die HUD 150 umfasst eine Frontscheibe, die mit Merkmalen ausgestattet ist, die ein daran projiziertes Bild anzeigen können, während sie transparent oder im Wesentlichen transparent bleibt, so dass die Insassen des Fahrzeugs die Außenumgebung des Fahrzeugs durch die Frontscheibe genau beobachten können. Ein Fachmann wird erkennen, dass, während die HUD 150 die Frontscheibe vor dem Fahrzeug umfasst, andere Flächen innerhalb des Fahrzeugs für eine Projektion verwendet werden können, die Seitenfenster und eine Heckscheibe umfassen. Ferner könnte die Sicht an der Frontscheibe auf die vorderen ”A-Säulen” des Fahrzeugs und auf die Seitenfenster als kontinuierliches Bild fortgeführt werden. Die EVS-Grafikmaschine 155 umfasst eine Anzeigesoftware oder eine Programmierung, die Anforderungen zum Anzeigen einer Information von der EVS-Systemverwaltungseinrichtung 110 in grafische Darstellungen übersetzt, die die Information beschreiben. Die EVS-Grafikmaschine 155 umfasst eine Programmierung, um die gekrümmte und schräge Fläche der Frontscheibe und beliebiger anderer Flächen, auf die die Grafik projiziert werden soll, zu kompensieren. Die EVS-Grafikmaschine 155 steuert das Grafikprojektionssystem 158, das eine Laser- oder Projektoreinrichtung umfasst, die ein Anregungslicht erzeugt, um die grafischen Darstellungen zu projizieren. Das Insassenaugenortserfassungssystem 160 umfasst in der Technik bekannte Sensoren, um den Ort des Kopfs eines Insassen und ferner die Ausrichtung oder den Blickort der Augen des Insassen anzunähern. Auf der Grundlage des Ausgangs des Insassenaugenortserfassungssystems 160 und einer Eingangsdatenverfolgungsortsinformation bezüglich der Umgebung um das Fahrzeug herum kann die EVS-Systemverwaltungseinrichtung 110 die grafischen Darstellungen für die HUD genau registrieren, so dass der Insasse die Bilder mit überlagerten visuellen Bildern durch die Frontscheibe sieht.
  • Das oben beschriebene EVS umfasst Augenerfassungs- und Kopferfassungseinrichtungen, die eine Schätzung des Augenorts ermöglichen und eine Registrierung von Bildern an der HUD ermöglichen, so dass die Bilder einer Sicht des Bedieners entsprechen. Es sei jedoch angemerkt, dass eine Schätzung eines Kopf- und Augenorts durch eine Anzahl von Verfahren erreicht werden kann. Beispielsweise kann ein Bediener in einem Prozess ähnlich einem Anpassen von Rückspiegeln eine Kalibrierungsroutine beim Einsteigen in ein Fahrzeug verwenden, um die Grafik auf ein detektiertes Objekt auszurichten. Bei einer anderen Ausführungsform kann die Sitzposition in Längsrichtung des Fahrzeugs verwendet werden, um eine Position des Fahrerkopfs zu schätzen. Bei einer anderen Ausführungsform kann eine manuelle Einstellung eines Rückspiegels oder von Rückspiegeln verwendet werden, um den Ort von Bedieneraugen zu schätzen. Es sei angemerkt, dass eine Kombination von Verfahren, beispielsweise eine Sitzposition und ein Spiegeleinstellungsswinkel, verwendet werden kann, um einen Bedienerkopfort mit verbesserter Genauigkeit zu schätzen. Es werden viele Verfahren zum Erreichen einer genauen Registrierung einer Grafik an der HUD betrachtet, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten Ausführungsformen beschränkt sein.
  • Ein beispielhaftes EVS umfasst ein breites Sichtfeld einer gesamten Frontscheibe (HUD), wobei eine im Wesentlichen transparente Projektionsfläche die Funktionalität umfasst, daran projizierte grafische Bilder anzuzeigen; eine HUD-Bildmaschine, die einen Laser oder Laser umfasst, die Bilder an die Frontscheibe projizieren können; Eingangsquellen, die Daten bezüglich der Betriebsumgebung des Fahrzeugs ableiten; und eine EVS-Systemverwaltungseinrichtung, die eine Programmierung umfasst, um Eingänge von den Eingangseinrichtungen zu überwachen, die Eingänge zu verarbeiten und eine kritische Information relativ zu der Betriebsumgebung zu ermitteln und Anforderungen für grafische Bilder zur Erzeugung durch die HUD-Bildmaschine zu erzeugen. Es sei jedoch angemerkt, dass dieses beispielhafte EVS lediglich eine einer großen Anzahl von Ausgestaltungen ist, die ein EVS annehmen kann. Beispielsweise ist ein Sicht- oder Kamerasystem für verschiedene EVS-Anwendungen, die erläutert werden, nützlich. Es sei jedoch angemerkt, dass ein beispielhaftes EVS-System ohne ein Sichtsystem arbeiten kann, wobei beispielsweise eine Information bereitgestellt wird, die nur von einer GPS-Einrichtung, einer 3D-Kartendatenbank und fahrzeuginternen Sensoren zur Verfügung steht. Alternativ sei angemerkt, dass ein beispielhaftes EVS-System ohne Zugriff auf eine GPS-Einrichtung oder ein drahtloses Netz arbeiten kann und stattdessen Eingänge von nur einem Sichtsystem und einem Radarsystem verwendet. Es sind viele verschiedene Ausgestaltungen mit den offenbarten Systemen und Verfahren möglich, und die Offenbarung soll nicht auf die hierin beschriebenen beispielhaften Ausführungsformen beschränkt sein.
  • Die Frontscheibe, die eine HUD umfasst, ist für den Betrieb des EVS wichtig. Um als Medium zu fungieren, durch das relevante Merkmale beobachtbar sind, während sie als Anzeigeeinrichtung dient, an der die grafischen Bilder angezeigt werden können, muss die Frontscheibe des Fahrzeugs sowohl transparent sein als auch durch eine Anregungslichtquelle projizierte Bilder anzeigen können. 2 ist ein beispielhaftes Diagramm einer im Wesentlichen transparenten Anzeige gemäß der vorliegenden Offenbarung. Ein Betrachter 10 kann ein beliebiges Objekt (z. B. einen Würfel 12) durch ein Substrat 14 sehen. Das Substrat 14 kann transparent oder im Wesentlichen transparent sein. Während der Betrachter 10 das beliebige Objekt 12 durch das Substrat 14 sieht, kann der Betrachter auch Bilder (z. B. einen Kreis 15 und ein Dreieck 16) sehen, die an dem Substrat 14 erzeugt werden. Das Substrat 14 kann Teil einer Fahrzeugwindschutzscheibe, eines Gebäudefensters, eines Glassubstrats, eines Kunststoffsubstrats, eines Polymersubstrats oder eines anderen transparenten (oder im Wesentlichen transparenten) Mediums sein, das einem Fachmann bekannt ist. Andere Substrate können das Substrat 14 ergänzen, um für eine Tönung, einen Substratschutz, eine Lichtfilterung (z. B. Filtern von externem ultraviolettem Licht) und andere Funktionen zu sorgen.
  • 2 zeigt eine Beleuchtung von transparenten Anzeigen gemäß Ausführungsformen, die mit Anregungslicht (z. B. ultraviolettem Licht oder Infrarotlicht) von Lichtquellen (z. B. einem Projektor oder Laser, gezeigt durch die Einrichtung 20, beleuchtet werden. Das Substrat 14 kann ein Anregungslicht von einer Lichtquelle aufnehmen (z. B. Projektor oder Laser 20). Das empfangene Anregungslicht kann durch ein Licht emittierendes Material an dem Substrat 14 absorbiert werden. Wenn das Licht emittierende Material das Anregungslicht empfängt, kann das Licht emittierende Material sichtbares Licht emittieren. Dementsprechend können Bilder (z. B. der Kreis 15 und das Dreieck 16) an dem Substrat 14 durch selektives Beleuchten des Substrats 14 mit Anregungslicht erzeugt werden.
  • Das Anregungslicht kann gemäß Ausführungsformen der vorliegenden Offenbarung ultraviolettes Licht sein. Wenn das Anregungslicht ultraviolettes Licht ist, tritt, wenn das Licht emittierende Material sichtbares Licht in Ansprechen auf das ultraviolette Licht emittiert, ein physikalisches Phänomen einer Abwärts-Umwandlung auf. Insbesondere weist ultraviolettes Licht eine kürzere Wellenlänge und eine höhere Energie auf als sichtbares Licht. Dementsprechend wird das ultraviolette Licht, wenn das Licht emittierende Material das ultraviolette Licht absorbiert und sichtbares Licht mit niedrigerer Energie emittiert, in sichtbares Licht abwärts-umgewandelt, da sich das Energieniveau des ultravioletten Lichts verringert, wenn es in sichtbares Licht umgewandelt wird. Bei Ausführungsformen ist das Licht emittierende Material ein fluoreszentes Material.
  • Das Anregungslicht kann gemäß Ausführungsformen der vorliegenden Offenbarung Infrarotlicht sein. Wenn das Anregungslicht Infrarotlicht ist, tritt, wenn das Licht emittierende Material sichtbares Licht in Ansprechen auf das Infrarotlicht emittiert, ein physikalisches Phänomen einer Aufwärts-Umwandlung auf. Insbesondere weist Infrarotlicht eine längere Wellenlänge und eine geringere Energie auf als sichtbares Licht. Dementsprechend wird das Infrarotlicht, wenn das Licht emittierende Material das Infrarotlicht absorbiert und sichtbares Licht mit höherer Energie emittiert, in sichtbares Licht aufwärts-umgewandelt, da sich das Energieniveau des Infrarotlichts erhöht, wenn es in das sichtbare Licht umgewandelt wird. Bei Ausführungsformen ist das Licht emittierende Material ein fluoreszentes Material. Bei dem physikalischen Phänomen einer Aufwärts-Umwandlung kann eine Absorption von mehr als einem Infrarotlichtphoton für die Emission jedes Photons von sichtbarem Licht notwendig sein. Ein Fachmann wird erkennen, dass solch eine Anforderung, die eine Absorption mehrerer Photonen erfordert, Infrarotlicht zu einer weniger erwünschten Option als ultraviolettes Licht als Anregungslicht machen kann.
  • Bei den in 1 gezeigten Ausführungsformen wird das Anregungslicht durch die Einrichtung 20, die einen Projektor umfasst, ausgegeben. Der Projektor kann ein digitaler Projektor sein. Bei Ausführungsformen ist der Projektor ein Mikrospiegel-Array-Projektor (MMA-Projektor von micromirror array projector) (z. B. ein Digitallichtverarbeitungsprojektor (DLP-Projektorvon digital light processing projector)). Ein MMA-Projektor, der ultraviolettes Licht ausgibt, kann einem MMA-Projektor ähnlich sein, der sichtbares Licht ausgibt, außer, dass der Farbkreis Lichtfilter aufweist, die auf das Spektrum von ultraviolettem Licht zugeschnitten sind. Bei anderen Ausführungsformen ist der Projektor ein Flüssigkristallanzeigeprojektor (LCD-Projektor von liquid crystal display projector). Bei Ausführungsformen kann der Projektor ein Flüssigkristall-auf-Silizium-Projektor (LCOS-Projektor von liquid crystal on silicon projector) sein. Bei Ausführungsformen kann der Projektor ein analoger Projektor (z. B. ein Diafilmprojektor oder ein Filmprojektor) sein. Ein Fachmann würde andere Typen von Projektoren kennen, die verwendet werden können, um ultraviolettes Licht an dem Substrat 14 zu projizieren.
  • 3 zeigt eine beispielhafte grafische Projektion an eine Fläche gemäß der vorliegenden Offenbarung. Eine Ausstrahlungsquelle 310 übermittelt einen starken kollimierten Strahl einer unsichtbaren (oder weniger sichtbaren) Ausstrahlung. Der Strahlenkegel passiert einen Prozessor 330 für ein optisches Bild, und der modifizierte Strahlenkegel 350 wird auf eine Fluoreszenzumwandlungs-Anzeigeprojektionsfläche (FC-Anzeigeprojektionsfläche von fluorescence conversion displaying screen) 380 projiziert. Es wird eine Anzahl von Verfahren zur Bildanzeige offenbart. Bei einem ersten beispielhaften Verfahren werden aufgeweitete Strahlen einer statischen Ausstrahlung durch einen Bildprozessor 330 aufgebracht, der eine Matrix aus Ein-Aus-Schaltern (z. B. eine Matrix aus sehr kleinen reflektierenden Spiegeln) enthält, wobei ein dunkles Bild erzeugt wird, und es wird ein fluoreszentes sichtbares Bild durch eine fluoreszente Umwandlung des dunklen Bilds an der Anzeigeprojektionsfläche 380 erzeugt. Es werden typischerweise statische Bilder aus einer Nachschlagetabelle erzeugt. Bei einem zweiten beispielhaften Verfahren wird ein Strahlenkegel mit einem Bildprozessor 330 gekoppelt, der eine zweidimensionale Strahlabtasteinrichtung umfasst (z. B. Galvanometer, akusto-optischer Lichtdeflektor (AOLD von acousto-optic light deflector) und elektro-optischer Lichtdeflektor (EOLD von electro-optic light deflector)). Es werden elektrische Signale angewandt, um den Strahlenkegel zu lenken, um eine bestimmte Stelle der Projektionsfläche zu einem gegebenen Zeitpunkt zu beleuchten. Eine beispielhafte FC-Projektionsfläche weist typischerweise die folgende Struktur auf: eine Schicht 384 enthält fluoreszente Nanopartikel oder Moleküle, die an einem einheitlichen Medium angebracht oder in diesem verteilt sind; eine Beschichtung 388 reflektiert die sichtbare Emission, während die unsichtbare Strahlung übertragen wird; und eine Substratschicht 390, die die verbleibende unsichtbare Strahlung absorbiert. Alternativ umfasst sie eine Schicht 384, die fluoreszente Nanopartikel oder Moleküle enthält, die an einem einheitlichen Medium angebracht oder in diesem verteilt sind; eine Beschichtung 388, die die unsichtbare Strahlung absorbiert; und eine sichtbare transparente Substratschicht 390. Es können auch eine selbsthaftende Schicht und Schutzschichten, wie beispielsweise eine kratzfeste Schicht, zu der Projektionsflächenstruktur hinzugefügt werden.
  • Es werden zwei alternative Schemas einer FC offenbart. 4 zeigt ein Schema zum Verwenden von Anregungslicht, um sichtbares Licht von der HUD zu emittieren, gemäß der vorliegenden Offenbarung. Das erste Schema, das in 4 gezeigt ist, wird Abwärts-Umwandlung genannt, wobei die Wellenlänge des Anregungslichts kürzer ist als die Fluoreszenzwellenlänge. Ein Energieniveaudiagramm zeigt das Molekül oder den Nanopartikel einer Abwärts-Umwandlung. Das Photon des Anregungslichts mit kürzerer Wellenlänge weist mehr Energie auf und verursacht einen Übergang 415 von einem niedrigeren Energieniveau 410 zu einem höheren Energieniveau 420. Die Emission umfasst einen Übergang 425, der zwei Energieniveaus mit einer kleineren Energielücke zugeordnet ist. Das zweite Schema (nicht gezeigt) wird Aufwärts-Umwandlung genannt, wobei die Anregungswellenlängen länger sind als die Fluoreszenzwellenlänge. Im zweiten Fall sind zwei oder mehr Photonen von einem Laser notwendig, um die Fluoreszenzpartikel anzuregen, um ein sichtbares Fluoreszenzphoton zu erhalten. Der Anregungslaser mit längerer Wellenlänge ruft zwei Übergänge von einem niedrigeren Zustand zu einem höheren Energiezustand über einen Zwischenzustand hervor. Die Emission umfasst einen Übergang, der zwei Energieniveaus mit einer Energielücke zugeordnet ist, die kleiner ist als die Energie, die zwei Laserphotonen zugeordnet ist. Ein allgemeiner Ansatz für das erste Schema ist, eine UV-(oder blaue)Lichtquelle mit einer Wellenlänge, die kürzer als 500 nm ist, anzuwenden, um die Fluoreszenzmoleküle oder -nanopartikel an der Bildprojektionsfläche anzuregen. Die UV-Quellen umfassen Festkörperlaser, Halbleiterlaserdioden, Gaslaser, Farbstofflaser, Excimer-Laser und andere UV-Lichtquellen, die Fachleuten bekannt sind. Ein allgemeiner Ansatz für das zweite Schema ist, Infrarotlaser mit einer Wellenlänge anzuwenden, die länger als 700 nm ist, um die Fluoreszenzmoleküle oder -partikel an der Projektionsfläche anzuregen. Die IR-Laser umfassen Festkörperlaser, Halbleiterlaserdioden und andere IR-Quellen, die Fachleuten bekannt sind. In beiden Fällen werden Anregungsstrahlintensitäten moduliert, um eine sichtbare Fluoreszenz variierender Intensität oder Graustufen zu erzielen.
  • Es werden auch mehrere Fluoreszenzmaterialien offenbart. Eine allgemeine Eigenschaft dieser Materialien ist, dass die Größe der fluoreszenten Partikel sehr klein ist. Typischerweise werden Nanopartikel oder Moleküle mit einer Größe zwischen 0,5 nm bis 500 nm bevorzugt, um einen minimalen Streuungseffekt zu erhalten, der die sichtbare Transparenz der Projektionsfläche reduziert. Diese Materialien fallen in vier Kategorien: anorganische Phosphore mit Nanometergröße; organische Moleküle und Farbstoffe; halbleiterbasierte Nanopartikel; und organometallische Moleküle.
  • Für Abwärts-Umwandlungen können die folgenden Materialien verwendet werden, um eine FC-Anzeigeprojektionsfläche auszubilden: 1. Anorganische oder keramische Phosphore oder Nanopartikel, die ohne Einschränkung Metalloxide, Metallhalogenide, Metallchalkogenide (z. B. Metallsulfide) oder ihre Hybride, wie beispielsweise Metalloxohalogenide, Metalloxochalkogenide, umfassen. Diese anorganischen Phosphore wurden oftmals in fluoreszenten Lampen und elektronischen Monitoren angewandt. Diese Materialien können ein Photon kürzerer Wellenlänge (z. B. UV und blau) in sichtbares Licht längerer Wellenlänge umwandeln und können leicht an Anzeigeprojektionsflächen abgeschieden oder in der Projektionsfläche verteilt werden. 2. Laserfarbstoffe und kleine organische Moleküle und fluoreszente organische Polymere. Diese können auch verwendet werden, um ein Laserphoton kürzerer Wellenlänge (z. B. UV und blau) in sichtbares Licht längerer Wellenlänge umzuwandeln, und können leicht an einer Anzeigeprojektionsfläche abgeschieden werden. Da sie im Festkörper im molekularen Zustand vorliegen, wird die Projektionsflächentransparenz aufgrund des Nichtvorhandenseins einer Partikelstreuung aufrechterhalten. 3. Halbleiternanopartikel, wie beispielsweise II-VI- oder III-V-Verbundhalbleiter, z. B. fluoreszente Quantenpunkte. Ihr Hinzufügen zu der Projektionsfläche beeinflusst die optische Transparenz wieder nicht. 4. Organometallische Moleküle. Die Moleküle umfassen mindestens ein Metallzentrum wie beispielsweise Seltenerdmetalle (z. B. Eu, Tb, Ce, Er, Tm, Pr, Ho) und Übergangsmetallelemente wie beispielsweise Cr, Mn, Zn, Ir, Ru, V und Hauptgruppenelemente wie beispielsweise B, Al, Ga, etc. Die Metallelemente werden chemisch mit organischen Gruppen verbunden, um das Löschen (Quenchen) der Fluoreszenz von den Wirten oder Lösungsmitteln zu verhindern. Solch eine mit organometallischen Verbindungen gefüllte Projektionsfläche streut das Licht nicht und beeinflusst auch nicht die Projektionsflächentransparenz, im Gegensatz zu Partikeln mit Mikrogröße.
  • Unter den Abwärts-Umwandlungs-FC-Materialien oder -Molekülen, die oben erwähnt wurden, können jene durch Ausführungsformen der vorliegenden Offenbarung verwendet werden, die durch Laser mit Langwellen-UV (z. B. > 300 nm) bis blau (< 500 nm) angeregt werden und eine Emission von sichtbarem Licht erzielen. Beispielsweise können die Phosphore eine Garnet-Reihe von Phosphoren sein: (YmAl-m)3(AlnB1-n)5O12, dotiert mit Ce; wobei 0 <= m, n <= 1; A andere Seltenerdmetalle umfasst, B B, Ga umfasst. Ferner werden Phosphore, die Metallsilikate, Metallborate, Metallphosphate und Metallaluminatwirte enthalten, bei der Anwendung für FC-Anzeigen bevorzugt; ferner werden auch Nanopartikelphosphore, die übliche Seltenerdmetalle (z. B. Eu, Tb, Ce, Dy, Er, Pr, Tm) und Übergangs- oder Hauptgruppenelemente (z. B. Mn, Cr, Ti, Ag, Cu, Zn, Bi, Pb, Sn, TI) als fluoreszente Aktivatoren enthalten, bei der Anwendung für FC-Anzeigen bevorzugt. Schließlich sind auch einige nicht dotierte Materialien (z. B. Metallwolframate (z. B. Ca, Zn, Cd), Metallvanadate, ZnO, etc.) bevorzugte FC-Anzeigematerialien.
  • Die im Handel erhältlichen Laserfarbstoffe sind eine andere Klasse von beispielhaften FC-Anzeigematerialien. Es kann eine Liste von im Handel erhältlichen Laserfarbstoffen von verschiedenen Laserfarbstoffanbietern erhalten werden, die Lambda Physik und Exciton, etc. umfassen. Eine Teilliste der bevorzugten Laserfarbstoffklassen umfasst: Pyrromethen, Cumarin, Rhodamin, Fluorescein, andere aromatische Kohlenwasserstoffe und ihre Derivate, etc. Ferner gibt es viele Polymere, die ungesättigte Kohlenstoff-Kohlenstoff-Verbindungen enthalten, welche auch als fluoreszente Materialien dienen und viele optische und fluoreszente Anwendungen finden. Beispielsweise wurden MEH-PPV, PPV etc. in optoelektronischen Einrichtungen, wie beispielsweise Polymer-Leuchtdioden (PLED von polymer light emitting diodes), verwendet. Solche fluoreszenten Polymere können direkt als fluoreszente Schicht der transparenten 2D-Anzeigeprojektionsfläche verwendet werden. Ferner sind die kürzlich entwickelten Halbleiternanopartikel (z. B. Quantenpunkte) auch bevorzugte LIF-Anzeigematerialien. Der Begriff ”Halbleiternanopartikel” bezieht sich auf einen anorganischen Kristallit mit einem Durchmesser zwischen 1 nm und 1000 nm, bevorzugt zwischen 2 nm bis 50 nm. Ein Halbleiternanopartikel kann bei einer Anregung elektromagnetische Strahlung emittieren (d. h. der Halbleiternanopartikel ist lumineszierend). Der Nanopartikel kann entweder ein homogener Nanokristall sein oder umfasst mehrere Hüllen. Beispielsweise umfasst er einen ”Kern” aus einer oder mehreren ersten Halbleitermaterialien und kann dieser von einer ”Hülle” eines zweiten Halbleitermaterials umgeben sein. Der Kern und/oder die Hülle können ein Halbleitermaterial umfassen, das ohne Einschränkung jene der Gruppe II-VI (ZnS, ZnSe, ZnTe, CdS, CdSe, CdTe, HgS, HgSe, HgTe, MgS, MgSe, MgTe, CaS, CaSe, CaTe, SrS, SrSe, SrTe, BaS, BaSe, BaTe und dergleichen) und III-V (GaN, GaP, GaAs, GaSb, InN, InP, InAs, InSb und dergleichen) und IV-Materialien (Ge, Si und dergleichen) und eine Legierung oder ein Gemisch dieser umfasst.
  • Schließlich werden auch fluoreszente organometallische Moleküle, die Seltenerdmetall- oder Übergangselementkationen enthalten, bei den fluoreszenten Abwärts-Umwandlungs-Projektionsflächen verwendet. Solche Moleküle umfassen ein Metallzentrum mit Seltenerdmetallen, die Eu, Tb, Er, Tm, Ce umfassen, geschützt mit Gruppen organischer Chelatoren. Das Metallzentrum kann auch Übergangselemente, wie beispielsweise Zn, Mn, Cr, Ir, etc., und Hauptgruppenelemente, wie beispielsweise B, Al, Ga, umfassen. Solche organometallischen Moleküle können leicht in flüssigen oder transparenten festen Wirtsmedien aufgelöst werden und eine transparente fluoreszente Projektionsfläche für die offenbarte transparente 2-D-Anzeige mit minimaler Lichtstreuung ausbilden. Einige Beispiele solcher fluoreszenten organometallischen Moleküle umfassen: 1. Tris(dibenzoylmethan)mono(phenanthrolin)europium (III); 2. Tris(8-hydroxychinolin)erbium; 3. Tris(1-phenyl-3-methyl-4-(2,2-dimethylpropan-1-oyl)pyrazolin-5-on)terbium (III); 4. Bis(2-methyl-8-hydroxychinolat)zink; 5. Diphenylboran-8-hydroxychinolat.
  • Die chemischen Zusammensetzungen von Aufwärts-Umwandlungs-Phosphoren sind ähnlich wie die der erläuterten fluoreszenten Abwärts-Umwandlungs-Materialien. Die Aufwärts-Umwandlungs-Phosphore für die fluoreszente Umwandlungsanzeige umfassen auch die folgende Auswahl von Materialien oder Molekülen: 1. Laserfarbstoffe, die organischen kleinen Moleküle, die durch die Absorption von mindestens zwei Infrarotphotonen mit der Emission von sichtbarem Licht angeregt werden können. 2. Fluoreszente Polymere, die Klasse von Polymeren, die durch die Absorption von mindestens zwei Infrarotphotonen mit der Emission von sichtbarem Licht angeregt werden kann 3. Anorganische oder keramische Partikel oder Nanopartikel, die die herkömmlichen Aufwärts-Umwandlungs-Phosphore (z. B. Metallfluoride, Metalloxide) umfassen, die durch die Absorption von mindestens zwei Infrarotphotonen mit der Emission von sichtbarem Licht angeregt werden können 4. Halbleiterpartikel, die Nanopartikel umfassen, wie beispielsweise II-VI- oder III-V-Verbundhalbleiter, z. B. Quantenpunkte, die oben ausführlich bei den ”Abwärts-Umwandlungs”-Halbleitern beschrieben sind.
  • Die fluoreszenten anorganischen Aufwärts-Umwandlungs-Phosphore umfassen ohne Einschränkung Metalloxide, Metallhalogenide, Metallchalkogenide (z. B. Sulfide) oder ihre Hybride, wie beispielsweise Metalloxohalogenide, Metalloxochalkogenide. Sie sind für gewöhnlich mit Seltenerdmetallen dotiert (z. B. Yb<3+>, Er<3+>, Tm<3+>. Einige Wirtsbeispiele umfassen ohne Einschränkung: NaYF4, YF3, BaYF5, LaF3, La2MoO8, LaNbO4, LnO2S; wobei Ln die Seltenerdmetalle umfasst, wie beispielsweise Y, La, Gd). Diese FC-Anzeigematerialien können verwendet werden, um eine Vielzahl von FC-Anzeigeobjekten auszubilden. Diese Objekte umfassen: Projektionsflächen, Platten, Fenster, Wände, Reklameflächen und andere Anzeigeflächen. Es gibt mehrere Mittel, um diese fluoreszenten Moleküle oder Materialien in eine Anzeigefläche einzubeziehen: 1. Sie können in Lösungsmitteln (Wasser oder organischen Lösungsmitteln) aufgelöst (organische Farbstoffe) oder verteilt (anorganische Partikel) werden. Die flüssige fluoreszente Formel kann entweder auf eine Fläche geschichtet werden und nach dem Trocknen einen festen Film oder eine Beschichtung ausbilden, oder sie kann sandwich-artig zwischen zwei Flächen in flüssiger Form angeordnet werden. 2. Sie können in festen Wirten aufgelöst (organische Farbstoffe) oder verteilt (anorganische Partikel), wie beispielsweise Gläsern, Polymeren, Gele, anorganisch-organischen Hybrid-Wirten, Geweben, Papieren, Filmen, Bändern, etc., werden und den Festkörper in ein fluoreszentes Objekt für eine Laseranzeige umwandeln. 3. Einige Objekte (z. B. Gewebe, Papiere, Bänder, fluoreszente Polymere) können bereits fluoreszente Moleküle oder lumineszierende funktionale Gruppen enthalten. In diesem Fall können sie direkt als Laseranzeigeobjekte verwendet werden.
  • Wieder auf die beispielhafte in 2 gezeigte Ausführungsform Bezug nehmend wird ein Anregungslicht von der Einrichtung 20, bei diesem Beispiel ein Laser, ausgegeben. Die Intensität und/oder Bewegung eines von der Einrichtung 20 ausgegebenen Laserstrahls kann moduliert werden, um in dem Substrat 14 ein Bild zu erzeugen. Bei Abwärts-Umwandlungs-Ausführungsformen kann der Ausgang von dem Laser ultraviolettes Licht sein. Bei Aufwärts-Umwandlungs-Ausführungsformen kann der Ausgang von dem Laser Infrarotlicht sein.
  • 2 ist ein beispielhaftes Diagramm eines Licht emittierenden Materials (z. B. von Licht emittierenden Partikeln 22), das in einem im Wesentlichen transparenten Substrat verteilt ist, gemäß Ausführungsformen. Wenn Anregungslicht durch die Licht emittierenden Partikel 22 absorbiert wird, emittieren die Licht emittierenden Partikel sichtbares Licht. Dementsprechend wird bei Abwärts-Umwandlungs-Ausführungsformen, wenn ultraviolettes Licht durch die Licht emittierenden Partikel 22 absorbiert wird, sichtbares Licht von den Licht emittierenden Partikeln emittiert. Ähnlich wird bei Aufwärts-Umwandlungs-Ausführungsformen, wenn Infrarotlicht durch die Licht emittierenden Partikel 22 absorbiert wird, sichtbares Licht von den Licht emittierenden Partikeln emittiert.
  • Bei einigen beispielhaften Ausführungsformen können mehr als ein Projektor oder Laser für eine Beleuchtung verwendet werden. Beispielsweise kann ein erster Projektor für eine Anregung eines Licht emittierenden Materials verwendet werden, das eine erste Farbe emittiert, und kann ein zweiter Projektor für eine Anregung eines Licht emittierenden Materials verwendet werden, das eine zweite Farbe emittiert. Die Verwendung von mehr als einem Projektor kann die Menge an Anregungslicht erhöhen, die durch das Licht emittierende Material absorbiert wird. Durch Erhöhen der absorbierten Menge an Anregungslicht kann die Menge an sichtbarem Licht, die von dem Licht emittierenden Material emittiert wird, erhöht werden. Je größer die Menge an emittiertem sichtbarem Licht ist, desto heller ist die Anzeige. Bei Ausführungsformen kann ein erster Projektor entworfen sein, um die Emission von rotem Licht zu verursachen, kann ein zweiter Projektor entworfen sein, um die Emission von grünem Licht zu verursachen und kann ein dritter Projektor entworfen sein, um die Emission von blauem Licht zu verursachen. Es sind jedoch auch andere Ausgestaltungen anerkannt. Beispielsweise werden bei ähnlichen Ausgestaltungen die Verwendung von zwei Projektoren, vier Projektoren, Projektoren, die eine Emission von Primärfarben verursachen, Projektoren, die die Emission von Farben, die keine Primärbarben sind, verursachen und ein Einsetzen von Laser für Projektoren anerkannt.
  • 2 zeigt ein Licht emittierendes Material, das Licht emittierende Partikel 22 umfasst, die in einem im Wesentlichen transparenten Substrat verteilt sind, gemäß Ausführungsformen der Offenbarung. Diese Licht emittierenden Partikel 22 können durchwegs im Wesentlichen ähnliche Partikel sein, oder, wie in 2 gezeigt, die Zusammensetzung der Partikel kann variieren. Wenn Anregungslicht durch die Licht emittierenden Partikel 22 absorbiert wird, emittieren die Partikel sichtbares Licht. Dementsprechend wird bei Abwärts-Umwandlungs-Ausführungsformen, wenn ultraviolettes Licht durch Licht emittierende Materialien absorbiert wird, sichtbares Licht von den Licht emittierenden Materialien emittiert. Ähnlich wird bei Aufwärts-Umwandlungs-Ausführungsformen, wenn Infrarotlicht durch Licht emittierende Materialien absorbiert wird, sichtbares Licht von den Licht emittierenden Materialien emittiert. Bei Ausführungsformen kann jedes Licht emittierende Material einen unterschiedlichen Typ von Licht emittierendem Material umfassen, der in Ansprechen auf einen unterschiedlichen Bereich von Wellenlängen des Anregungslichts (z. B. ultraviolettes oder Infrarotlicht) einen unterschiedlichen Bereich von Wellenlängen von sichtbarem Licht emittiert.
  • Die Licht emittierenden Partikel 22 können über das Substrat 14 verteilt sein. Alternativ können die Partikel wie in 2 gezeigt an einer Fläche des Substrats 14 angeordnet sein. Die Licht emittierenden Partikel 22 können durch Beschichtung an dem Substrat 14 in das Substrat 14 integriert sein. Das Licht emittierende Material kann ein fluoreszentes Material sein, das in Ansprechen auf die Absorption von elektromagnetischer Strahlung (z. B. sichtbares Licht, ultraviolettes Licht oder Infrarotlicht), sichtbares Licht emittiert, wobei ihre Wellenlänge von der des emittierten sichtbaren Lichts verschieden ist. Die Größe der Partikel kann kleiner sein als die Wellenlänge von sichtbarem Licht, was eine Streuung von sichtbarem Licht durch die Partikel reduzieren oder beseitigen kann. Beispiele für Partikel, die kleiner sind als die Wellenlänge von sichtbarem Licht, sind Nanopartikel oder Moleküle. Gemäß Ausführungsformen weist jeder der Licht emittierenden Partikel einen Durchmesser auf, der kleiner als etwa 400 Nanometer ist. Gemäß Ausführungsformen weist jeder der Licht emittierenden Partikel einen Durchmesser auf, der kleiner als etwa 300 Nanometer ist. Gemäß Ausführungsformen weist jeder der Licht emittierenden Partikel einen Durchmesser auf, der kleiner als etwa 200 Nanometer ist. Gemäß Ausführungsformen weist jeder der Licht emittierenden Partikel einen Durchmesser auf, der kleiner als etwa 100 Nanometer ist. Gemäß anderen Ausführungsformen weist jeder der Licht emittierenden Partikel einen Durchmesser auf, der kleiner als etwa 50 Nanometer ist. Die Licht emittierenden Partikel können einzelne Moleküle sein.
  • Es sind andere Verfahren zum Integrieren von Licht emittierenden Materialien an einer Fläche des Substrats 14 bekannt. Ähnlich wie bei den Ausführungsformen des in 2 gezeigten Beispiels kann jedes der Licht emittierenden Materialien einen anderen Typ von Licht emittierendem Material umfassen, der in Ansprechen auf einen anderen Bereich von Wellenlängen des Anregungslichts (z. B. ultraviolettes oder Infrarotlicht) einen anderen Bereich von Wellenlängen von sichtbarem Licht emittiert. Das Licht emittierende Material kann ein fluoreszentes Material sein, das in Ansprechen auf die Absorption von elektromagnetischer Strahlung (z. B. sichtbares Licht, ultraviolettes Licht oder Infrarotlicht) sichtbares Licht emittiert, wobei ihre Wellenlänge von der des emittierten sichtbaren Lichts verschieden ist. Das Licht emittierende Material kann Licht emittierende Partikel umfassen.
  • Bei DLP- oder MMA-Projektorausführungsformen kann die Wellenlänge von ultraviolettem Licht, das von einem DLP-Projektor emittiert wird, unter Verwendung eines Farbkreises mit spezifischen Ultraviolett-Pass-Filtern moduliert werden. Bei anderen Projektorausführungsformen und Laserausführungsformen können ähnliche Modulationstechniken verwendet werden. Bei Ausführungsformen können mehrere Projektoren und mehrere Laser verwendet werden, wobei jedem ein spezifischer Ultraviolettwellenlängenbereich zugeordnet ist, um einen spezifischen Typ von Licht emittierendem Partikel anzuregen, um eine spezifische Lichtfarbe auszugeben.
  • 5 zeigt eine beispielhafte Anordnung von Licht emittierenden Partikeln an einem Substrat gemäß der vorliegenden Offenbarung. 5 ist ein beispielhaftes Diagramm von verschiedenen Typen von Licht emittierenden Partikeln, die unterschiedlichen sichtbaren Farben zugeordnet sind und als Beschichtung an Gebieten des Substrats 14 (z. B. dem Streifengebiet 32, dem Streifengebiet 34 und dem Streifengebiet 36) in einem im Wesentlichen transparenten Substrat vorliegen können. Bei Ausführungsformen kann das Substrat 14 unterschiedliche Gebiete umfassen, in denen verschiedene Typen von Licht emittierendem Partikel verteilt sind. Beispielsweise kann ein erster Typ von Licht emittierendem Partikel (z. B. ein rotem Licht zugeordneter Licht emittierender Partikel) in dem Streifengebiet 32 verteilt sein, kann ein zweiter Typ von Licht emittierendem Partikel (z. B. ein grünem Licht zugeordneter Licht emittierender Partikel) in dem Streifengebiet 34 verteilt sein und kann ein dritter Typ von Licht emittierendem Partikel (z. B. ein blauem Licht zugeordneter Licht emittierender Partikel) in dem Streifengebiet 36 verteilt sein. Die Streifengebiete können in Streifen (d. h. Zeilen) ausgebildet sein. Alternativ könnte der Streifenteilabschnitt in ein Blockmatrixmuster mit wechselnden Farben in jedem der Blöcke unterteilt sein. Alternativ zu der Beschichtung der Streifengebiete an der Fläche des Substrats 14 können die Streifengebiete in dem Substrat verteilt sein.
  • Ein Projektor oder Laser (z. B. der Projektor oder Laser 20) kann einen Anregungslichtwellenlängenbereich verwenden, der alle unterschiedlichen Typen von Licht emittierenden Partikeln anregt und selektiv verschiedene Farben durch räumliche Modulation des Anregungslichts beleuchtet. Beispielsweise kann ein Projektor oder Laser bei dem Beispiel in 5, um grünes sichtbares Licht in einem gegebenen Gebiet des Substrats 14 zu emittieren, einen Abschnitt des Streifengebiets 34 beleuchten (das z. B. grünem Licht zugeordnete Licht emittierende Partikel umfasst). Bei Ausführungsformen, die die unterschiedlichen Typen von Licht emittierenden Partikeln räumlich trennen, ist es nicht notwendig, dass die Anregungslichtquelle die Wellenlänge des Anregungslichts moduliert, um andere Farben zu erzeugen, da die Farbe durch die räumliche Modulation des Anregungslichts ausgewählt werden kann.
  • Bei Ausführungsformen kann das an das Substrat 14 von 5 projizierte Anregungslicht wellenlängenmoduliert werden, um eine Emission von verschiedenen Farben zu bewirken. Dementsprechend muss es nicht notwendig sein, das Anregungslicht räumlich zu modulieren. Wenn das an das Substrat 14 projizierte Anregungslicht wellenlängenmoduliert wird, werden nur die Gebiete (z. B. Streifen oder Pixel), die auf eine bestimmte Wellenlänge empfindlich sind, beleuchtet. Bei Ausführungsformen kann das Anregungslicht sowohl räumlich moduliert werden als auch wellenlängenmoduliert werden.
  • 6 zeigt unterschiedliche Typen von Licht emittierenden Materialien, die an einem Substrat geschichtet sind, gemäß der vorliegenden Offenbarung. Bei Ausführungsformen sind die Licht emittierenden Materialien 92, 94, 96 im Wesentlichen lichtdurchlässig, außer bezüglich Licht mit spezifischen Wellenlängenbereichen, die absorbiert werden und sich für jedes der unterschiedlichen Licht emittierenden Materialien 92, 94, 96 unterscheiden. Dementsprechend muss das an das Substrat 14 projizierte Anregungslicht bei Ausführungsformen nicht räumlich moduliert werden. Ferner kann die Beschichtung der Schichten an dem Substrat mit unterschiedlichen Dicken erfolgen. Durch die Beschichtung der unterschiedlichen Licht emittierenden Materialien 92, 94 und 96 mit unterschiedlichen Dicken kann die Ansprechempfindlichkeit auf Anregungslicht eines bestimmten Typs von Material gesteuert werden. Es kann beispielsweise erwünscht sein, die Emission von unterschiedlichen Primärfarben auszugleichen, da unterschiedliche Licht emittierende Materialien die unterschiedlichen Farben mit der gleichen Menge an absorbiertem Licht mit unterschiedlichen Intensitäten beleuchten können.
  • Bei Ausführungsformen ist eine Projektionsfläche unter Verwendung von RGB-Elementen gepixelt. Jedes Pixel umfasst jeweils 3 Teile für RGB. Ein einzelner Projektiv-UV-Strahl kann auf die Pixel-Projektionsfläche geleuchtet werden. Um verschiedene Gemische von RGB für verschiedene Farben zu erhalten, kann der gleiche UV-Projektivstrahl an einem Pixel verschoben werden, um eine bestimmte Menge von Bereichen der RGB-Elemente innerhalb eines Pixels abzudecken. Dementsprechend ist nur ein Projektivstrahl notwendig, um das Projektivbild in voller Farbe zu erzeugen. Der Farbausgleich des RGB für ein Pixel kann berechnet und in den richtigen Bereich von RGB-Elementen an der Projektionsfläche umgewandelt werden, und der Strahl kann dann verschoben werden, um den richtigen relativen Bereichsprozentanteil jedes RGB-Elements abzudecken, um die richtige Farbe an dem Pixel anzuzeigen.
  • 7 ist ein beispielhaftes Diagramm der Anregungs- und Emissionsbeziehungen von verschiedenen Licht emittierenden Materialien gemäß der vorliegenden Offenbarung. Das beispielhafte Gebiet 48 zeigt den Anregungs-/Emissionsquerschnitt eines ersten Typs von Licht emittierendem Material. Das beispielhafte Gebiet 46 zeigt den Anregungs-/Emissionsquerschnitt eines zweiten Typs von Licht emittierendem Material. Das beispielhafte Gebiet 50 zeigt den Anregungs-/Emissionsquerschnitt eines dritten Typs von Licht emittierendem Material. Es sei jedoch angemerkt, dass viele beispielhafte Anregungs-/Emissionsquerschnitte in Betracht gezogen werden, einschließlich Ausführungsformen, bei denen ein einzelner Anregungsfrequenzbereich mehrere Emissionsbereiche erzeugen kann, oder umgekehrt, bei denen mehrere Anregungsfrequenzbereiche alternativ den gleichen oder überlappende Emissionsbereiche erzeugen können.
  • Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als etwa 500 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als 400 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als etwa 300 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als etwa 200 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als etwa 100 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann einen Durchmesser aufweisen, der kleiner als etwa 50 Nanometer ist. Jeder der mehreren Licht emittierenden Partikel kann ein einzelnes Molekül sein. Jeder der mehreren Licht emittierenden Partikel kann ein einzelnes Atom sein.
  • Die obigen Ausführungsformen beschreiben fluoreszente Partikel als Verfahren zum Anzeigen von grafischen Bildern an einer ansonsten im Wesentlichen transparenten Frontscheibe eines Fahrzeugs. Fachleute werden jedoch erkennen, dass andere Verfahren zum Projizieren von grafischen Bildern an einer Anzeige, die ansonsten im Wesentlichen transparent sein kann, bekannt sind. 8 ist ein beispielhaftes Diagramm eines Musters von Mikrostrukturen, die in einem im Wesentlichen transparenten oder transluzenten Substrat verteilt sind, gemäß der vorliegenden Offenbarung. Mikrostrukturen 26 werden in dem Substrat 14 selektiv in Gebieten verteilt. Die Breite der Gebiete der Mikrostrukturen 26 kann in einem Bereich von etwa 1 Nanometer bis etwa 10 Millimeter liegen. Die Gebiete der Mikrostrukturen 26 bilden ein Muster (z. B. eine Blende oder ein Gitter), so dass mit den Mikrostrukturen 26 ein eingeschränkter Querschnitt der Lichtpfade 30 des Betrachters 10 vorliegt. Bei Ausführungsformen ist das Muster repetitiv. Der Füllfaktor des Musters kann in einem Bereich von etwa 0,01% bis etwa 99% liegen. Der Lichtpfad 28 von der Einrichtung 20 kann jedoch unter einem Winkel hinsichtlich der Gebiete der Mikrostrukturen 26 vorliegen, um den Querschnitt mit den Mikrostrukturen 26 zu maximieren, was die Streuung eines sichtbaren Bilds von der Einrichtung 20 erhöht, um die Beleuchtung des sichtbaren Bilds an dem Substrat 14 zu erhöhen. Der Abstand der Gebiete der Mikrostrukturen 26 kann in einem Bereich von etwa 1 Nanometer bis etwa 10 Millimeter liegen. Die Dicke der Gebiete der Mikrostrukturen 26 kann in einem Bereich von etwa 1 Mikrometer bis etwa 10 Millimeter liegen. Die Dicke der Gebiete der Mikrostrukturen 26 kann kleiner sein als die Breite und/oder der Abstand der Gebiete der Mikrostrukturen 26.
  • 9 ist ein beispielhaftes Diagramm eines Musters von Mikrostrukturen, die an einer Fläche eines im Wesentlichen transparenten oder transluzenten Substrats angeordnet sind, ähnlich wie bei 8, gemäß der vorliegenden Offenbarung. Mikrostrukturen 38 können in Gebieten an dem Substrat 14 als Beschichtung vorliegen. Die Gebiete der Mikrostrukturen 38 bilden eine Blende, so dass mit den Mikrostrukturen 38 ein eingeschränkter (z. B. minimierter) Querschnitt der Lichtpfade 30 des Betrachters 10 vorliegt. Der Lichtpfad 28 von der Einrichtung 20 kann jedoch unter einem Winkel hinsichtlich der Gebiete der Mikrostrukturen 38 vorliegen, um den Querschnitt mit den Mikrostrukturen zu maximieren, was die Streuung eines sichtbaren Bilds von der Einrichtung 20 erhöht, um die Beleuchtung des sichtbaren Bilds an dem Substrat 14 zu erhöhen. Bei Ausführungsformen ist der Querschnitt hinsichtlich der Fläche des Substrats 14 jedes Elements eines Musters von Mikrostrukturen 38 kleiner als die Tiefe des Musters, die im Wesentlichen senkrecht zu dem Substrat 14 ist, was die Transparenz des Substrats 14 erhöhen kann.
  • 10 ist ein beispielhaftes Diagramm eines Winkelmusters von Mikrostrukturen, die in einem im Wesentlichen transparenten oder transluzenten Substrat verteilt sind, ähnlich wie bei 8, gemäß der vorliegenden Offenbarung. In dem Substrat 14 sind schräge Gebiete von Mikrostrukturen 39 ausgebildet. Der Winkel der schrägen Gebiete von Mikrostrukturen 39 beeinflusst die Querschnittsfläche von sowohl dem Lichtpfad 30 des Betrachters 10 als auch dem Lichtpfad 28 des Projektors 18. Durch Erhöhen des Querschnitts des Lichtpfads 28 kann eine erhöhte Streuung von sichtbaren Bildern erreicht werden, wodurch die Beleuchtung des sichtbaren Bilds an dem Substrat 14 erhöht wird. Bei Ausführungsformen können schräge Gebiete von Mikrostrukturen auch durch Beschichten der Gebiete von Mikrostrukturen an dem Substrat 14 erreicht werden.
  • Ausführungsformen beziehen sich auf transparente Projektivanzeigen mit teilweise oder direktional transparenten Projektionsflächen. Bei dieser Anzeige kann ein regulärer optischer Vollfarbprojektor (oder eine monochromatische Abtasteinrichtung) auf eine teilweise oder direktional transparente Projektionsfläche angewandt werden, um ein optisches Bild anzuzeigen. Eine teilweise oder direktional transparente Projektionsfläche kann duale Eigenschaften aufweisen. Erstens kann eine teilweise oder direktional transparente Projektionsfläche ausreichend transparent sein, um eine visuelle Durchdringung von Umgebungslicht zu ermöglichen. Zweitens kann eine teilweise oder direktional transparente Projektionsfläche mit reflektierenden kleinen Partikeln oder Mikrostrukturen gefüllt oder beschichtet sein, die die projizierten optischen Bilder als Anzeigeprojektionsfläche ablenken oder streuen. Solche Partikel und Mikrostrukturen blockieren die sichtbare Ansicht durch Fenster nicht vollständig.
  • Es gibt mehrere Ansätze, um eine teilweise oder direktional transparente Projektionsfläche vorzubereiten, gemäß Ausführungsformen. Eine transparente oder transluzente Glas- oder Kunststoffplatte kann mit feinen Partikeln von 1 Nanometer bis 10 Mikrometer gefüllt sein. Eine transparente oder transluzente Glas- oder Kunststoffplatte kann mit feinen Partikeln von 1 Nanometer bis 10 Mikrometer beschichtet sein. Eine transparente oder transluzente dünne Glasscheibe oder ein transparenter oder transluzenter dünner Kunststofffilm kann mit feinen Partikeln von 1 Nanometer bis 10 Mikrometer gefüllt sein. Eine transparente oder transluzente dünne Glasscheibe oder transparenter oder transluzenter Kunststofffilm kann mit feinen Partikeln von 1 Nanometer bis 10 Mikrometer beschichtet sein. Es kann ein diffusives Gitter in den Flächen von transparenten oder transluzenten Glas- oder Kunststoffscheiben eingebettet sein oder an diesen strukturiert sein.
  • Es können sowohl organische als auch anorganische Partikel oder Pigmente in oder an einer teilweise oder direktional transparenten Projektionsfläche aufgebracht werden. Einige Beispiele umfassen Titanoxide, Siliziumdioxid (Silica), Aluminiumoxid, Latex, Polystyrolpartikel. Bei Ausführungsformen kann die Größe der Partikel von etwa 1 Nanometer bis etwa 10 Mikrometer reichen. Bei Ausführungsformen reicht die Größe der Partikel von etwa 10 Nanometer bis etwa 1 Mikrometer. Diese Lichtstreuungsmaterialien können gleichmäßig in den Glas- oder Kunststoffwirten mit geeigneten Konzentrationen verteilt sein, oder sie können als Beschichtung mit einer geeigneten Dicke an den Glas- oder Kunststoffflächen vorgesehen sein. Es kann ein Schutzmantel oder eine weitere Schicht des Wirts auf die Partikelbeschichtung aufgebracht werden, um die Beschädigung der Fläche bei einer physikalischen Berührung zu verhindern.
  • Das Glas für eine teilweise oder direktional transparente Projektionsfläche kann anorganische Feststoffe umfassen, die für das sichtbare Licht transparent oder transluzent sind. Beispiele solcher anorganischen Feststoffe sind Oxide und Halogenide. Das Glas kann Silikate, Borsilikat, Bleikristall, Aluminiumoxid, Siliziumdioxid (Silica), Quarzglas, Quarz, Glaskeramik, Metallfluoride oder andere ähnliche Materialien umfassen. Diese Typen von Glas können als Fenster in Räumen, Gebäuden und/oder sich bewegenden Fahrzeugen verwendet werden. Kunststoffe für eine teilweise oder direktional transparente Projektionsfläche können organische und Polymerfeststoffe umfassen, die für das sichtbare Licht transparent oder transluzent sind. Thermoplaste für fluoreszente Projektionsflächen können spezielle duroplastische Feststoffe umfassen, wie beispielsweise transparente Gele. Einige Beispiele der Kunststoffe umfassen Polyacryl, Polycarbonat, Polyethylen, Polypropylen, Polystyrol, PVC, Silikon und andere ähnliche Materialien. Es können Mikrostrukturen in die Projektionsflächenplatte oder an der Fläche integriert sein, um das projizierte Bild unter einem Winkel abzulenken, während die im Wesentlichen sichtbare Transparenz unter normalen Sichtwinkeln zugelassen wird. Es kann ein opakes diffusives Gitter in der dünnen Glas- oder Kunststoffscheibe eingebettet sein. Der Bereich des Lichtstreuungsgitters von einem Betrachter, der vor der Projektionsfläche steht, ist im Wesentlichen kleiner als der von dem Bildprojektor.
  • Direktionale transparente Projektionsflächenstrukturen können gemäß Ausführungsformen viele Vorteile bieten. Direktionale transparente Projektionsflächenstrukturen können für den Betrachter senkrecht zu der Projektionsfläche oder geringfügig abweichend von dem senkrechten Winkel zu der Projektionsfläche im Wesentlichen transparent sein. Direktionale transparente Projektionsflächenstrukturen können unter einem Neigungswinkel hinsichtlich der Projektionsfläche eine hohe Reflexion oder Ablenkung hinsichtlich des Projektionsbilds aufweisen. Ein säulenförmiges transparentes Gebiet kann unter dem Neigungswinkel für das Projektionsbild dauerhaft opak sein. Solch eine starke Bildstreuung kann den Kontrast der Projektionsbilder an dem Anzeigefenster verbessern, während die direkte Sicht senkrecht zu der Projektionsfläche nicht blockiert wird. Direktionale transparente Projektionsflächenstrukturen können in Kraftfahrzeugen nützlich sein, in denen die Sicht des Fahrers typischerweise senkrecht zur Windschutzscheibe ist. Bei Ausführungsformen überschreiten die opaken Säulen die Tiefe eines transparenten Wirtsglases oder -kunststoffs. Bei Ausführungsformen können die Größen und die Dichte der Mikrostrukturen an der Projektionsfläche für eine Anpassung an die Transparenz einer senkrechten Sicht und einen Reflexionsbildkontrast variiert werden. Die Tiefe der Projektionsfläche und der Projektionswinkel können auch variiert werden, um den Kontrast und die Transparenz abzustimmen.
  • Bei Ausführungsformen können die Flächen der Projektionsfläche mit verschiedenen anisotropen Strukturen strukturiert sein, um als eine ”anisotrope” Projektionsfläche zu fungieren. Beispielsweise kann ein Muster eines Mantels mit einer bestimmten Dicke (z. B. 10 Nanometer bis 1 Millimeter) durch verschiedene Druck-, Stempel-, Fotolithografieverfahren, Mikrokontaktdrucken und andere ähnliche Verfahren auf die Projektionsflächen aufgebracht werden. Solch ein Drucken kann ein Muster von sehr feinen Streuungsmerkmalen und -strukturen an der Fläche der Projektionsfläche ausbilden, was ein winkelförmiges Streuen und Anzeigen von projizierten Bildern ermöglichen kann, während eine im Wesentlichen direkte Sicht durch die Projektionsfläche unter einem Winkel, der zu der Projektionsfläche im Wesentlichen senkrecht ist, ermöglicht wird.
  • 11 zeigt eine beispielhafte Ausführungsform eines zweidimensionalen lichtstrahlbasierten FC-Anzeigesubsystems gemäß der vorliegenden Offenbarung. Die Anregungsquelle 610 gelangt vorzugsweise durch einen Satz einer Strahldurchmessersteueroptik 612 und einer akustooptischen 2-D-Abtasteinrichtung 615. Eine Abtaststeuerschnittstelleneinheit 620 koordiniert die Funktionen eines direkten digitalen Synthesizers 622, eines HF-Verstärkers 625 und der Strahldurchmessersteueroptik 612. Der Prozessbildstrahl wird über einen Winkel-Extender 650 an eine FC-Projektionsfläche projiziert. Um ein konsistentes und stabiles Bild an der FC-Projektionsfläche zu übermitteln, lenkt ein Strahl-Splitter das Bild zu einem Positionsempfindlichkeitsdetektor (PSD von position sensitive detector) 635 ab und wird es, verarbeitet durch einen Positionsempfindlichkeitsdetektorprozessor 630, zu einer Abtaststeuerschnittstelleneinheit 620 zurückgeführt. Die durch 632, 635, 630 und 620 gebildete Bildregelung ist umfasst, um eine Positionsgenauigkeit und eine Zeigestabilität des Laserstrahls aufrechtzuerhalten.
  • Fachleute werden erkennen, dass viele Abwandlungen und Veränderungen an dem System, dem Verfahren, dem Material und der Vorrichtung der FC-basierten Anzeige, die hierin offenbart ist, vorgenommen werden können, ohne von dem Gedanken und Umfang der vorliegenden Offenbarung abzuweichen. Die vorliegende Offenbarung soll daher die Abwandlungen und Veränderungen dieser Offenbarung unter der Voraussetzung, dass sie innerhalb des Schutzumfangs der beigefügten Ansprüche und deren Äquivalente liegen, abdecken.
  • Bei Ausführungsformen wird eine UV-Lampe oder eine sichtbare Lampe niedrigerer Wellenlänge in dem Projektor verwendet, der eine Flüssigkristallanzeige (LCD) oder einen DLP umfassen kann. Der Projektor kann über eine Schnittstelle mit einem Computer, PDA-, DVD-, VCR-, TV- oder anderen Informationseingabeeinrichtungen verbunden sein. Bei Ausführungsformen kann eine fluoreszente Projektionsfläche eine transparente oder transluzente Glas- oder Kunststoffplatte sein, die mit fluoreszenten organischen Farbstoffen oder anorganischen Phosphoren gefüllt ist.
  • Transparente oder im Wesentlichen transparente Anzeigen können viele Anwendungen haben. Beispielsweise können transparente oder im Wesentlichen transparente Anzeigen ein Bild an einer transparenten oder transluzenten Scheibe von sicht bewegenden Fahrzeugen, wie beispielsweise Kraftfahrzeugen, Motorrädern, Luftfahrzeugen und Schiffen, anzeigen; das Bild kann eine Information über die Bedingungen des Fahrzeugs sein. Die Anweisungen (z. B. GPS-Karte), die aktuell an der elektronischen Anzeige des Armaturenbretts angezeigt werden, können auf die Scheiben (z. B. vordere Scheibe, Windschutzscheiben) des Fahrzeugs projiziert werden. Die Fahrer müssen ihre Augen nicht von der Straße abwenden, um die Fahrzeugbedingungen und/oder Anweisungen zu sehen.
  • Bei Ausführungsformen kann eine fluoreszente Projektionsfläche eine transparente oder transluzente Glas- oder Kunststoffplatte sein, die mit fluoreszenten organischen Farbstoffen oder anorganischen Phosphoren gefüllt ist. Bei Ausführungsformen kann eine fluoreszente Projektionsfläche eine transparente oder transluzente Glas- oder Kunststoffplatte sein, die durch fluoreszente organische Farbstoffe oder anorganische Phosphore beschichtet ist. Bei Ausführungsformen kann eine fluoreszente Projektionsfläche eine transparente oder transluzente dünne Glasscheibe oder ein transparenter oder transluzenter dünner Kunststofffilm sein, die oder der mit fluoreszenten organischen Farbstoffen oder anorganischen Phosphoren gefüllt ist. Bei Ausführungsformen kann eine fluoreszente Projektionsfläche eine transparente oder transluzente dünne Glasscheibe oder ein transparenter oder transluzenter dünner Kunststofffilm sein, die oder der mit fluoreszenten organischen Farbstoffen oder anorganischen Phosphoren beschichtet ist. Das Glas für die fluoreszente Projektionsfläche kann anorganische Feststoffe umfassen, die für das sichtbare Licht transparent oder transluzent sind. Beispiele solcher anorganischen Feststoffe sind Oxide und Halogenide. Das Glas kann Silikate, Borsilikat, Bleikristall, Aluminiumoxid, Siliziumdioxid (Silica), Quarzglas, Quarz, Glaskeramik, Metallfluoride und andere ähnliche Materialien umfassen. Diese Typen von Glas können als Fenster in Räumen, Gebäuden und/oder sich bewegenden Fahrzeugen verwendet werden. Kunststoffe für fluoreszente Projektionsflächen können organische und Polymerfeststoffe umfassen, die für das sichtbare Licht transparent oder transluzent sind. Thermoplaste für fluoreszente Projektionsflächen können spezielle duroplastische Feststoffe umfassen, wie beispielsweise transparente Gele. Einige Beispiele der Kunststoffe umfassen Polyacryl, Polycarbonat, Polyethylen, Polypropylen, Polystyrol, PVC, Silikon und andere ähnliche Materialien.
  • Glas und Kunststoff können zu fluoreszenten Projektivanzeigen gemacht werden, indem sie mit fluoreszenten Farbstoffen kombiniert werden. Die fluoreszenten Farbstoffe sind organische Moleküle oder Materialien, die ein Photon mit höherer Energie absorbieren können und ein Photon mit niedrigerer Energie emittieren können. Um sichtbares Licht zu emittieren, können solche Moleküle UV-Licht oder sichtbares (z. B. violettes oder blaues) Licht mit niedrigerer Wellenlänge in dem typischen Wellenlängenbereich von 190 nm bis 590 nm oder in dem Wellenlängenbereich von 300 nm bis 450 nm absorbieren. Einige Beispiele für die fluoreszenten Farbstoffe umfassen (ohne Einschränkung) im Handel erhältliche Farbstoffmoleküle von verschiedenen Farbstoffanbietern, die Lambda Physik und Exciton umfassen. Fluoreszente Farbstoffe, die in einer transparenten Anzeige verwendet werden können, umfassen Pyrromethen, Cumarin, Rhodamin, Fluorescein und andere aromatische Kohlenwasserstoffe und ihre Derivate. Ferner gibt es viele Polymere, die ungesättigte Verbindungen enthalten, welche fluoreszente Materialien sein können, die in einer transparenten Anzeige verwendet werden können. Beispielsweise wurden einige von ihnen (MEH-PPV, PPV etc.) in optoelektronischen Einrichtungen, wie beispielsweise Polymer-Leuchtdioden (PLED), verwendet.
  • Glas oder Kunststoff können zu einer fluoreszenten Projektivanzeige gemacht werden, indem sie mit Phosphormaterialien kombiniert werden. Die Abwärts-Umwandlungs-Phosphore umfassen anorganische oder Keramikpartikel oder -nanopartikel, die Metalloxide, Metallhalogenide, Metallchalkogenide (z. B. Metallsulfide) oder ihre Hybride wie beispielsweise Metalloxohalogenide und Metalloxochalkogenide umfassen, jedoch nicht darauf beschränkt sind. Diese anorganischen Phosphore wurden oftmals in fluoreszenten Lampen und elektronischen Monitoren angewandt. Sie können beim Umwandeln von Projektivlicht mit kürzerer Wellenlänge (z. B. UV und blau) in sichtbares Licht mit höherer Wellenlänge angewandt werden. Sie können an der transparenten Projektionsfläche oder Scheibe verteilt oder als Beschichtung vorgesehen werden und durch entsprechendes Projektivlicht mit kürzerer Wellenlänge angeregt werden, um ein sichtbares Bild anzuzeigen.
  • Fluoreszente Phosphore oder Farbstoffmoleküle können zu sichtbarem Licht durch Projektivlicht angeregt werden, das von ultraviolettem Licht (z. B. eine Wellenlänge, die größer als 240 Nanometer ist) bis blau (z. B. kleiner als 500 Nanometer) reicht. Lampen für Projektoren können in diesem Bereich von Wellenlängen Licht emittieren. Solche Lampen sind im Handel erhältlich (z. B. jene, die für Hautbräunungszwecke verwendet werden). Sie können auch Halogenlampen, spezielle Glühlampen und Lichtbogenlampen (z. B. Quecksilber, Xenon, Deuteron etc.) sein. Solche Lampen können Phosphore enthalten, um UV mit kürzerer Wellenlänge in UV mit längerer Wellenlänge umzuwandeln.
  • Phosphore, die Metalloxidwirte enthalten (z. B. Metallsilikate, Metallborate, Metallphosphate, Metallaluminate); Metalloxohalogenide, Oxosulfide, Metallhalogenide, Metallsulfide und Chalkogenide können auf die Projektivfluoreszenzanzeigen aufgebracht werden. Ein Beispiel für Phosphore, die in fluoreszenten Anzeigen verwendet werden können, umfassen die Garnet-Reihen von Phosphoren: (YmAl-m)3(AlnB1-n)5O12, dotiert mit Ce; wobei 0 <= m, n <= 1; A andere Seltenerdmetalle umfasst, B B und/oder Ga umfasst. Ferner können Phosphore, die übliche Seltenerdmetalle (z. B. Eu, Tb, Ce, Dy, Er, Pr und/oder Tm) und Übergangs- oder Hauptgruppenelemente (z. B. Mn, Cr, Ti, Ag, Cu, Zn, Bi, Pb, Sn und/oder Tl) als fluoreszente Aktivatoren enthalten, bei Projektivfluoreszenzanzeigen angewandt werden. Einige nicht dotierte Materialien (z. B. Metall, Ca, Zn, Cd, Wolframate, Metallvanadate und ZnO) sind auch lumineszierende Materialien und können bei Projektivfluoreszenzanzeigen angewandt werden.
  • Die organischen Farbstoffe und anorganischen Phosphore können in die Glas- oder Kunststoffwirte gefüllt oder als Beschichtung an diesen vorgesehen werden, um eine fluoreszente transparente Projektionsfläche vorzubereiten. Die Farbstoffmoleküle streuen das sichtbare Licht nicht, wenn sie in den Wirten aufgelöst sind, obwohl sie einen Teil des sichtbaren Lichts absorbieren können und den Wirten eine Farbtönung verleihen können. Im Gegensatz dazu streuen größere Phosphorpartikel sichtbares Licht, was die optische Transparenz der Wirte beeinflusst. Ausführungsformen stehen mit verschiedenen Ansätzen in Beziehung, um die Streuung der Phosphorpartikel in Bezug auf sichtbares Licht zu reduzieren. Bei Ausführungsformen wird die Größe der Phosphorpartikel reduziert. Bei Ausführungsformen wird die Konzentration von Phosphorpartikeln reduziert und in dem Wirt gleichmäßig verteilt. Bei Ausführungsformen werden Wirte gewählt, deren Brechungsindex nahe an dem der Phosphore liegt, um die Streuung zu reduzieren, oder werden Phosphore gewählt, deren Brechungsindex nahe an dem der Wirte liegt.
  • Bekannte Fahrzeugsysteme verwenden Sensoren, Eingänge von verschiedenen Einrichtungen und eine fahrzeugeigene oder entfernte Verarbeitung, um eine Information bezüglich der Umgebung, die das Fahrzeug umgibt, herzustellen. Beispielsweise verwenden Systeme eines adaptiven Tempomaten Sensoren, wie beispielsweise Radareinrichtungen, um Objekte, wie beispielsweise ein Zielfahrzeug vor dem Host-Fahrzeug, zu verfolgen und die Fahrzeuggeschwindigkeit gemäß einer Entfernung und einer Entfernungsänderung, die in Bezug auf das Zielfahrzeug erfasst werden, anzupassen. Kollisionsvermeidungs- oder -vorbereitungssysteme analysieren Objekte, die auf dem Pfad des Fahrzeugs erfasst werden, und treffen Maßnahmen auf der Grundlage einer wahrgenommenen Wahrscheinlichkeit einer Kollision zwischen dem erfassten Objekt und dem Fahrzeug. Spureinhaltesysteme verwenden einen verfügbaren Sensor und verfügbare Daten, um ein Fahrzeug innerhalb der Spurmarkierungen zu halten.
  • 12 zeigt ein schematisches Diagramm des Systems des Fahrzeugs 710, das mit einem Zielverfolgungssystem aufgebaut wurde, gemäß der vorliegenden Offenbarung. Das beispielhafte Fahrzeug umfasst einen Personenkraftwagen, der zur Verwendung auf Schnellstraßen vorgesehen ist, wobei anzumerken sei, dass die hierin beschriebene Offenbarung auf jedes Fahrzeug oder jedes andere System anwendbar ist, das die Position und Trajektorie von entfernten Fahrzeugen und anderen Objekten überwachen möchte. Das Fahrzeug umfasst ein Steuersystem, das verschiedene Algorithmen und Kalibrierungen enthält, die zu verschiedenen Zeitpunkten ausgeführt werden. Das Steuersystem ist vorzugsweise eine Teilmenge einer gesamten Fahrzeugsteuerarchitektur, die dazu dient, eine koordinierte Fahrzeugsystemsteuerung bereitzustellen. Das Steuersystem dient dazu, Eingänge von verschiedenen Sensoren zu überwachen, entsprechende Informationen und Eingänge zu synthetisieren und Algorithmen zum Steuern verschiedener Aktoren, um Steuerziele zu erreichen, auszuführen, wobei Parameter wie beispielsweise eine Kollisionsvermeidung und ein adaptiver Tempomat umfasst sind. Die Fahrzeugsteuerarchitektur umfasst mehrere verteilte Prozessoren und Einrichtungen, die einen System-Controller umfassen, der eine Funktionalität, wie beispielsweise ein Antiblockiersystem, eine Traktionssteuerung und eine Fahrzeugstabilität, bereitstellt.
  • In Bezug auf 12–14 umfasst das beispielhafte Fahrzeug 710 ein Steuersystem mit einem Beobachtungsmodul 722, einem Datenzuordnungs- und Clustering-Modul (DAC-Modul von data association and clustering module) 724, das ferner ein Kalman-Filter 724A umfasst, und einem Verfolgungslebensdauerverwaltungsmodul (TLM-Modul von track life management module) 726, das eine Verfolgungsliste 726A verfolgt, die mehrere Objektverfolgungen umfasst. Genauer gesagt umfasst das Beobachtungsmodul die Sensoren 714 und 716, ihre jeweiligen Sensorprozessoren und die Verbindung zwischen den Sensoren, den Sensorprozessoren und dem DAC-Modul.
  • Das beispielhafte Erfassungssystem umfasst vorzugsweise Objektlokalisierungssensoren, die mindestens zwei nach vorn gerichtete Entfernungserfassungseinrichtungen 714 und 176 und begleitende Subsysteme oder Prozessoren 714A und 716A umfassen. Die Objektlokalisierungssensoren können ein Nahbereichsradarsubsystem, ein Fernbereichsradarsubsystem und ein Vorwärtssichtsubsystem umfassen. Die Objektlokalisierungserfassungseinrichtungen können beliebige Entfernungssensoren umfassen, wie beispielsweise FM-CW-Radare (Frequency Modulated Continuous Wave-Radare), Impuls- und FSK-Radare (Frequency Shift Keying-Radare) und Lidar-Einrichtungen (Light Detection and Ranging-Einrichtungen) und Ultraschalleinrichtungen, die auf Effekten, wie beispielsweise Doppler-Effekt-Messungen, beruhen, um sich vorne befindende Objekte zu lokalisieren. Die möglichen Objektlokalisierungseinrichtungen umfassen ladungsgekoppelte Einrichtungen (CCD von charged-coupled devices) oder Komplementärmetalloxidhalbleiter-Videobildsensoren (CMOS-Videobildsensoren von complementary metal oxide semiconductor vdeo image sensors) und andere bekannte Kamera-/Videobildprozessoren, die Verfahren einer digitalen Fotografie verwendet, um sich vorne befindende Objekte zu ”sehen”. Solche Erfassungssysteme werden zum Detektieren und Lokalisieren von Objekten in Kraftfahrzeuganwendungen eingesetzt, die mit Systemen verwendet werden können, die z. B. einen adaptiven Tempomat, eine Kollisionsvermeidung, eine Kollisionsvorbereitung und eine Seitenobjektdetektion umfassen. Das beispielhafte Fahrzeugsystem kann auch ein globales Positionsbestimmungssystem (GPS-System) umfassen.
  • Diese Sensoren sind vorzugsweise innerhalb des Fahrzeugs 710 an relativ hindernisfreien Positionen relativ zu einer Sicht vor dem Fahrzeug positioniert. Es sei auch angemerkt, dass jeder dieser Sensoren einen Schätzwert eines tatsächlichen Orts oder einer tatsächlichen Bedingung eines Zielobjekts bereitstellt, wobei der Schätzwert eine geschätzte Position und eine Standardabweichung umfasst. Somit werden eine Sensordetektion und eine Messung von Objektorten und Bedingungen typischerweise als ”Schätzwerte” bezeichnet. Es sei ferner angemerkt, dass die Eigenschaften dieser Sensoren darin komplementär sind, dass einige beim Schätzen bestimmter Parameter zuverlässiger sind als andere. Herkömmliche Sensoren weisen verschiedene Betriebsreichweiten und Winkelabdeckungen auf und können innerhalb ihrer Betriebsreichweite verschiedene Parameter abschätzen. Beispielsweise können Radarsensoren für gewöhnlich die Entfernung, die Entfernungsänderung und den Azimutort eines Objekts schätzen, sie sind normalerweise jedoch beim Schätzen des Umfangs eines detektierten Objekts nicht stabil. Eine Kamera mit Sichtprozessor ist beim Schätzen einer Form und einer Azimutposition des Objekts stabiler, ist jedoch beim Schätzen der Entfernung und Entfernungsänderung des Objekts weniger effizient. Lidare vom Abtasttyp arbeiten in Bezug auf das Schätzen von Entfernung und Azimutposition effizient und genau, können jedoch typischerweise die Entfernungsänderung nicht abschätzen und sind daher in Bezug auf eine Erlangung/Erkennung eines neuen Objekts nicht genau. Ultraschallsensoren können eine Entfernung abschätzen, können jedoch im Allgemeinen nicht die Entfernungsänderung und die Azimutposition schätzen oder berechnen. Ferner sei angemerkt, dass das Leistungsvermögen jeder Sensortechnologie durch unterschiedliche Umgebungsbedingungen beeinflusst wird. Somit stellen herkömmliche Sensoren parametrische Abweichungen dar, wobei, was noch wichtiger ist, die wirksame Überlappung dieser Sensoren Möglichkeiten für eine Sensorvereinigung erzeugt.
  • Jeder Objektlokalisierungssensor und jedes Subsystem stellt einen Ausgang bereit, der eine Entfernung R, eine zeitbasierte Entfernungsänderung R_dot und einen Winkel Θ, vorzugsweise in Bezug auf eine Längsachse des Fahrzeugs, umfasst und als Messvektor (°) geschrieben werden kann, d. h. Sensordaten. Ein beispielhaftes Nahbereichsradarsubsystem weist ein Sichtfeld (FOV von field-of-view) von 160 Grad und eine maximale Reichweite von dreißig Metern auf. Ein beispielhaftes Fernbereichsradarsubsystem weist ein Sichtfeld von 17 Grad und eine maximale Reichweite von 220 Metern auf. Ein beispielhaftes Vorwärtssichtsubsystem weist ein Sichtfeld von 45 Grad und eine maximale Reichweite von fünfzig (50) Metern auf. Für jedes Subsystem ist das Sichtfeld vorzugsweise um die Längsachse des Fahrzeugs 710 ausgerichtet. Das Fahrzeug ist vorzugsweise auf ein Koordinatensystem, bezeichnet als XY-Koordinatensystem 720, ausgerichtet, wobei die Längsachse des Fahrzeugs 710 die X-Achse mit einer Ortslinie an einem Punkt, der für das Fahrzeug und eine Signalverarbeitung geeignet ist, festlegt, und wobei die Y-Achse durch eine Achse festgelegt ist, die orthogonal zur Längsachse des Fahrzeugs 710 ist und in einer horizontalen Ebene liegt, die somit parallel zur Bodenfläche ist.
  • 14 zeigt einen beispielhaften Datenvereinigungsprozess gemäß der vorliegenden Offenbarung. Wie in 14 gezeigt umfasst das dargestellte Beobachtungsmodul einen ersten Sensor 714, der an einem diskreten Punkt A an dem Fahrzeug angeordnet und ausgerichtet ist, einen ersten Signalprozessor 714A, einen zweiten Sensor 716, der an einem diskreten Punkt B an dem Fahrzeug angeordnet und ausgerichtet ist und einen zweiten Signalprozessor 716A. Der erste Prozessor 714A wandelt Signale (bezeichnet als Messung ∘A), die von dem ersten Sensor 714 empfangen werden, um, um eine Entfernung (RA), eine zeitliche Entfernungsänderung (R_dotA) und einen Azimutwinkel (ΘA), die für jede zeitliche Messung des Zielobjekts 730 geschätzt werden, zu ermitteln. Ähnlich wandelt der zweite Prozessor 716A Signale (bezeichnet als Messung ∘B), die von dem zweiten Sensor 716 empfangen werden, um, um einen zweiten Satz von Schätzwerten der Entfernung (RB), der Entfernungsänderung (R_dotB) und des Azimutwinkels (ΘB) für das Objekt 730 zu ermitteln.
  • Das beispielhafte DAC-Modul 724 umfasst einen Controller 728, in dem ein Algorithmus und eine zugeordnete Kalibrierung (nicht gezeigt) gespeichert sind und der ausgestaltet ist, um die Schätzwertdaten von jedem der Sensoren A, B zu empfangen, um Daten in Verfolgungen einer gleichen Beobachtung zu bündeln bzw. clustern (d. h. zeitlich übereinstimmende Beobachtungen für das Objekt 730 durch die Sensoren 714 und 716 über eine Reihe von diskreten zeitlichen Ereignissen), und um die gebündelten Beobachtungen zu vereinigen, um einen wahren Verfolgungsstatus zu ermitteln. Es ist zu verstehen, dass das Vereinigen von Daten unter Verwendung verschiedener Erfassungssysteme und Technologien stabile Ergebnisse liefert. Wieder sei angemerkt, dass bei dieser Technik eine beliebige Anzahl von Sensoren verwendet werden kann. Es sei jedoch auch angemerkt, dass eine erhöhte Anzahl von Sensoren zu einer erhöhten Algorithmuskomplexität und dem Erfordernis von mehr Rechenleistung zum Erzeugen von Ergebnissen innerhalb des gleichen Zeitrahmens führt. Der Controller 728 ist in dem Host-Fahrzeug 710 untergebracht, kann jedoch auch an einem entfernten Ort angeordnet sein. Diesbezüglich ist der Controller 728 elektrisch mit den Sensorprozessoren 714A, 716A gekoppelt, kann jedoch auch drahtlos über eine HF-, LAN-, Infrarot- oder eine andere herkömmliche Drahtlostechnologie gekoppelt sein. Das TLM-Modul 726 ist ausgestaltet, um vereinigte Beobachtungen in einer Liste von Verfolgungen 726A zu empfangen und zu speichern.
  • Eine Sensorregistrierung oder ”Ausrichtung” von Sensoren in einer Multizielverfolgungsvereinigung (”MTT-Vereinigung” von multi-target tracking fusion) umfasst das Ermitteln des Orts, der Ausrichtung und des systematischen Fehlers (System-Bias) von Sensoren zusammen mit Zielzustandsvariablen. In einem allgemeinen MTT-System mit einer Sensorregistrierung wird eine Zielverfolgung während des Fahrzeugbetriebs erzeugt. Eine Verfolgung stellt ein physikalisches Objekt dar und umfasst eine Anzahl von Systemzustandsvariablen, die z. B. Position und Geschwindigkeit umfassen. Messungen von jedem einzelnen Sensor wird für gewöhnlich eine bestimmte Zielverfolgung zugeordnet. In der Technik ist eine Anzahl von Sensorregistrierungstechniken bekannt, und sie werden hierin nicht ausführlich erläutert.
  • Die schematische Darstellung von 12 umfasst die zuvor genannten Objektlokalisierungssensoren 714 und 716, die an dem beispielhaften Fahrzeug an den Positionen A und B angebracht sind und vorzugsweise an der Vorderseite des Fahrzeugs 710 angebracht sind. Das Zielobjekt 730 bewegt sich von dem Fahrzeug weg, wobei t1, t2 und t3 drei aufeinander folgende Zeitrahmen bezeichnen. Die Linien ra1-ra2-ra3, rf1-rf2-rf3 bzw. rb1-rb2-rb3 stellen die Orte des Ziels dar, gemessen durch den ersten Sensor 714, den Vereinigungsprozessor und den zweiten Sensor 716 zu Zeitpunkten t1, t2 und t3, gemessen hinsichtlich ∘A = (RA, R_dotA, ΘA) und ∘B = (RB, R_dotB, ΘB) unter Verwendung der Sensoren 714 und 716, die an den Punkten A, B angeordnet sind.
  • Ein bekannter beispielhafter Trajektorievereinigungsprozess wie zum Beispiel der, der in dem US-Patent Nr. 7,460,951 mit dem Titel SYSTEM AND METHOD OF TARGET TRACKING USING SENSOR FUSION, dessen Offenbarungsgehalt hierin durch Bezugnahme vollständig miteingeschlossen ist, offenbart ist, ermöglicht das Ermitteln einer Position einer Einrichtung in dem XY-Koordinatensystem relativ zu dem Fahrzeug. Der Vereinigungsprozess umfasst das Messen des Zielobjekts 730 hinsichtlich ∘A = (RA, R_dotA, ΘA) und ∘B = (RB, R_dotB, ΘB) unter Verwendung der Sensoren 714 und 716, die an den Punkten A, B angeordnet sind. Es wird ein vereinigter Ort für das Zielobjekt 730 ermittelt, der als x = (RF, R_dotF, ΘF, ΘF_dot) dargestellt wird und hinsichtlich Entfernung R und Winkel Θ beschrieben wird, wie zuvor beschrieben. Die Position des sich vorne befindenden Objekts 730 wird dann in parametrische Koordinaten relativ zu dem XY-Koordinatensystem des Fahrzeugs umgewandelt. Das Steuersystem verwendet vorzugsweise Trajektorien einer vereinigten Verfolgung (Linie rf1, rf2, rf3), die mehrere vereinigte Objekte umfassen, als Bezugspunkt, d. h. Ground Truth, um wahre Sensorpositionen für die Sensoren 714 und 716 zu schätzen. Wie in 12 gezeigt, wird die Trajektorie einer vereinigten Verfolgung durch das Zielobjekt 730 in Zeitserien t1, t2 und t3 geliefert. Unter Verwendung einer großen Anzahl von zugeordneten Objektkorrespondenzen, wie beispielsweise {(ra1, rf1, rb1), (ra2, rf2, rb2), (ra3, rf3, rb3)} können die wahren Positionen der Sensoren 714 und 716 an den Punkten A bzw. B berechnet werden, um Reste zu minimieren, wobei vorzugsweise ein bekanntes Berechnungsverfahren der kleinsten Quadrate eingesetzt wird. In 12 bezeichnen die mit ra1, ra2 und ra3 bezeichneten Elemente eine Objektabbildung, die durch den ersten Sensor 714 gemessen wird. Die mit rb1, rb2 und rb3 bezeichneten Elemente bezeichnen eine Objektabbildung, die durch den zweiten Sensor 716 beobachtet wird.
  • 13 zeigt einen Informationsfluss, der beim Erzeugen einer Verfolgungsliste verwendet wird, gemäß der vorliegenden Offenbarung. In 13 werden die referenzierten Verfolgungen vorzugsweise in dem oben beschriebenen Sensorvereinigungsblock 728 von 14 berechnet und ermittelt. Der Prozess einer Sensorregistrierung umfasst das Ermitteln relativer Orte der Sensoren 714 und 716 und der Beziehung zwischen ihren Koordinatensystemen und dem Rahmen des Fahrzeugs, identifiziert durch das XY-Koordinatensystem. Nachstehend wird eine Registrierung für einen einzelnen Objektsensor 716 beschrieben. Alle Objektsensoren werden vorzugsweise ähnlich behandelt. Für eine Objektabbildungskompensation werden vorzugsweise das Sensorkoordinatensystem oder der Sensorkoordinatenrahmen, d. h. das UV-Koordinatensystem, und der Fahrzeugkoordinatenrahmen, d. h. das XY-Koordinatensystem, verwendet. Das Sensorkoordinatensystem (u, v) ist vorzugsweise definiert durch: (1) einen Ursprung am Mittelpunkt des Sensors; (2) die v-Achse verläuft entlang der Längsrichtung (Mittelachse); und (3) eine u-Achse ist senkrecht zur v-Achse und zeigt nach rechts. Das Fahrzeugkoordinatensystem wird wie zuvor beschrieben mit (x, y) bezeichnet, wobei die x-Achse eine Fahrzeuglängsachse bezeichnet und die y-Achse die Fahrzeugquerachse bezeichnet.
  • Die Verfolgungsorte (x) können in dem XY-Koordinatensystem mit (r) ausgedrückt werden. Die Sensormessung (o) kann in der UV-Koordinate mit (q) ausgedrückt werden. Die Sensorregistrierungsparameter (a) umfassen eine Rotation (R) und eine Translation (r0) des UV-Koordinatensystems.
  • 15 zeigt eine beispielhafte gemeinsame Verfolgung und Sensorregistrierung einer Datenflussfreigabe gemäß der vorliegenden Offenbarung. Das Verfahren wird beim Empfang von Sensordaten initiiert. Ein Datenzuordnungsmodul bringt die Sensordaten mit dem vorhergesagten Ort eines Ziels in Übereinstimmung. Das Modul einer gemeinsamen Verfolgung und Registrierung kombiniert die vorherige Schätzung (d. h. a priori) mit neuen Daten (d. h. in Übereinstimmung gebrachte Messungsverfolgungspaare), und aktualisiert die Zielverfolgungsschätzungs- und Sensorregistrierungsdaten in der Datenbank. Das Zeitausbreitungsprozessmodul sagt die Zielverfolgungen oder Sensorregistrierungsparameter im nächsten Zeitzyklus auf der Grundlage der Sensorregistrierung in der Vergangenheit, der Verfolgungen und der momentanen Fahrzeugkinematik über ein Dynamikmodell vorher. Es wird für gewöhnlich angenommen, dass die Sensorregistrierungsparameter im Wesentlichen konstant über der Zeit sind. Die Konfidenz der Registrierungsparameter akkumuliert sich über der Zeit. Es wird jedoch eine A-priori-Information über die Registrierung auf Null zurückgesetzt, wenn eine signifikante Sensorregistrierungsänderung detektiert wird (z. B. eine Fahrzeugkollision).
  • Objektverfolgungen können für eine Vielzahl von Zwecken verwendet werden, die einen adaptiven Tempomaten umfassen, bei dem das Fahrzeug die Geschwindigkeit anpasst, um eine minimale Distanz zu Fahrzeugen an dem aktuellen Pfad aufrechtzuerhalten, wie es oben beschrieben ist. Ein anderes ähnliches System, bei dem Objektverfolgungen verwendet werden können, ist ein Kollisionsvorbereitungssystem (CPS von collision preparation system), bei dem identifizierte Objektverfolgungen analysiert werden, um eine wahrscheinlich bevorstehende oder unmittelbar bevorstehende Kollision auf der Grundlage der Verfolgungsbewegung relativ zu dem Fahrzeug zu identifizieren. Ein CPS warnt den Fahrer vor einer bevorstehenden Kollision und reduziert die Kollisionsschwere durch automatisches Bremsen, wenn eine Kollision als unvermeidbar betrachtet wird. Es wird ein Verfahren zum Verwenden eines Vereinigungsmoduls mehrerer Objekte mit einem CPS offenbart, das Gegenmaßnahmen bereitstellt, wie beispielsweise eine Sitzgurtstraffung, einen Drosselleerlauf, ein automatisches Bremsen, eine Airbag-Vorbereitung, eine Anpassung der Kopfstützen, eine Hupen- und Scheinwerferaktivierung, eine Anpassung der Pedale oder der Lenksäule, Anpassungen auf der Grundlage einer geschätzten relativen Aufprallgeschwindigkeit, Anpassungen der Aufhängungssteuerung und Anpassungen von Stabilitätssteuersystemen, wenn eine Kollision als unmittelbar bevorstehend ermittelt wird.
  • 16 zeigt schematisch ein beispielhaftes System, bei dem Sensoreingänge zu Objektverfolgungen vereinigt werden, die bei einem Kollisionsvorbereitungssystem nützlich sind, gemäß der vorliegenden Offenbarung. Eingänge, die mit Objekten in einer Umgebung um das Fahrzeug herum in Beziehung stehen, werden durch ein Datenvereinigungsmodul überwacht. Das Datenvereinigungsmodul analysiert, filtert oder priorisiert die Eingänge relativ zu der Zuverlässigkeit der verschiedenen Eingänge, und die priorisierten oder gewichteten Eingänge werden summiert, um Verfolgungsschätzwerte für Objekte vor dem Fahrzeug zu erzeugen. Diese Objektverfolgungen werden dann in das Kollisionsgefahrenbewertungsmodul eingegeben, wobei jede Verfolgung hinsichtlich einer Wahrscheinlichkeit für eine Kollision bewertet wird. Diese Wahrscheinlichkeit für eine Kollision kann beispielsweise hinsichtlich einer Schwellenwertwahrscheinlichkeit für eine Kollision bewertet werden, und wenn eine Kollision als wahrscheinlich bestimmt wird, können Kollisionsgegenmaßnahmen initiiert werden.
  • Wie es in 16 gezeigt ist, überwacht ein CPS kontinuierlich die umgebende Umgebung unter Verwendung seiner Entfernungssensoren (z. B. Radare und LIDARe) und Kameras und trifft es geeignete Gegenmaßnahmen, um Vorfälle oder Situationen zu vermeiden, die sich zu einer Kollision entwickeln. Eine Kollisionsgefahrenbewertung erzeugt einen Ausgang für den Systembediener, um darauf zu reagieren.
  • Wie in 16 beschrieben ist ein Vereinigungsmodul nützlich, um einen Eingang von verschiedenen Erfassungseinrichtungen zu integrieren und eine vereinigte Verfolgung eines Objekts vor dem Fahrzeug zu erzeugen. Die in 16 erzeugte vereinigte Verfolgung umfasst einen Datenschätzwert eines relativen Orts und einer Trajektorie eines Objekts relativ zu dem Fahrzeug. Dieser Datenschätzwert, der auf Radar- und anderen Entfernungsfindungssensoreingängen basiert, ist nützlich, umfasst jedoch die Unsicherheiten und Ungenauigkeit der Sensoreinrichtungen, die zum Erzeugen der Verfolgung verwendet werden. Wie oben beschrieben können verschiedene Sensoreingänge gemeinsam verwendet werden, um die Genauigkeit der Schätzwerte zu verbessern, die in der erzeugten Verfolgung umfasst sind. Im Speziellen erfordert eine Anwendung mit eingreifenden Konsequenzen, wie beispielsweise ein automatisches Bremsen und ein möglicher Airbag-Einsatz, eine hohe Genauigkeit beim Vorhersagen einer unmittelbar bevorstehenden Kollision, da falsche positive Ergebnisse eine starke Auswirkung auf das Fahrverhalten des Fahrzeugs haben können und verpasste Hinweise zu funktionsunfähigen Sicherheitssystemen führen können.
  • Sichtsysteme stellen eine alternative Quelle eines Sensoreingangs zur Verwendung bei Fahrzeugsteuersystemen bereit. Es ist in der Technik bekannt, dass Verfahren zum Analysieren einer visuellen Information eine Mustererkennung, eine Eckendetektion, eine Detektion vertikaler Kanten, eine Erkennung vertikaler Objekte und andere Verfahren umfassen. Es sei jedoch angemerkt, dass visuelle Darstellungen mit hoher Auflösung des Felds vor einem Fahrzeug, die mit einer hohen Rate aktualisiert werden, die notwendig ist, um die Bewegungen in Echtzeit wahrzunehmen, einen sehr großen zu analysierenden Umfang an Informationen umfassen. Eine Echtzeitanalyse einer visuellen Information kann äußerst aufwändig sein. Es wird ein Verfahren zum Vereinigen eines Eingangs von einem Sichtsystem mit einer vereinigten Verfolgung offenbart, die durch Verfahren, wie beispielsweise das oben beschriebene beispielhafte Verfolgungsvereinigungsverfahren, erzeugt wird, um eine Sichtanalyse auf einen Teil der visuellen Information zu richten, der am wahrscheinlichsten eine Kollisionsgefahr darstellt, und wobei die fokussierte Analyse verwendet wird, um auf ein wahrscheinlich unmittelbar bevorstehendes Kollisionsereignis hinzuweisen.
  • 17 zeigt schematisch ein beispielhaftes Bildvereinigungsmodul gemäß der vorliegenden Offenbarung. Das Vereinigungsmodul von 17 überwacht als Eingänge Entfernungssensordaten, die Objektverfolgungen und Kameradaten umfassen. Die Objektverfolgungsinformation wird verwendet, um ein Bildstück oder einen definierten interessierenden Bereich in den visuellen Daten entsprechend einer Objektverfolgungsinformation zu extrahieren. Als Nächstes werden Bereiche in dem Bildstück analysiert und werden Merkmale oder Muster in den Daten, die ein Objekt in dem Stück angeben, extrahiert. Die extrahierten Merkmale werden dann gemäß einer beliebigen Anzahl von Klassifizierern klassifiziert. Eine beispielhafte Klassifizierung kann eine Klassifizierung als ein sich schnell bewegendes Objekt, wie beispielsweise ein sich bewegendes Fahrzeug, ein sich langsam bewegendes Objekt, wie beispielsweise ein Fußgänger, und ein stationäres Objekt, wie beispielsweise ein Verkehrsschild, umfassen. Daten, die die Klassifizierung umfassen, werden dann gemäß einer Datenzuordnung analysiert, um eine sichtvereinigungsbasierte Verfolgung zu bilden. Diese Verfolgungen und zugeordnete Daten bezüglich des Stücks werden dann für einen iterativen Vergleich mit neuen Daten und für eine Vorhersage einer relativen Bewegung für das Fahrzeug gespeichert, wobei ein wahrscheinliches oder unmittelbar bevorstehendes Kollisionsereignis angedeutet wird. Ferner können ein interessierendes Gebiet oder interessierende Gebiete, die zuvor ausgewählte Bildstücke reflektieren, an das Modul weitergeleitet werden, das eine Bildstückextraktion durchführt, um eine Kontinuität in der Analyse von iterativen Sichtdaten bereitzustellen. Auf diese Weise werden Entfernungsdaten oder wird eine Entfernungsverfolgungsinformation der Bildebene überlagert, um eine Kollisionsereignisvorhersage oder eine Wahrscheinlichkeitsanalyse zu verbessern.
  • 19 zeigt beispielhafte einer entsprechenden Bildebene überlagerte Entfernungsdaten, die bei systeminternen Analysen verschiedener Zielobjekte nützlich sind, gemäß der vorliegenden Offenbarung. Die schraffierten Balken sind die Radarverfolgungen, die dem Bild einer nach vorne gerichteten Kamera überlagert sind. Das Positions- und Bildextraktionsmodul extrahiert die Bildstücke, die die Entfernungssensorverfolgungen umgeben. Das Merkmalsextraktionsmodul berechnet die Merkmale der Bildstücke unter Verwendung der folgenden Transformationen: Kanten, Gradientenorientierungshistogramm (HOG von histogram of gradient orientation), skaleninvariante Merkmalstransformation (SIFT von scale-invariant feature transform), Harris-Corner-Detektoren oder die auf einen linearen Subraum projizierten Stücke. Das Klassifizierungsmodul nimmt die extrahierten Merkmale als Eingang her und führt sie zu einem Klassifizierer, um zu ermitteln, ob ein Bildstück ein Objekt umgibt. Die Klassifizierung ermittelt das Kennzeichen jedes Bildstücks. Beispielsweise werden die Kasten A und B in 19 als Fahrzeuge identifiziert, während der nicht gekennzeichnete Kasten als Objekt am Straßenrand identifiziert wird. Das Vorhersageprozessmodul verwendet eine Information des Objekts aus der Vergangenheit (d. h. Position, Bildstück und Kennzeichen eines vorherigen Zyklus) und sagt die aktuellen Werte vorher. Die Datenzuordnung verbindet die aktuellen Messungen mit den vorhergesagten Objekten oder ermittelt, ob die Quelle einer Messung (d. h. Position, Bildstück und Kennzeichen) von einem spezifischen Objekt stammt. Schließlich wird der Objektverfolger aktiviert, um eine aktualisierte Position zu erzeugen und sie in den Objektverfolgungsdateien zu speichern.
  • 18 zeigt schematisch eine beispielhafte Bank von Kalman-Filtern, die arbeiten, um die Position und Geschwindigkeit einer Gruppe von Objekten zu schätzen, gemäß der vorliegenden Offenbarung. Es werden verschiedene Filter für verschiedene Ziele eines konstanten Rollens, Ziele mit Manövern mit hoher Längsrichtung und stationäre Ziele verwendet. Es wird ein Markov-Entscheidungsprozess-Modell (MDP-Modell von Markov decision process model) verwendet, um das Filter mit der Messung der größten Wahrscheinlichkeit auf der Grundlage der Beobachtung und des vorherigen Geschwindigkeitsprofils des Ziels auszuwählen. Dieses Multimodellfilterschema reduziert die Verfolgungslatenzzeit, was für eine CPS-Funktion wichtig ist.
  • Eine Reaktion auf wahrscheinliche Kollisionsereignisse kann auf der Grundlage einer erhöhten Wahrscheinlichkeit skaliert werden. Beispielsweise kann ein leichtes automatisches Bremsen in dem Fall, dass eine geringe Schwellenwertwahrscheinlichkeit ermittelt wird, verwendet werden, und können in Ansprechen auf die Ermittlung einer hohen Schwellenwertwahrscheinlichkeit drastischere Maßnahmen getroffen werden.
  • Ferner sei angemerkt, dass eine verbesserte Genauigkeit des Beurteilens der Wahrscheinlichkeit durch iteratives Trainieren der Alarmmodelle erreicht werden kann. Wenn beispielsweise ein Alarm ausgegeben wird, kann dem Fahrer durch eine Sprachaufforderung und eine Anfrage an einem Bildschirm oder durch ein beliebiges anderes Eingabeverfahren eine Überprüfungsoption bereitgestellt werden, die erfordert, dass der Fahrer bestätigt, ob der Alarm einer unmittelbar bevorstehenden Kollision angemessen war. Es ist eine Anzahl von Verfahren in der Technik bekannt, um korrekte Alarme, falsche Alarme oder verpasste Alarme anzupassen. Beispielsweise sind Maschinenlernalgorithmen in der Technik bekannt und können sie verwendet werden, um adaptiv eine Programmierung zu verwenden, die Gewichte und Gewichtungen alternativen Berechnungen in Abhängigkeit von der Natur der Rückmeldung zuordnet. Ferner kann eine Fuzzy-Logik verwendet werden, um Eingänge in ein System gemäß skalierbaren Faktoren auf der Grundlage einer Rückmeldung zu konditionieren. Auf diese Weise kann eine Genauigkeit des Systems über der Zeit und basierend auf den bestimmten Fahrgewohnheiten eines Bedieners verbessert werden.
  • Es sei angemerkt, dass ähnliche Verfahren, die durch das CPS eingesetzt werden, in einem Kollisionsvermeidungssystem verwendet werden können. Häufig umfassen solche Systeme Warnungen für den Bediener, eine automatische Bremsaktivierung, eine automatische Quersteuerung des Fahrzeugs, Änderungen eines Aufhängungssteuersystems oder andere Aktionen, die das Fahrzeug beim Vermeiden einer wahrgenommenen potentiellen Kollision unterstützen sollen.
  • Ferner sind zahlreiche Verfahren zum Erreichen eines Spurhaltens oder Einordnen eines Fahrzeugs innerhalb einer Spur durch Sensoreingaben bekannt. Beispielsweise kann ein Verfahren eine visuelle Information analysieren, die aufgezeichnete Linien auf einer Fahrbahn umfasst, und jene Markierungen verwenden, um das Fahrzeug innerhalb einer Spur anzuordnen. Einige Verfahren verwenden Verfolgungen anderer Fahrzeuge, um das Herstellen einer Spurgeometrie in Bezug auf das Fahrzeug zu synthetisieren oder zu unterstützen. GPS-Einrichtungen, die in Verbindung mit 3D-Kartendatenbanken verwendet werden, ermöglichen ein Schätzen eines Orts eines Fahrzeugs gemäß globalen GPS-Koordinaten und ein Überlagern dieser Position mit bekannten Straßengeometrien.
  • Es wird ein beispielhaftes Verfahren zum Erzeugen von Schätzwerten einer Geometrie einer Fahrspur für ein Fahrzeug auf einer Straße offenbart. Das Verfahren umfasst das Überwachen von Daten von einer Einrichtung einer globalen Positionsbestimmung, das Überwachen von Kartenwegpunktdaten, die eine projizierte Fahrtroute auf der Grundlage eines Startpunkts und eines Ziels beschreiben, das Überwachen von Kameradaten von einem Sichtsubsystem, das Überwachen von Fahrzeugkinematikdaten, die umfassen: eine Fahrzeuggeschwindigkeit und eine Fahrzeuggierrate, das Ermitteln einer Spurgeometrie in einem Bereich des Fahrzeugs auf der Grundlage der Kartenwegpunktdaten und einer Kartendatenbank, das Ermitteln einer Fahrzeugposition in Bezug auf die Spurgeometrie auf der Grundlage der Spurgeometrie, der Daten von der Einrichtung einer globalen Positionsbestimmung und der Kameradaten, das Ermitteln einer Straßenkrümmung an der Fahrzeugposition auf der Grundlage der Fahrzeugposition, der Kameradaten und der Fahrzeugkinematikdaten, das Ermitteln der Fahrzeugausrichtung und des Fahrzeuglateralversatzes von einem Mittelpunkt der Fahrspur auf der Grundlage der Straßenkrümmung, der Kameradaten und der Fahrzeugkinematik und das Verwenden der Fahrzeugposition, der Straßenkrümmung, der Fahrzeugausrichtung und des Fahrzeuglateralversatzes in einem Steuerschema des Fahrzeugs.
  • 20 zeigt ein beispielhaftes Fahrzeug, das einen Sensor verwendet, um Straßengeometriedaten vor dem Fahrzeug zu erlangen, gemäß der vorliegenden Offenbarung. Das beispielhafte Fahrzeug umfasst einen Personenkraftwagen, der zur Verwendung auf Schnellstraßen vorgesehen ist, wobei anzumerken sei, dass die hierin beschriebene Offenbarung auf jedes Fahrzeug oder jedes andere System anwendbar ist, das die Position und Trajektorie von entfernten Fahrzeugen und anderen Objekten überwachen möchte. Das Fahrzeug umfasst ein Steuersystem, das verschiedene Algorithmen und Kalibrierungen enthält, die zu verschiedenen Zeitpunkten ausgeführt werden. Das Steuersystem ist vorzugsweise ein Teilsatz einer gesamten Fahrzeugsteuerarchitektur und stellt eine koordinierte Fahrzeugsystemsteuerung bereit. Das Steuersystem überwacht Eingänge von verschiedenen Sensoren, synthetisiert entsprechende Informationen und Eingänge und führt Algorithmen zum Steuern verschiedener Aktoren, um Steuerziele zu erreichen, aus, um beispielsweise eine Kollisionsvermeidung und einen adaptiven Tempomat zu realisieren. Die Fahrzeugsteuerarchitektur umfasst mehrere verteilte Prozessoren und Einrichtungen, die einen System-Controller umfassen, der eine Funktionalität, wie beispielsweise ein Antiblockiersystem, eine Traktionssteuerung und eine Fahrzeugstabilität, bereitstellt.
  • In der beispielhaften Ausführungsform von 20 umfasst ein Fahrzeug 760 ein Sichtsubsystem 766. Das Sichtsubsystem 766 verwendet eine Kamera oder eine Bilderfassungseinrichtung, die eine digitale Bilddarstellung des Bereichs vor dem Fahrzeug erzeugen kann. Die Daten von dem Sichtsubsystem 766 werden verwendet, um die Bedingungen vor dem Fahrzeug zu beschreiben, und werden in Bezug auf die Mittelachse des Fahrzeugs 760 in ein XY-Koordinatensystem 770 übersetzt. Durch die gestrichelten Linien ist ein beispielhaftes Sichtfeld für das Sichtsubsystem gezeigt. Gemäß Spurmarkierungen 775A und 775B ist eine Fahrspur auf der Straße gezeigt, und allgemeine Merkmale können visuell detektiert und verwendet werden, um eine Spurgeometrie relativ zum Fahrzeug 760 zu beschreiben. Auf diese Weise kann durch Fachleuten bekannte Verfahren eine aus der Analyse von Bild- oder Kameradaten erhaltene Information als Bedingungen in Bezug auf die Vorwärtsfahrt des Fahrzeugs 760 verwendet werden.
  • Jeder Prozessor in dem System ist vorzugsweise ein digitaler Universalrechner, der im Wesentlichen einen Mikroprozessor oder eine zentrale Verarbeitungseinheit, einen Nurlesespeicher (ROM), einen Direktzugriffsspeicher (RAM), einen elektrisch programmierbaren Nurlesespeicher (EPROM), einen Hochgeschwindigkeitstakt, einen Analog-Digital-(A/D-) und einen Digital-Analog-(D/A-)Schaltkreis und einen Eingabe/Ausgabe-Schaltkreis und Eingabe/Ausgabe-Einrichtungen (I/O) und einen geeigneten Signalkonditionierungs- und -pufferschaltkreis umfasst. Jeder Prozessor weist einen Satz von Steueralgorithmen auf, die in dem ROM gespeicherte residente Programmanweisungen und Kalibrierungen umfassen und ausgeführt werden, um die jeweiligen Funktionen bereitzustellen.
  • Hierin beschriebene Algorithmen werden typischerweise während voreingestellter Schleifenzyklen ausgeführt, so dass jeder Algorithmus mindestens einmal in jedem Schleifenzyklus ausgeführt wird. In den nichtflüchtigen Speichereinrichtungen gespeicherte Algorithmen werden von einer der zentralen Verarbeitungseinheiten ausgeführt und dienen dazu, Eingänge von den Erfassungseinrichtungen zu überwachen und Steuer- und Diagnoseroutinen auszuführen, um den Betrieb einer jeweiligen Einrichtung zu steuern, wobei voreingestellte Kalibrierungen verwendet werden. Schleifenzyklen werden typischerweise in regelmäßigen Intervallen ausgeführt, zum Beispiel alle 3, 6,25, 15, 25 und 100 Millisekunden während eines laufenden Fahrzeugbetriebs. Alternativ können Algorithmen in Ansprechen auf ein Stattfinden eines Ereignisses ausgeführt werden.
  • Die Sensoren, die durch das Fahrzeug 760 verwendet werden, wie beispielsweise ein Sichtsubsystem 766 oder eine andere Radar- oder Entfernungsmessungseinrichtung, sind vorzugsweise innerhalb des Fahrzeugs 760 an relativ hindernisfreien Positionen relativ zu einer Sicht vor dem Fahrzeug positioniert. Es sei auch angemerkt, dass alle diese Sensoren einen Schätzwert tatsächlicher Details der Straße oder von Objekten auf der Straße vor dem Fahrzeug bereitstellen. Es sei angemerkt, dass diese Schätzwerte keine exakten Orte sind und Standardabweichungen für jeden Schätzwert möglich sind. Es sei ferner angemerkt, dass die Eigenschaften dieser Sensoren darin komplementär sind, dass einige beim Schätzen bestimmter Parameter zuverlässiger sind als andere. Herkömmliche Sensoren weisen verschiedene Betriebsreichweiten und Winkelabdeckungen auf und können innerhalb ihrer Betriebsreichweite verschiedene Parameter abschätzen. Beispielsweise können Radarsensoren für gewöhnlich die Entfernung, die Entfernungsänderung und den Azimutort eines Objekts schätzen, sie sind normalerweise jedoch beim Schätzen des Umfangs eines detektierten Objekts nicht stabil. Eine Kamera mit Sichtprozessor ist beim Schätzen einer Form und einer Azimutposition des Objekts stabiler, ist jedoch beim Schätzen der Entfernung und Entfernungsänderung des Objekts weniger effizient. Lidare vom Abtasttyp arbeiten in Bezug auf das Schätzen von Entfernung und Azimutposition effizient und genau, können jedoch typischerweise die Entfernungsänderung nicht abschätzen und sind daher in Bezug auf eine Erlangung/Erkennung eines neuen Objekts nicht genau. Ultraschallsensoren können eine Entfernung abschätzen, können jedoch im Allgemeinen nicht die Entfernungsänderung und die Azimutposition schätzen oder berechnen. Sensoren, die die Kinematik des Fahrzeugs, wie beispielsweise Geschwindigkeit und Gierrate, beschreiben, sind nicht exakt und sind insbesondere beim Verfolgen kleiner Änderungen der Fahrzeugbewegung möglicherweise nicht stabil. Ferner sei angemerkt, dass das Leistungsvermögen jeder Sensortechnologie durch unterschiedliche Umgebungsbedingungen beeinflusst wird. Somit stellen herkömmliche Sensoren parametrische Abweichungen dar, deren wirksame Überlappung Möglichkeiten für eine Sensorvereinigung erzeugt.
  • Ein bevorzugtes Steuermodul umfasst einen Controller, in dem ein Algorithmus und eine zugeordnete Kalibrierung gespeichert sind und der ausgestaltet ist, um die Schätzwertdaten von verfügbaren Sensoren zu empfangen, um Daten in verwendbare Schätzungen der Bedingungen vor dem Fahrzeug zu bündeln bzw. zu clustern, und um die gebündelten Beobachtungen zu vereinigen, um die erforderliche Spurgeometrie und relative Fahrzeugpositionsschätzwerte zu ermitteln. Es ist zu verstehen, dass das Vereinigen von Daten unter Verwendung verschiedener Erfassungssysteme und -technologien stabile Ergebnisse liefert. Wieder sei angemerkt, dass bei dieser Technik eine beliebige Anzahl von Sensoren verwendet werden kann.
  • Es wird ein Verfahren zum Erzeugen und Aufrechterhalten von Schätzwerten einer Straßen- und Spurgeometrie innerhalb eines Systems bereitgestellt, wobei Messungen aus der Vergangenheit verwendet werden, um nachfolgende Verfolgungsdaten zu bewerten oder vorherzusagen. Beispielhafte Systeme erzeugen Schätzwerte auf der Grundlage von Funktionen zu einem Zeitpunkt T, um einen Systemzustand zum Zeitpunkt T + 1 zu beschreiben. Häufig wird, um eine Echtzeitschätzung zu unterstützen, eine Informationsanordnung zum Darstellen einer Gauss-Verteilung verwendet, um die Auswirkungen eines unbekannten Fehlers zu schätzen. Solche Systeme ermöglichen eine Sammlung und Vereinigung von Schätzungen der Straßenbedingungen vor dem Fahrzeug. Es sei jedoch angemerkt, dass solche Systeme, die Daten aus der Vergangenheit und eine Gauss-Verteilung verwenden, einen Eigenfehler umfassen, der auf Mittelwertbildungs- und Normalverteilungsannahmen basiert. Beispielsweise hat in einem Spurgeometrieschätzungsbetrieb, der eine geschätzte sichere Fahrspur festlegt, auf der das Fahrzeug fahren kann, eine gerade Spur hinter einem Fahrzeug keine tatsächliche vermindernde Auswirkung auf eine scharfe Kurve der Straße vor dem Fahrzeug. Eine Divergenz von Daten bezüglich der Spur vor dem Fahrzeug wird nicht notwendigerweise durch die Anwendung eines Zufallsvektors mit einer Gauss-Verteilung zum Lösen der Divergenz verbessert. Verfahren, die eine Verlaufsmittelwertbildung und normalisierte oder Gauss-Verteilungen verwenden, wie beispielsweise Verfahren, die auf Kalman-Filtern beruhen, umfassen häufig einen Fehlerfaktor, der zu einer Zeitverzögerung hinsichtlich Änderungen oder Übergängen der Straßengeometrie führt.
  • Es wird ein alternatives Verfahren zum Erzeugen von Schätzwerten einer Spurgeometrie und einer Fahrzeugposition und Ausrichtung in Relation zu der Spur ohne Übernahme von Fehlern auf der Grundlage von Daten aus der Vergangenheit oder normalisierten Verteilungen, indem aktuelle Messungen von GPS-Daten, einem Sichtkamerasubsystem und einer Fahrzeugkinematik vereinigt werden, offenbart.
  • Die allgemeine Straßengeometrie ist eine Information, die durch die Verwendung von GPS-Einrichtungen und 3D-Karten leicht verfügbar gemacht wurde. Mit einem angenäherten Ort von der GPS-Einrichtung können lokalisierte Straßengeometrien in einer Liste von Straßenformpunkten ausgegeben werden. Ähnlich stehen GPS-Koordinaten, die eine globale Breitengradmessung und eine globale Längengradmessung umfassen, durch die GPS-Einrichtung zur Verfügung. Die Fahrzeugkinematik, die zumindest die Fahrzeuggeschwindigkeit und die Gierrate umfasst, steht durch Sensoren zur Verfügung, die den Fahrzeugbetrieb überwachen und/oder Beschleunigungsmesserauslesungen überwachen. Die Kameradaten stehen zum Lokalisieren des Fahrzeugs auf einer tatsächlichen Fahrspur zur Verfügung. Spurerfassungskoeffizienten werden durch Kameradaten definiert (d. h. y = a + bx + cx2 + d3, wobei x die Spurlongitudinalverschiebung ist und y die Lateralverschiebung von der Spurmitte aus ist). Durch diese Daten kann das Vorwärtsspurschätzungsmodul die Krümmung der Spur, die laterale Verschiebung von der Spurmitte aus und die Fahrzeugausrichtung in Bezug auf die Tangente der Spur schätzen.
  • 21 zeigt einen beispielhaften Vorwärtsspurschätzungsprozess gemäß der vorliegenden Offenbarung. Der beispielhafte Prozess umfasst ein Kartengeometriemodellmodul, ein Fahrzeugposenlokalisierungsmodul, ein Krümmungsschätzungsmodul und ein Fahrzeuglateralverfolgungsmodul. Das Kartengeometriemodellmodul gibt Kartenwegpunkte ein, die durch in der Technik bekannte Verfahren ermittelt werden und das Ermitteln von allgemeinen Pfaden von einem Start- oder momentanen Punkt zu einem Ziel- oder Durchgangspunkt in einer Kartendatenbank umfassen, und gibt eine Spurgeometrie in dem Bereich des Fahrzeugs aus. Diese Spurgeometrie kann als Bogen beschrieben werden, der eine geometrische Darstellung der Straßen in dem Bereich umfasst. Das Fahrzeugposenlokalisierungsmodul gibt die Spurgeometrie von dem Kartengeometriemodellmodul, GPS-Koordinaten von einer GPS-Einrichtung und Kameradaten von einem Sichtsubsystem ein und gibt eine geschätzte Fahrzeugposition in Relation zu der Spurgeometrie in dem Bereich des Fahrzeugs aus. Diese Fahrzeugposition in Relation zu der Spurgeometrie oder dem Bogen kann als Bogenlängenparameter (sm) beschrieben werden. Das Krümmungsschätzungsmodul gibt Kameradaten, Fahrzeugkinematikdaten, wie beispielsweise eine Fahrzeuggeschwindigkeit und eine Gierrate, von den Fahrzeugsensoren und sm ein und gibt eine Krümmung (K) oder ein Kurvenmaß der Straße an dem Ort des Fahrzeugs aus. Schließlich gibt das Fahrzeuglateralverfolgungsmodul Kameradaten, Fahrzeugkinematikdaten und K ein und gibt es Daten bezüglich der Position des Fahrzeugs in Bezug auf die Mitte der aktuellen Spur und der Winkelausrichtung des Fahrzeugs in Bezug auf die momentane Vorwärtsrichtung der Spur aus. Auf diese Weise können momentane Eingänge in Bezug auf die aktuelle Position und Fahrt des Fahrzeugs verwendet werden, um Daten in Bezug auf die Spurgeometrie in dem Bereich des Fahrzeugs und die Position und Ausrichtung des Fahrzeugs in Relation zu der Spur zu erzeugen.
  • Wie oben beschrieben gibt das Kartengeometriemodellmodul Kartenwegpunkte ein und gibt es eine Spurgeometrie in dem Bereich des Fahrzeugs aus. Insbesondere überwacht das Kartengeometriemodell den Eingang von Kartenformpunkten wie in einer Kartendatenbank beschrieben und konstruiert es ein geometrisches Modell, das die Formpunkte darstellt. 22 zeigt einen beispielhaften Prozess, bei dem eine Information von einer Kartendatenbank verwendet werden kann, um ein geometrisches Modell einer Straße in einem Bereich eines Fahrzeugs zu konstruieren, gemäß der vorliegenden Offenbarung. Der beispielhafte Prozess umfasst, dass Kartenformpunkte, die Straßengeometrien beschreiben, von einer Kartendatenbank gesammelt werden. Eine Kartendatenbank liefert Kartenformpunkte in globalen Koordinaten, die häufig Positionen hinsichtlich einer Breitengradposition, einer Längengradposition und einer Höhe oder Höhenlage beschreiben. Die globalen Koordinaten werden dann in ein System lokaler Koordinaten umgewandelt, wobei für gewöhnlich ein Punkt in der Nähe des Fahrzeugorts als statischer Referenzpunkt identifiziert wird und beliebige andere Orte als nördliche Verlagerung von dem Referenzpunkt und östliche Verlagerung von dem Referenzpunkt beschrieben werden. Als Nächstes werden die Kartenformpunkte mit einem Spline angepasst, um eine geometrische Form oder einen Bogen zu erzeugen, die oder der die Geometrie der dargestellten Straßen annähert. Schließlich werden eine Tangente und eine Krümmung der angepassten Splines an einer geschätzten Position des Fahrzeugs ermittelt.
  • Es wird eine beispielhafte Ermittlung innerhalb eines Kartengeometriemodells beschrieben. Es seien {(lat1, lon1)|i = 1, ..., N} die Formpunkte. Durch Auswählen eines Punkts als Referenzpunkt kann man die Formpunkte in lokale Koordinaten umwandeln {(e1, n1)|i = 1, ... N}, wobei die östliche und die nördliche Verlagerung von dem Referenzpunkt dargestellt werden.
  • Durch Definieren der Serie {(s1, ei, n1)|i = 1, ... N} mit s1 = 0,
    Figure DE102010013356B4_0002
    wird eine Funktion eines zweidimensionalen kubischen Splines erhalten, um die Formpunkte anzupassen wie folgt:
    Figure DE102010013356B4_0003
    wobei s der Bogenlängenparameter ist und e und n die östliche bzw. nördliche Komponente der Verlagerung sind. Der Gradientenvektor wird dann bei s wie folgt berechnet.
  • Figure DE102010013356B4_0004
  • Und der Ausrichtungswinkel wird wie folgt berechnet. ξ = atan2(n', e') [3]
  • Schließlich kann die Krümmung K bei s wie folgt berechnet werden:
    Figure DE102010013356B4_0005
    wobei
    Figure DE102010013356B4_0006
  • Wie oben beschrieben gibt das Fahrzeugposenlokalisierungsmodul die Spurgeometrie von dem Kartengeometriemodellmodul, GPS-Koordinaten von einer GPS-Einrichtung und einer Kamera ein und gibt es eine geschätzte Fahrzeugposition in Relation zu der Spurgeometrie in dem Bereich des Fahrzeugs aus. Ein Fachmann wird erkennen, dass ein Problem als Lokalisierung in einer Karte hinsichtlich überwachter GPS-Daten beschrieben werden kann. Die Kartengeometrie wird durch eine Spline-Funktion, wie beispielsweise die in Gleichung 1 beschriebene Funktion, dargestellt. Dieser Spline beschreibt diskrete Orte, an denen eine Spur einer Straße existieren soll. Ein durch GPS-Daten gemessener Punkt wird in einer beispielhaften Form
    Figure DE102010013356B4_0007
    zurückgegeben. Eine fehlende Genauigkeit und Ungenauigkeit einer Abweichung ist in GPS-Einrichtungen normal. Die Spline-Funktion weist auch einen Eigenfehler auf. P fällt selten genau mit dem Kartengeometrie-Spline zusammen. Die Spline-Funktion beschreibt einen Punkt auf der Spur, beispielsweise die Mitte der Spur, und die tatsächliche Fahrzeugposition weicht häufig um einen messbaren Betrag von der Mitte der Spur ab. Ein angenäherter Ort des Fahrzeugs auf einer Karte muss auf der Grundlage von P und der geschätzten Straßengeometrie in dem Bereich ermittelt werden. Eine beispielhafte Lösung zum Korrigieren der Abweichung zwischen P und der geometrischen Darstellung der Straße ist, den naheliegendsten Punkt [em, nm]T = f(sm) zu finden, so dass
    Figure DE102010013356B4_0008
    Dieser beispielhafte Prozess ist beim Annähern von sm nützlich und kann iterativ angewandt werden, um den Fahrzeugort in einer Straßenkurve zu finden und den geschätzten Ort als überwachte Datenänderungen zu verbessern.
  • 23 zeigt grafisch ein beispielhaftes iteratives Verfahren zum Finden eines ungefähren Orts eines Fahrzeugs in Bezug auf eine geschätzte Straßengeometrie gemäß der vorliegenden Offenbarung. Es sei s0 die anfängliche Vermutung von sm. Die Korrektur des Bogenlängenparameters kann wie folgt geschrieben werden:
    Figure DE102010013356B4_0009
    wobei Pm = f(s0) und P ' / m = f'(s0). Mit anderen Worten ist die Korrektur Δs die Projektion an dem Einheitsvektor des Gradienten an dem Vermutungsort s0.
  • Wie ein Fachmann erkennen wird, werden GPS-Messungen im Vergleich zu typischen fahrzeuginternen Sensorauslesungen nicht häufig aktualisiert. Für die meisten fahrzeugeigenen GPS-Empfänger ist eine beispielhafte Erneuerungsrate von 1 Hz üblich. Ferner werden nicht immer Aktualisierungen empfangen und können sie in urbanen Gebieten oder anderen Bereichen, in denen die Sicht auf Satellitensignale verdeckt ist, verrauscht sein. Es können Filtertechniken verwendet werden, um die niedrige Rate von GPS-Signalaktualisierungen zu kompensieren.
  • Ein beispielhaftes Fahrzeugposenlokalisierungsmodul verwendet ein Kalman-Filter. Für die Fahrzeugpose wird ein Modell als Vektor erstellt, der aus einer östlichen Verlagerung (e), einer nördlichen Verlagerung (n), einer Ausrichtung in Bezug auf die Spur (Φ) und der Bogenlänge (s) besteht. Aufgrund der Trägheit ändert sich die Fahrzeugpose nicht abrupt.
  • Daher wird das folgende Modell einer konstanten Kurvenfahrt angenommen: e' = e + νcos(ϕ + ξ)ΔT + w1 n' = n + νsin(ϕ + ξ)ΔT + w2 ϕ' = ϕ + ωΔT – κΔT + w3 s' = s + νΔT [6] wobei v die Fahrzeuggeschwindigkeit ist; ω die Fahrzeuggierrate ist; ΔT die Deltazeit von dem vorherigen Zyklus ist; ξ die aktuelle Ausrichtung der Straße ist (vgl. (2)); κ die aktuelle Krümmung der Straße auf der Grundlage der Kartenkurve ist; w1, w2 und w3 ein Prozessrauschterm sind, der eine nicht modellierte Störung darstellt.
  • 24 zeigt einen beispielhaften Fahrzeugposenlokalisierungsprozess gemäß der vorliegenden Offenbarung. Der Prozess wird iterativ ausgelöst, wann immer neue Daten von dem GPS, den Fahrzeugkinematiksensoren oder den Kameraeinrichtungen überwacht werden. Die beispielhaften Zykluszeiten für die verschiedenen Datenquellen umfassen 1 Sekunde für die GPS-Daten, 20 ms für die Kinematikdaten und 50 ms für die Kameradaten. Die Deltazeit ΔT wird aus der Differenz von Zeitstempeln zwischen den aktuellen und vorherigen Zyklen berechnet. Dann wird die vorhergesagte Fahrzeugpose unter Verwendung von Gleichung 5 berechnet. Wenn GPS-Daten zur Verfügung stehen, sind die Messungsaktualisierungen für die Fahrzeugpose unter Verwendung der folgenden GPS-Messungsgleichungen einfach: egps = e + k1 [7] ngps = n + k2 [8] wobei (egps, ngps) der durch das GPS gemessene Ort des Fahrzeugs ist; k1 und k2 das Messungsrauschen sind. Nach dem Aktualisieren der Fahrzeugpose unter Verwendung einer GPS-Messung wird der korrekte Bogenlängenparameter (s) unter Verwendung von Gleichung 5 berechnet. Dieser Schritt ist wichtig, um korrekte K- und ξ-Werte durch Entfernen des akkumulierten Fehlers zu erhalten, der durch die Koppelnavigationsverarbeitung in Gleichung 6 verursacht wird.
  • Wenn Kameradaten zur Verfügung stehen, können die folgenden Messungsgleichungen durch das Kalman-Filter verwendet werden: a = e + k3 [9] b = ϕ + k4 [10] wobei a und b Kameraspurerfassungsparameter sind; d die senkrechte Distanz der aktuellen Fahrzeugposition zu der Mitte einer Spur ist, die durch die Kartenkurve dargestellt ist; und k3 und k4 das nicht modellierte Messungsrauschen sind. Es sei Pm der Punkt an der Kartenkurve mit der kleinsten Distanz zu der aktuellen Fahrzeugposition, ausgedrückt durch P = (e, n). Vektor m soll die Normale der Kartenkurve bei Pm bezeichnen. Dann kann die senkrechte Distanz d mit d = (P – Pm)Tm ausgedrückt werden, wobei die Normale m wie folgt berechnet wird:
    Figure DE102010013356B4_0010
  • Wie oben beschrieben gibt das Krümmungsschätzungsmodul Kameradaten, Fahrzeugkinematikdaten, wie beispielsweise eine Fahrzeuggeschwindigkeit und eine Gierrate, von den Fahrzeugsensoren und sm ein und gibt es eine Krümmung (K) oder eine ein Maß einer Kurve der Straße an dem Ort des Fahrzeugs aus. Sobald das Fahrzeug in der durch s dargestellten Kartenkurve lokalisiert wurde, kann die entsprechende Kartenkrümmung κmap durch Gleichung 4 gefunden werden.
  • Es ist zu erkennen, dass es drei Informationsquellen zum Schätzen der Straßenkrümmung gibt: eine Kartenkrümmung (κmap), eine Kamerakrümmung (κcam = 2c), eine gierratenbasierte Krümmung (κyaw = ω / v). Das Folgende beschreibt einen beispielhaften Prozess, der zum Vereinigen dieser drei Krümmungen verwendet werden kann. κfus soll die vereinigte Krümmung mit der Varianz σ 2 / fus bezeichnen. σ 2 / map, σ 2 / yaw und σ 2 / cam bezeichnen die Varianz der Kartenkrümmung, der gierratenbasierten Krümmung bzw. der Kamerakrümmung. Es gibt die folgenden Aktualisierungsgleichungen. Wenn ein Kartenkrümmungsschätzwert zur Verfügung steht, dann ist
    Figure DE102010013356B4_0011
    und
    Figure DE102010013356B4_0012
  • Wenn ein Gierratenkrümmungsschätzwert zur Verfügung steht, dann ist
    Figure DE102010013356B4_0013
    und
  • Figure DE102010013356B4_0014
  • Wenn ein Kartenkrümmungsschätzwert zur Verfügung steht, dann ist
    Figure DE102010013356B4_0015
    und
  • Figure DE102010013356B4_0016
  • In den obigen Gleichungen stellen σ 2 / map, σ 2 / yaw und σ 2 / cam die Konfidenz der Krümmungsinformation von den verschiedenen Quellen dar: Karte, fahrzeuginterner Sensor bzw. Kamera. Je höher die Varianz einer Informationsquelle ist, desto geringer ist der Beitrag dieser Quelle zu der vereinigten Krümmung. Es werden einige heuristische Regeln eingesetzt, um verschiedene Gewichte für die drei Quellen zu wählen. Wenn beispielsweise die Gierrate hoch ist, wird eine kleine σ 2 / yaw gewählt, um die vereinigte Krümmung abzuleiten.
  • Wie oben beschrieben gibt das Fahrzeuglateralverfolgungsmodul Kameradaten, Fahrzeugkinematikdaten und K ein und gibt es Daten bezüglich der Position des Fahrzeugs in Bezug auf die Mitte der aktuellen Spur und die Winkelausrichtung des Fahrzeugs in Bezug auf die momentane Vorwärtsrichtung der Spur aus. 25 zeigt eine beispielhafte Ermittlung, die innerhalb des Lateralmodells des Fahrzeugs durchgeführt wird, gemäß der vorliegenden Offenbarung. Das Fahrzeuglateralverfolgungsmodul überwacht die Eingänge der Fahrzeugkinematik (Raddrehzahl v und Gierrate ω) und die Eingänge der Spurerfassungsparameter. Es kann ein Kalman-Filter verwendet werden, um die Daten von der Fahrzeugkinematik und der Spurerfassungseinrichtung zu integrieren. Wie in 25 gezeigt ist die laterale Verschiebung yL die Verlagerung von der Mitte der Spur. κroad ist die geschätzte Krümmung. κyaw ist die durch den momentanen Fahrzeugpfad geschätzte Krümmung, d. h. κyaw = ω / v. Die Messungsgleichung des Kalman-Filters wird mit b = Φ und a = yL ausgedrückt. Es wird eine Gatterlogik realisiert, wenn der Innovationsfehler größer als ein Schwellenwert ist. Mit anderen Worten wird, wenn die Differenz zwischen einer vorhergesagten und einer tatsächlichen Messung größer als ein Schwellenwert ist, die tatsächliche Messung zum aktuellen Zeitpunkt ignoriert.
  • 22 beschrieb ein Verfahren zum Erzeugen eines geometrischen Modells, das die Straße darstellt, auf der das Fahrzeug fahren wird. Es sei jedoch angemerkt, dass andere Verfahren zum Erreichen des gleichen Ziels möglich sind. Beispielsweise umfasst ein offenbartes Verfahren, dass eine Reihe von Wegpunkten vor dem Fahrzeug, die eine projizierte Fahrspur bilden, auf der Grundlage von Kartendaten und einer Information bezüglich des projizierten Ziels des Fahrzeugs zugeordnet wird. 26 zeigt eine beispielhafte Verwendung von Wegpunkten entlang einer projizierten Spur vor dem Fahrzeug, um die Spurgeometrie zu schätzen, gemäß der vorliegenden Offenbarung. Iterative Erzeugungen von Wegpunkten in aufeinander folgenden Zeitintervallen, wobei die Partikelpunkte in Inkrementen mit kurzer Distanz beabstandet sind, können verwendet werden, um die geschätzte Spurgeometrie vor dem Fahrzeug zu untermauern. Wenn das Fahrzeug an Wegpunkten vorbeifährt, können die Wegpunkte ignoriert werden, und es werden nur Wegpunkte verwendet, die immer noch vor dem Fahrzeug liegen. Auf diese Weise kann eine Projektion von Wegpunkten vor dem Fahrzeug entlang eines geschätzten Pfads verwendet werden, um eine Spurgeometrie zu schätzen, durch die das Fahrzeug wahrscheinlich fährt.
  • Eine Echtzeit- und zuverlässige Information bezüglich der Spurgeometrie und Fahrzeugposition und -ausrichtung in Bezug auf die Spur kann bei einer Anzahl von Anwendungen oder Fahrzeugsteuerschemas nützlich sein. Beispielsweise kann solch eine Information bei Anwendungen verwendet werden, die den Bediener bei einer Spureinhaltung, eine Scheinwerfermodulation, verbesserte Navigationsunterstützungen und Müdigkeitsalarme unterstützen. Ein Fachmann wird jedoch erkennen, dass eine große Anzahl von Anwendungen solch eine Information verwenden kann, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten Ausführungsformen beschränkt sein.
  • Die zuvor genannten Verfahren beschreiben die Verwendung von Sicht- oder Kamerasystemen. Eine Analyse solch einer Information kann durch in der Technik bekannte Verfahren durchgeführt werden. Eine Bilderkennung umfasst häufig eine Programmierung, um nach Änderungen des Kontrasts oder der Farbe in einem Bild zu suchen, die vertikale Linien, Kanten, Ecken oder andere Muster, die ein Objekt angeben, angeben. Ferner sind zahlreiche mit einer Bilderkennung in Beziehung stehende Filter- und Analysetechniken in der Technik bekannt und werden diese hierin nicht ausführlich beschrieben.
  • In der Technik sind Verfahren zum Verwenden von verfügbaren Daten bekannt, die beispielsweise durch eine Bilderkennung zur Verfügung stehen, die auf Sichtbilder angewandt wird, um einen freien Pfad vor dem Host-Fahrzeug zur Fahrt darauf zu definieren. Solch ein beispielhaftes System ist in der ebenfalls anhängigen US-Patentanmeldung Nr. 12/108,581 mit dem Titel VEHICLE CLEAR PATH DETECTION, deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist, offenbart.
  • Wie oben beschrieben benötigt ein beispielhaftes EVS-System Eingangsquellen für Eingänge, die eine Betriebsumgebung für das Fahrzeug beschreiben. Wie in den obigen beispielhaften Verfahren beschrieben, sind in der Technik eine Anzahl von Sensoreinrichtungen bekannt, die ohne Einschränkung Radar-, Lidar-, Ultraschalleinrichtungen und Sichtsysteme umfassen. Ferner sei angemerkt, dass eine Information bezüglich der Betriebsumgebung von anderen Typen von Einrichtungen erlangt werden kann. Infrarotsensoren oder Infrarotentfernungskamerasysteme können verwendet werden, um Temperaturdifferenzen zu detektieren. Solch eine Information kann nützlich sein, um Objekte zu sehen, die normalerweise für normale Sicht- oder Kamerasysteme oder das menschliche Auge verdeckt wären. Es sind Verfahren bekannt, um Infrarotkameradaten im visuellen Spektrum auszugeben, so dass kleine Temperaturdifferenzen Objekte für den Betrachter in unterschiedlichen Farben anzeigen. Wie oben beschrieben kann eine GPS-Einrichtung, die in Verbindung mit einer 3D-Kartendatenbank verwendet wird, nicht nur verwendet werden, um das Fahrzeug in Bezug auf eine katalogisierte Straßengeometrie zu positionieren, sondern auch, um das Fahrzeug im Kontext von Straßendetails, wie beispielsweise Fahrbahntyp und Straßensteigung oder -gefälle zu platzieren. Ferner ist eine Anzahl von Sensoren und Überwachungsverfahren bekannt, um Betriebsparameter in dem Fahrzeug zu quantifizieren. Ferner ermöglicht eine entfernte Verarbeitung, die durch ein drahtloses Netz zur Verfügung gestellt wird, eine Koordination zwischen dem durch eine GPS-Einrichtung festgelegten Fahrzeugort und Echtzeitdetails, wie beispielsweise Konstruktion, Wetter und Verkehr.
  • Ferner kann auf ähnliche Weise über das drahtlose Netz auf Details, die nicht mit einer Straße/nicht mit Verkehr in Beziehung stehen, zugegriffen werden, welche beispielsweise über das Internet verfügbare Daten und Infotainment-Dienste umfassen, die durch Online-Anbieter zur Verfügung stehen. Ferner können fahrzeugeigene Systeme mit dem EVS integriert sein, wobei beispielsweise Wartungsanforderungen, die durch ein fahrzeugeigenes Diagnosemodul protokolliert werden, wie beispielsweise ein Überwachen eines akkumulierten Alters des Motoröls oder ein Überwachen von Reifendrücken, als Eingänge in das EVS verwendet werden können. Diese Information kann auf der Grundlage einer fahrzeugeigenen Verarbeitung direkt angezeigt werden; die Information kann mit Online-Diensten koordiniert werden, wobei beispielsweise ein Problem mit einem ausgewählten Prozessor einer Wartungseinrichtung diagnostiziert wird; oder die Information kann gemäß einer 3D-Kartendatenbank verarbeitet werden, wobei beispielsweise eine Notwendigkeit eines Anhaltens an einem Reifenladen identifiziert wird und mehrere benachbarte Läden einschließlich Öffnungszeiten und Kundenbewertungen auf der Grundlage des Fahrzeugorts lokalisiert werden. Es steht eine große Vielzahl von Eingängen zur Verwendung durch ein EVS und die EVS-Systemverwaltungseinrichtung zur Verfügung, und die Offenbarung soll nicht auf die hierin beschriebenen beispielhaften Eingänge beschränkt sein.
  • Alle erwähnten Eingänge können durch eine beispielhafte EVS-Systemverwaltungseinrichtung verwendet werden. Ferner sei angemerkt, dass die EVS-Systemverwaltungseinrichtung Zugriff auf oben beschriebene Verfahren hat, die mit einer Zielverfolgung, CPS, einer Kollisionsvermeidung, einer Spureinhaltung und einer Detektion eines freien Pfads in Beziehung stehen. Diese Verfahren und eine in Beziehung stehende Programmierung ermöglichen der EVS-Systemverwaltungseinrichtung, Fahrbedingungen zu bewerten, die Verfolgungen von Objekten um das Fahrzeug herum, eine Spuridentifikation und Straßenbedingungen umfassen, und eine Information, die für den Betrieb des Fahrzeugs gemäß einem Satz von kritischen Kriterien kritisch ist, zu identifizieren.
  • Die EVS-Systemverwaltungseinrichtung überwacht Eingänge und ermittelt, ob eine wahrnehmbare Information in Bezug auf die Betriebsumgebung des Fahrzeugs ein Anzeigen der Information an der Frontscheibe berechtigt. Es können eine große Vielzahl und eine große Breite von Informationen für eine EVS-Systemverwaltungseinrichtung zur Verfügung gestellt werden. Ein Bediener eines Fahrzeugs hat jedoch die primäre Pflicht, auf die Straße zu schauen, und die zusätzliche Information ist insofern hilfreich, als die Information dezent in einem Format dargestellt wird, das das Lenken der Aufmerksamkeit des Fahrers auf eine kritische Information unterstützt und den Fahrer von der primären Pflicht nicht ablenkt. Eine beispielhafte EVS-Systemverwaltungseinrichtung umfasst eine Programmierung, um Eingänge von verschiedenen Quellen zu überwachen; eine kritische Information aus den Eingängen zu erkennen, indem kritische Kriterien, die voreingestellte Schwellenwerte, gelernte Schwellenwerte und/oder auswählbare Schwellenwerte umfassen, auf die Eingänge angewandt werden, wobei die Schwellenwerte derart festgelegt sind, dass sie ein nicht kritisches Ablenken des Bedieners minimieren; und Grafiken für eine Anzeige auf der Grundlage der kritischen Information anzufordern.
  • Schwellenwerte, die eine kritische Information aus den Eingängen ermitteln, können auf einer Anzahl von Basen basieren. Die HUD-Systemverwaltungseinrichtung hat Zugriff auf eine Anzahl von Eingangsinformationsquellen und umfasst verschiedene programmierte Anwendungen, um ein kontextabhängiges Betriebsumgebungsmodell zu erzeugen, um zu ermitteln, ob eine erfasste Information eine kritische Information ist. Beispielsweise kann ein Kollisionsvermeidungssystem oder ein Kollisionsvorbereitungssystem wie oben beschrieben verwendet werden, um eine Wahrscheinlichkeit eines Aufpralls auf der Grundlage von Rückführungen von einem Radarerfassungssystem zu beurteilen. Eine relative Trajektorie eines erfassten Objekts kann verwendet werden, um das Objekt als kritische Information zu kennzeichnen, um eine Kollision zu vermeiden. Der Kontext des Eingangs, der das erfasste Objekt beschreibt, kann jedoch wichtig sein, um einen Schwellenwert zum Kennzeichnen des Eingangs als kritische Information zu definieren. 27–29 zeigen eine beispielhafte Anwendung einer kontextabhängigen Information auf erfasste Objektdaten, um zu ermitteln, ob die erfassten Daten eine kritische Information sind, gemäß der vorliegenden Offenbarung. 27 zeigt ein Fahrzeug mit drei sequentiellen Datenpunkten, die ein Zielobjekt vor dem Fahrzeug beschreiben, wobei jeder nachfolgende Datenpunkt näher an dem Fahrzeug liegt als der vorausgehende Datenpunkt. Es ist ein Fahrzeug 500 gezeigt, das eine Information bezüglich des Zielobjekts als relative Entfernung von dem Fahrzeug zu den Zeitpunkten T1, T2 und T3 sammelt. Ohne Kontext deuten solche Datenpunkte, die sich dem Fahrzeug nähern, auf eine unmittelbar bevorstehende Kollision des Fahrzeugs mit dem Zielobjekt hin. 28 zeigt eine beispielhafte Situation, in der entsprechende Datenpunkte eine kritische Information für einen Bediener korrekt angeben würden. Das Fahrzeug 500 ist auf einer Spur 510 fahrend gezeigt. Es ist auch ein Fahrzeug 520 gezeigt, das auf der gleichen Spur 510, jedoch in die entgegengesetzte Richtung wie die des Fahrzeugs 500 fährt. In diesem Fall befindet sich das Zielobjekt auf einem Kollisionspfad mit dem Host-Fahrzeug, und daher würden gesammelte Datenpunkte, die die kleiner werdende Entfernung zu dem Zielobjekt angeben, korrekt als kritische Information identifiziert werden. Ein Identifizieren des Zielobjekts an der HUD wäre in diesem Fall keine unberechtigte Störung des Fahrzeugbedieners. 29 zeigt eine beispielhafte Situation, in der entsprechende Datenpunkte eine kritische Information inkorrekt für einen Bediener anzeigen könnten. Es ist das Fahrzeug 500 gezeigt, das auf der Spur 510 fährt. Es ist auch ein Verkehrsschild 530 direkt vor dem Fahrzeug 500 gezeigt. An das Fahrzeug zurückgegebene Objektverfolgungsdaten würden angeben, dass das Verkehrsschild 530 auf einem Kollisionskurs mit dem Fahrzeug 500 liegt. In diesem Fall können jedoch eine Kontextinformation, die die Geschwindigkeit des Verkehrsschilds in Bezug auf die Geschwindigkeit des Fahrzeugs umfasst und ein feststehendes Verkehrsschild angibt und eine kontextabhängige Information in Bezug auf die Kurve der Spur 510 verwendet werden, um die Objektverfolgungsdaten von dem Verkehrsschild 530 als unterhalb eines Schwellenwerts für eine kritische Information liegend ausschließen. In den obigen beispielhaften Ermittlungen kann eine kontextabhängige Information hinsichtlich der Zielverfolgungsdaten durch eine Anzahl von Verfahren erreicht werden, die ohne Einschränkung ein Korrelieren einer relativen Bewegung des Ziels mit der Geschwindigkeit des Host-Fahrzeugs, GPS-Daten, die Kartendaten umfassen, die eine Spurgeometrie für den aktuellen Ort des Fahrzeugs beschreiben, eine Spurgeometrie, die durch visuelle oder Kameradaten beschrieben wird, und/oder eine Mustererkennungsprogrammierung, die Bilder des verfolgten Objekts analysiert, was für eine Unterscheidung zwischen einem sich nähernden Fahrzeug und einem Verkehrsschild ausreicht, umfassen. Durch Erzeugen eines kontextabhängigen Umgebungsmodells auf der Grundlage von ermittelten räumlichen Beziehungen in Relation zu dem Fahrzeug für die HUD-Systemverwaltungseinrichtung zum Bewerten der Eingangsdatenpunkte bezüglich einer Zielverfolgung kann eine Ermittlung bezüglich der kritischen Natur der Information durchgeführt werden, wobei beispielsweise eine Wahrscheinlichkeit einer Kollision indiziert wird. Solch ein Modell kann auf einer komplexen Programmierung basieren, die Faktoren umfasst, die eine große Anzahl von Eingängen beschreiben, die beispielsweise die Wahrscheinlichkeit eines Radschlupfs an einem Stück einer Straße vor dem Fahrzeug, ein Straßengefälle, ein Fahrzeug, das im Gegenverkehr oberhalb der Geschwindigkeitsschränkung fährt, und die Lautstärke in dem Host-Fahrzeug, die auf eine möglicherweise ablenkende Lautstärke hochgedreht ist, beurteilen. Andererseits kann solch ein kontextabhängiges Umgebungsmodell so einfach sein wie ein Vergleich der aktuellen Geschwindigkeit des Fahrzeugs mit einer identifizierten Geschwindigkeitsbeschränkung oder ein Vergleich einer Entfernung zu einem Zielfahrzeug vor dem Host-Fahrzeug mit einer Schwellenwertminimalentfernung.
  • Die obigen Beispiele sind lediglich Beispiele mehrerer kontextabhängiger Ermittlungen, die eine HUD-Systemverwaltungseinrichtung bezüglich einer kritischen Information vornehmen kann. Bekannte Verfahren ermöglichen die Verwendung von GPS-Daten in Kombination mit einer Information von einer 3D-Kartendatenbank, um eine vorgeschlagene Route zu einem identifizierten Ziel zu identifizieren. Ein Integrieren solcher Verfahren mit der Verwendung einer HUD ermöglicht eine Projektion von Turn-by-Turn-Anweisungen an der HUD, was einen wichtigen Nutzen des Ermöglichens einer Registrierung der Anweisungen an den tatsächlichen Straßenmerkmalen, die durch die Frontscheibe sichtbar sind, umfasst. Eine Verwendung eines kontextabhängigen Modells, das das Fahrzeug in Bezug auf sichtbare Merkmale an einem Ort anordnet, ermöglicht, dass die Anweisungen an den Betrieb des Fahrzeugs und die Umgebungsbedingungen angepasst werden. Solch eine Registrierung an den sichtbaren Straßenmerkmalen ermöglicht genauere Anweisungen für den Fahrer im Gegensatz zu verbalen und/oder LCD-Kartenanzeigen.
  • Bekannte Systeme, die GPS-Einrichtungen verwenden, können ein eingegebenes Ziel verwenden, um routeninterne Anweisungen für den Bediener zu liefern. Bekannte GPS-Einrichtungen umfassen jedoch langsame Abtastraten und ungenaue GPS-Messungen. Als Ergebnis können GPS-Einrichtungen auf der Grundlage des kontextabhängigen Fahrzeugbetriebs in Bezug auf eine geplante Route keinen Eingang für den Bediener bereitstellen. Die HUD-Systemverwaltungseinrichtung kann Richtungspfeile an der Straße projizieren, um die geplante Route zu zeigen, wobei die HUD-Systemverwaltungseinrichtung jedoch zusätzlich ein kontextabhängiges Betriebsumgebungsmodell der geplanten Fahrtroute konstruieren kann, wobei eine verfügbare Information zur Identifikation als kritischer Informationseingang, der eine Abweichung von der geplanten Route beschreibt, synthetisiert wird. Die HUD-Systemverwaltungseinrichtung kann nicht nur verschiedene Informationsquellen verwenden, um die Genauigkeit der dargestellten Information zu erhöhen, wobei beispielsweise eine visuelle oder eine Kamerainformation verwendet wird, um die Genauigkeit eines GPS-Orts zu verbessern, sondern der Information kann ferner eine kontextabhängige Wichtigkeit bezüglich der Umgebung des Fahrzeugs verliehen werden, die beispielsweise eine Objektverfolgungsinformation oder 3D-Kartendaten umfasst. Wenn bei einem Beispiel eine geplante Route umfasst, dass das Fahrzeug eine Schnellstraße an einer bevorstehenden Ausfahrt auf der rechten Seite der Straße verlässt, können GPS-Daten verwendet werden, um den Bediener aufzufordern, die Ausfahrt zu nehmen. Jedoch können GPS-Daten, die in ein kontextabhängiges Modell synthetisiert wurden, das eine visuelle Information umfasst, die eine Fahrtspur beschreibt, verwendet werden, um die GPS-Daten und die entsprechende geplante Route hinsichtlich eines Schwellenwerts einer kritischen Information zu beurteilen. Wenn beispielsweise visuelle Daten das Fahrzeug auf einer linken Spur einer dreispurigen Straße anordnen und ein Verwenden der bevorstehenden Ausfahrt zwei Spurwechsel erfordert, kann die Information, die die bevorstehende Ausfahrt angibt, als kritische Information, die eine grafische Anzeige oder eine gesteigerte Dringlichkeit in einer grafischen Anzeige an der HUD berechtigt, identifiziert werden. Unter den gleichen Umständen kann bei einem Überwachen einer visuellen Information, die angibt, dass sich das Auto auf der rechten Spur befindet, die der Ausfahrt entspricht, und einer Fahrzeuginformation, die angibt, dass der Rechtsblinker des Fahrzeugs aktiviert wurde, die Information, die die bevorstehende Ausfahrt angibt, als nicht kritische Information ermittelt werden, die keine grafische Anzeige oder nur eine minimale Anzeige an der HUD berechtigt. Ferner können eine Objektverfolgung, das Wetter, die Sichtverhältnisse oder andere Informationsquellen verwendet werden, um zu beeinflussen, wie und wann Navigationsunterstützungen angezeigt werden sollen.
  • Es werden weitere Beispiele des Anwendens von Schwellenwerten einer kritischen Information auf eine Information in Betracht gezogen. Eine Adresseninformation, die einem bestimmten Ort eines Fahrzeugs an einer Straße entspricht, kann durch GPS-Daten und eine Anwendung einer 3D-Kartenbank ermittelt werden. Visuelle Daten, die eine Bilderkennungsprogrammierung umfassen, können verwendet werden, um ein Gebäude oder eine Entfernung von Gebäuden, die als die Zieladresse umfassend geschätzt wurden, abzugrenzen. Es können Daten aus der Vergangenheit überwacht werden, und solch eine Zielabgrenzung kann als kritische Information betrachtet werden, wenn das Fahrzeug nie zuvor zu dem Ziel gefahren ist oder wenn das Ziel unter einer besonders dichten Anordnung von Gebäuden umfasst ist. Alternativ kann ein Sprachbefehl von dem Bediener verwendet werden, um die Zielabgrenzung als kritisch zu definieren. Alternativ können ein Bedienerkopfort und eine Augenausrichtung gemäß nachstehend beschriebenen Verfahren überwacht werden und kann die Zielabgrenzung auf der Grundlage dessen, dass der Kopf und die Augenbewegung des Bedieners ein Suchen einer Adresse angeben, als kritische Information betrachtet werden.
  • Ein weiteres Beispiel des Anwendens eines Schwellenwerts einer kritischen Information kann eine Analyse momentaner Wetterbedingungen umfassen. Unter normalen Fahrbedingungen würde eine Projektion von Linien an der HUD, die Spurgrenzen angeben, wahrscheinlich als unberechtigt und eine Ablenkung betrachtet werden [engl.: by]. Bei einem Hinweis, dass Wetterbedingungen, wie beispielsweise Nebel, Schnee, Regen, grelles Sonnenlicht oder andere Faktoren vorliegen oder kombiniert sind, so dass sie Bedingungen erzeugen, unter denen die Sicht auf die Spurmarkierungen behindert sein kann, können Spurgrenzen jedoch als kritische Information bestimmt werden. Die Wetterbedingungen können durch eine Anzahl von Verfahren erkannt werden. Es können Online-Daten in Verbindung mit GPS-Daten verwendet werden, um die momentanen Wetterbedingungen zu schätzen. Es können visuelle Daten analysiert werden, um zu ermitteln, ob Spurmarkierungen visuell erkennbar sind oder ob Niederschlag oder Nebel die Sichtdistanz ausreichend übermäßig verringern, um eine Projektion von Spurmarkierungen zu berechtigen. Gemäß einem Kalender und einem GPS-Ort können die Sonnenaufgangs- und Sonnenuntergangszeiten und der Ort am Himmel ermittelt werden. Diese Information bezüglich der Position der Sonne kann mit einer Richtungsorientierung des Autos in Korrelation gesetzt werden, um auf der Grundlage dessen, dass das Auto in Richtung Sonne weist, zu ermitteln, dass die Spurmarkierungen eine kritische Information sind. Alternativ kann auf der Grundlage einer visuellen Information die Sonnenposition geschätzt werden. Bei einem ähnlichen Beispiel können, wenn eine visuelle Information angibt, dass ein Fahrzeug im Gegenverkehr mit eingeschalteten hohen Scheinwerfern möglicherweise eine Blendungssituation bewirkt, Spurmarkierungen als kritische Information angegeben werden, um den Bediener des Host-Fahrzeugs beim Bleiben auf der aktuellen Spur zu unterstützen. Auf diese Weise können die geschätzten Bedienersichtverhältnisse verwendet werden, um eine geeignete Spurmarkierungsprojektion an der HUD zu ermitteln. Alternativ können Spurmarkierungen auf der Grundlage einer geschätzten Fahrzeugposition hinsichtlich der Spur als kritische Information ermittelt werden, wobei beispielsweise die Spurmarkierungen zu einer kritischen Information werden, wenn sich das Host-Fahrzeug den Spurmarkierungen nähert oder diese überquert. Eine Position auf der Spur zeigt ferner eine Bedingung, unter der ein Wichtigkeitsgrad für die kritische Information angegeben werden kann, wobei eine erhöhte Wichtigkeit angegeben wird, wenn sich das Fahrzeug den Spurmarkierungen nähert und diese dann überquert. Ein Erhöhen der Intensität der an der HUD projizierten grafischen Bilder, ein Blinken der grafischen Bilder und entsprechende Audiosignale für den Bediener können auf der Grundlage eines Erhöhens einer angegebenen Wichtigkeit der kritischen Information verwendet werden. Solche Kriterien einer Position auf der Spur könnten als Müdigkeitsindikator verwendet werden, wobei beispielsweise eine einzelne Abweichung als nicht kritische Information behandelt wird, jedoch eine wiederholte Abweichung von der Mitte der Spur zu einer kritischen Information oder einer Information einer gesteigerten Wichtigkeit wird, wobei beispielsweise eine koordinierte Information in Textform oder akustische Warnungen veranlasst werden. Unter bestimmten Bedingungen könnte ein überlagertes Thermo- oder Infrarotkamerabild der Straße durch den Bediener verwendet oder angefordert werden, wobei visuelle Bedingungen verhindern, dass der Bediener die korrekte Fahrspur sieht, was beispielsweise durch einen nicht funktionierenden Scheinwerfer verursacht wird.
  • Ein weiteres Beispiel des Anwendens eines Schwellenwerts einer kritischen Information kann eine Analyse eines Fußgängervorhandenseins und einer Fußgängerbewegung umfassen. Beispielsweise kann eine normale Bewegung eines Fußgängers auf einem Gehsteig, der sich parallel zu der Richtung des Fahrzeugverkehrs bewegt, als nicht kritische Information ermittelt werden. Eine Bewegung eines Fußgängerverkehrs in eine andere Richtung, beispielsweise senkrecht zum Fahrzeugverkehr, kann jedoch als Schwellenwert zum Identifizieren einer kritischen Information verwendet werden. Innerhalb dieses Beispiels kann ein anderes Beispiel des Angebens einer gesteigerten Wichtigkeit der kritischen Information dargestellt werden. Wenn ein Fußgänger senkrecht zum Fahrzeugverkehr auf einem vorgegebenen Gehsteig läuft, kann eine Grafik, die eine geringe oder moderate Wichtigkeit angibt, angegeben werden. In dem Fall, dass sich ein Fußgängerverkehr von dem Gehsteig zu der Fahrspur erstreckt oder innerhalb der Fahrspur detektiert wird, kann eine Grafik, die eine starke oder erhöhte Wichtigkeit angibt, angegeben werden. Bei einem anderen Beispiel zum Identifizieren einer kritischen Information bezüglich eines Fußgängerverkehrs können aktuelle Ampelmuster realisiert und verwendet werden, um eine kritische Information zu identifizieren. Wenn sich das Host-Fahrzeug an einer Ampel befindet, kann ermittelt werden, dass ein Fußgängerverkehr, der visuellen Bildern entspricht, die eine Ampelangabe ”Gehen” angeben, eine nicht kritische Information ist. Unter den gleichen Umständen kann jedoch ein Fußgängerverkehr, der einer Ampelangabe ”Stehen” entspricht, als kritische Information ermittelt werden. Alternativ können eine visuelle Information und eine Entfernungsinformation zu einem Ziel verwendet werden, um eine geschätzte Größe des Ziels zu projizieren. Solch eine geschätzte Größe könnte verwendet werden, um beispielsweise alle Fußgänger, die kleiner als 122 cm (4 Fuß) geschätzt werden, als kritische Information zu identifizieren, um den Fahrer hinsichtlich Kinder in der Betriebsumgebung zu alarmieren. Alternativ kann durch eine Verkehrsschilderkennungsanwendung von GPS-Daten und eine 3D-Karte, eine lokale Hochfrequenzübertragung oder Tagging etc. eine Schulzone oder ein Bereich gehörloser Kinder identifiziert werden und können in solch einer Zone alle Fußgänger als kritische Information gekennzeichnet werden. In Situationen, in denen Fußgängerverkehr detektiert, jedoch als nicht sichtbar ermittelt wird, kann eine Grafik, die Daten einer Thermografie oder eines Infrarotbilds verwendet, selektiv der Ansicht des Fußgängers überlagert werden, um dem Fahrzeugbediener zu ermöglichen, eine bessere Entscheidung bezüglich der Situation zu treffen.
  • Es werden weitere Ausführungsformen einer kritischen Information, die durch die EVS-Systemverwaltungseinrichtung wahrnehmbar ist, offenbart. Bei einer beispielhaften Verwendung können empfohlene Folgedistanzen zwischen dem Host-Fahrzeug und anderen Fahrzeugen mit gemessenen Entfernungen verglichen werden und kann jede Entfernung unterhalb den minimalen empfohlenen Distanzen als kritische Information für eine Anzeige identifiziert werden. Bei einem anderen Beispiel, bei dem ein Fahrzeug verwendet wird, um einen neuen Bediener zu trainieren, kann eine Grafik, die für den Fahrgast/Trainer angezeigt wird, verwendet werden, um das Prüfen der neuen Aktionen des Bedieners zu verbessern. Bei einem anderen Beispiel kann ein Fahrzeug, das unter einer semiautonomen Steuerung oder einem ACC betrieben wird, eine kritische Information, die aktuelle Entfernungen zu anderen Fahrzeugen übermittelt, oder eine andere Information, die Aktionen durch das Steuersystem beschreibt, für den Bediener anzeigen, so dass der Bediener schnell sicherstellen kann, ob ein manueller Eingriff durch den Bediener notwendig ist. Bei einem anderen Beispiel kann eine Fahrzeug-Fahrzeug-Kommunikation verwendet werden, um gleichzeitig ein Einfädelmanöver zwischen zwei Fahrzeugen unter Verwendung eines ACC zu verwalten. Die Grafik an der HUD kann verwendet werden, um die Absicht des Durchführens eines Einfädelmanövers an jeden der Fahrer zu übermitteln, um jeden Fahrer hinsichtlich der übermittelten Absicht zu informieren, um unerwartete Änderungen der Fahrzeugbewegung zu vermeiden und eine Wahrnehmung einer unmittelbar bevorstehenden Kollision zu vermeiden. Bei einer ähnlichen Anwendung kann in Fahrzeugen, die ein semiautonomes Fahren verwenden, bei dem eine automatische Fahrzeuglateralsteuerung durch ein Spureinhaltesystem gekoppelt mit einem Mechanismus eines automatischen Lenkens verwendet wird, eine Grafik an der HUD verwendet werden, um den Bediener vorab zu informieren, dass ein Spurwechsel oder eine andere Aktion unmittelbar bevorsteht, so dass der Bediener durch die Aktion, die nachfolgend durch die semiautonomen Steuerungen durchgeführt wird, nicht überrascht ist.
  • Bei einer anderen Ausführungsform kann eine Fahrzeug-Fahrzeug- oder eine Fahrzeug-entfernter Server-Kommunikation verwendet werden, um den Fahrzeugbetrieb zu überwachen und Muster im Fahrzeugbetrieb zu identifizieren. Beispielsweise kann ein Verlangsamen aufgrund eines Unfalls über den Betrieb zahlreicher Fahrzeuge überwacht werden und kann die Information an weitere Fahrzeuge, die sich dem Bereich nähern, weitergeleitet werden. Auf der Grundlage des Überwachens, wie viel Verzögerung das Verlangsamen bei den bereits betroffenen Fahrzeugen verursacht hat, kann die Information kritische Information genannt werden und es kann hinsichtlich der Verzögerung geeignet alarmiert werden und es kann eine alternative Route empfohlen werden. Bei einem anderen Beispiel kann bei einer Anzahl von Fahrzeugen ein Radschlupf überwacht werden und kann ein Fahrzeug, das sich der bestimmten Strecke der Straße nähert, die den Radschlupf verursacht, ein grafisches Stück umfassen, das an der Fahrbahn projiziert wird und einen wahrscheinlich rutschigen Straßenzustand angibt. Die Information kann auf der Grundlage eines Auftretens von Schlupfereignissen an der bestimmten Strecke einer Straße als kritische Information ermittelt werden oder kann auf einem Vergleich des Betriebs des anzeigenden Fahrzeugs mit dem Betrieb des Fahrzeugs, das den Schlupf erfährt, basieren. Beispielsweise wird ermittelt, dass in den letzten vier Stunden drei Fahrzeuge, die schneller als 80 km/h (50 Meilen pro Stunde) fuhren, auf dieser Strecke der Straße rutschten, wobei jedoch auf der Grundlage dessen, dass das Host-Fahrzeug mit 56 km/h (35 Meilen pro Stunde) fährt, ermittelt wird, dass die Information nicht kritisch ist. Bei einer anderen Ausführungsform kann durch das Sichtsystem, potentiell durch ein Radarsystem erweitert, Wild überwacht werden und in Abhängigkeit von einer projizierten Klassifizierung des Wilds als kritische Information angegeben werden. Eine Identifikation eines Pferds auf einem Feld kann als nicht kritische Information ermittelt werden, wohingegen eine Identifikation eines Weißwedelhirschs, der in Richtung der Straße springt, als kritische Information ermittelt werden kann.
  • Es werden Ausführungsformen in Betracht gezogen, die eine Information bezüglich der Umgebung des Fahrzeugs betreffen. Beispielsweise können interessierende Punkte als kritische Information für eine Anzeige an der HUD ausgewählt werden. Eine Familie, die in einer unbekannten Stadt unterwegs ist, kann eine Information bezüglich Sehenswürdigkeiten, die auf der Route liegen, empfangen. Ähnlich können Anweisungen zu Sehenswürdigkeiten oder eine vorgeschlagene Reiseroute ausgewählt und durch das EVS angezeigt werden. Ein Sportfreund kann ein interessierendes Sportteam auswählen und beim Vorbeifahren an einem Stadion oder einer Arena kann ein Zugriff durch eine drahtlose Kommunikation zum Prüfen von Spielzeiten, Ticketkosten und einer aktuellen Sitzplatzverfügbarkeit für eine automatische Projektion an der HUD verwendet werden. Ein Antiquitätensammler kann eine Benachrichtigung beim Vorbeifahren an einem Antiquitätenladen, einem Nachlassverkauf oder einem Flohmarkt innerhalb einer bestimmten Distanz anfordern, und bei einer Anforderung können grafische Anweisungen zu dem Ort angezeigt werden. Ein Insasse, der nach einem neuen Eigenheim sucht, kann eine Benachrichtigung und Anweisungen zu diesem anfordern, wenn eine neue Auflistung für ein zum Verkauf stehendes Eigenheim aufgegeben wird, das ausgewählte Kriterien erfüllt, um die jüngsten Auflistungen zu erhalten. Ein Autoliebhaber kann anfordern, dass eine Fahrzeugmarke oder ein Fahrzeugmodell, die oder das durch eine visuelle Erkennung identifiziert wird, durch ein grafisches Bild identifiziert wird. Es wird eine Anzahl von Anwendungen zum Identifizieren von Punkten von Interesse in Betracht gezogen, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten Ausführungsformen beschränkt werden.
  • Es werden Ausführungsformen zur Verwendung durch Notfallpersonal in Betracht gezogen. Beispielsweise kann ein Krankenwagen, der mit dem offenbarten EVS-System ausgestattet ist, mit Fahrzeugen oder einem entfernten Server kommunizieren, um auf dem Weg zu dem Unfallort eine entsprechende Information einzubeziehen. Beispielsweise können unterwegs vorgeschlagene Routen durch eine Leitstelle aktualisiert werden, kann ein Polizist an der Unfallstelle den sich nähernden Krankenwagen hinsichtlich einer gefährlichen Situation alarmieren oder kann ein Fahrzeug vor Ort mit einem identifizierten schweren Schaden mit dem Krankenwagen kommunizieren, um eine Grafik zu realisieren, um das Fahrzeug mit dem Schaden beim Heranfahren zu identifizieren. Polizeifahrzeuge können Grafiken zur Kommunikation zwischen Polizeifahrzeugen verwenden, wobei beispielsweise ein verfolgtes Zielfahrzeug in einem Fahrzeug identifiziert wird und in anderen Polizeifahrzeugen, die sich der Verfolgung anschließen, eine Grafik erzeugt wird. Bei einem anderen Beispiel können Fahrzeuge Kommunikationen mit einem entfernten Server verwenden, um eine Information bezüglich Fahrzeugen zu empfangen, die in Verbindung mit einer Situation, beispielsweise einem Amber-Alarm, identifiziert werden. Beispielsweise können als gesucht identifizierte Autokennzeichen durch eine in der Technik bekannte Software in Kombination mit dem Sichtsystem erkannt werden. Diese Information kann ohne die Kenntnis des Fahrzeugs, das kein Notfallfahrzeug ist, und daher ohne die Gefährdung der Insassen des Fahrzeugs dem Notfallpersonal übermittelt werden und an die EVS-Systemverwaltungseinrichtung des nächsten Polizeifahrzeugs für eine grafische Anzeige weitergeleitet werden. Ferner können Polizeifahrzeuge eine Thermografie verwenden, um einen Ort nach versteckten oder verletzten Personen in der Landschaft zu durchsuchen. Feuerwehrfahrzeuge können das EVS-System verwenden, um den Betrieb zu verbessern, indem sie beispielsweise beim Bewerten der Situation bei einer Ankunft unterstützt werden. Wenn beispielsweise die Leitstelle einen Anruf von einer im dritten Stock in der Nordwestecke eines Gebäudes gefangenen Person empfangen hat, könnte die Leitstelle die Adresse und die Rauminformation eingeben und könnte der bestimmte Raum des Gebäudes als kritische Information identifiziert werden, die ein grafisches Bild durch das EVS-System erfordert. Bei einem anderen Beispiel könnte eine Thermografie an einem Fahrzeug, das an dem Ort eines Feuers angehalten hat, eingeschaltet werden, um die Feuerwehrmänner beim Ermitteln des Orts und des Fortschritts des Feuers von einem sicheren Ort aus zu unterstützen. Es wird eine Anzahl solcher Anwendungen in Betracht gezogen, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten Beispiele beschränkt sein.
  • Es wird eine Anzahl von Komfortanwendungen in Betracht gezogen. Beispielsweise wird eine eingeschränkte Architektur eines Pixel-Sichtfelds offenbart, die einem Betrachter, der aus einer Richtung auf die HUD schaut, ermöglicht, ein Bild zu sehen, wobei ein anderer Betrachter, der aus einer anderen Richtung auf die HUD schaut, das bestimmte Bild entweder nicht sieht oder ein anderes Bild sieht als der erste Betrachter. Solch ein System würde einem Fahrgast ermöglichen, Bilder, die nicht mit der Fahrt in Beziehung stehen, an der Frontscheibe zu sehen, während der Fahrzeugbediener weiterhin nur Bilder sieht, die mit dem Betrieb des Fahrzeugs in Beziehung stehen. Beispielsweise könnte ein Fahrgast Bilder vom Infotainment-Typ sehen, wie beispielsweise Internetinhalt, ein Video von einer Datenspeichereinrichtung, oder könnte er eine fahrzeugeigene Kamera verwenden, um die Anzeige als Schminkspiegel zu verwenden, ohne die Sicht des Fahrers zu stören. Solch ein Inhalt könnte an andere Systeme angebunden sein, wobei der Fahrgast Speisekarten aus dem Internet entlang der projizierten Route des Fahrzeugs prüft und ein Restaurant als Zwischenziel auf der projizierten Route auswählt, ohne den Fahrzeugbediener zu stören. Solch ein System könnte ferner einem Bediener eines Fahrzeugs ermöglichen, geeignet registrierte Bilder an der Frontscheibe zu sehen, ohne dass der Fahrgast die gleichen Bilder sieht, die für den Fahrgast nicht registriert sind und ihn möglicherweise stören.
  • Ein Vorteil von HUD-Anwendungen ist das Anordnen einer Information vor einem Bediener in einem einzigen Sichtfeld mit einer anderen kritischen Information, wie beispielsweise einer Sicht durch eine Frontscheibe. In bekannten Luftfahrtanwendungen werden HUD-Einrichtungen verwendet, um einem Pilot zu ermöglichen, die Augen auf der Sicht nach außen zu halten, während ihm eine kritische Information, wie beispielsweise Fluggeschwindigkeit und Höhe, dargestellt wird. Solch eine Informationsdarstellung in dem gleichen Sichtfeld mit einer visuellen Information reduziert den Konzentrationsverlust, die Ablenkung und die vorübergehende Desorientierung, die damit in Verbindung stehen, dass man die Augen von einer Sicht nach außen zu einem Armaturenbrett bewegt. Auf ähnliche Weise kann das EVS eine Anzeigeinformation für einen Fahrzeugbediener in einem einzelnen Sichtfeld mit der Sicht nach außen, die durch die Frontscheibe sichtbar ist, darstellen. Solch eine Information kann die ganze Zeit dargestellt werden. Um jedoch eine Ablenkung zu vermeiden, kann die Information gemäß einem Status einer kritischen Information oder gemäß einer Wichtigkeit gefiltert werden. Beispielsweise ist bei einer niedrigen Geschwindigkeit im Vergleich zu einer hohen Geschwindigkeit eine andere Information kritisch oder wichtig. Eine kritische Information für die Anzeige an der Windschutzscheibe kann auf der Grundlage von Schwellenwertfahrzeuggeschwindigkeiten abgestimmt werden. Eine Motordrehzahl innerhalb normaler Bereiche kann nicht als kritische Information klassifiziert werden oder nur eine minimale Anzeige mit niedriger Intensität erhalten. Wenn sich die Motordrehzahlen jedoch auf höhere Niveaus erhöhen, kann die Anzeige aktiviert oder intensiviert werden, um den Bediener hinsichtlich einer möglichen Beschädigung des Motors zu warnen. Ein Kraftstoffstandstatus in den Fahrzeugkraftstofftanks kann auf der Grundlage eines vollen oder nahezu vollen Tanks auf ähnliche Weise nicht angezeigt oder minimal angezeigt werden. Es können verschiedene Niveaus einer erhöhten Wichtigkeit realisiert werden, wobei beispielsweise die Größe einer Anzeige verdoppelt wird, wenn sich der Kraftstofftank unter einen viertel Tank leert und ein Indikator blinkt, wenn ein kritischer niedriger Kraftstofftank unterschritten wird. Die Niveaus einer kritischen Information und die Niveaus einer Wichtigkeit können durch den Fahrzeugbediener beispielsweise über auswählbare Menüs an einer Fahrzeuganzeige angepasst werden. Ferner können Anzeigen und Niveaus einer kritischen und wichtigen Information auf der Grundlage einer Bedienervorliebe durch ein drahtloses Netz oder durch eine direkte Verbindung eines Computers, beispielsweise durch eine USB-Verbindung, mit dem Fahrzeug angepasst werden. Solch eine Anpassung könnte umfassen, dass ein Bediener Anzeigeformen, Linienstärken, Linienfarben, Orte an der Frontscheibe oder andere ähnliche Präferenzen auswählt. Auf der Grundlage der Fahrzeuggeschwindigkeit oder des Straßentyps kann ein Anzeigemotiv oder eine Anzeigedarstellung wählbar umgeschaltet werden, wobei ein Bediener beispielsweise ein Autobahnmotiv und ein Seitenstraßenmotiv konfiguriert. Gemäß einem GPS-Ort könnten Motive mit einem Stadtmotiv und einem Landschaftsmotiv ausgewählt werden. Entwürfe für angepasste Anzeigen an der Frontscheibe könnten auf Nutzer-Websites gemeinsam genutzt oder kommerziell von dem Fahrzeughersteller oder Dritten erlangt werden. Die Anzeigen können mit im Handel erhältlichen Einrichtungen, beispielsweise einer Abspieleinrichtung für digitale Musik, koordiniert werden und in ein Anzeigemotiv integriert werden, wobei beispielsweise die Anzeige der Musikabspieleinrichtung in eine Ecke der HUD übertragen wird. Ein einzelnes Fahrzeug, ausgestattet mit bekannten Verfahren zum Ermitteln einer Bedieneridentität, könnte automatisch Präferenzen für diesen Bediener laden. Es werden viele Ausführungsformen für Anzeigen, die an die Frontscheibe projiziert werden können, in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein.
  • An die Frontscheibe können andere Anzeigen projiziert werden, um die Notwendigkeit für den Bediener, seine Augen von der Frontscheibe wegzubewegen, zu minimieren. Beispielsweise können anpassbare Kameras im hinteren Bereich des Fahrzeugs verwendet werden, um ein kleines Bild eines schlafenden Kinds in einem Autositz in einer hinteren Reihe des Fahrzeugs zu projizieren, was dem Bediener ermöglicht, das Kind zu überwachen, ohne dass er sich zum Schauen umdreht. Es könnte eine panoramaartigere Ansicht realisiert werden, um mehrere Kinder zu überwachen. Solch eine Überwachungsfunktion könnte in Echtzeit stattfinden oder könnte eine Wiedergabefunktion umfassen.
  • Wie oben beschrieben kann ein Fahrgast unter bestimmten Umständen eine Information vom Infotainment-Typ sehen. Ablenkungen für den Fahrzeugbediener müssen deutlich und wie manchmal durch eine Regulierung erforderlich minimiert werden. Wenn sich ein Fahrzeug bewegt, wäre eine Information, wie beispielsweise Videoinhalt oder Email-Kommunikationen, für den Bediener ratsamerweise nicht sichtbar. Solche Anwendungen können jedoch zur Verfügung gestellt werden, wenn es zulässig ist, wie beispielsweise bei einer Fahrzeuginformation, die angibt, dass sich das Fahrzeug in einem Parkgetriebezustand befindet, oder wenn die Parkbremse des Fahrzeugs betätigt ist. Es können andere Anwendungen möglich sein, die eine eingeschränkte Information für den Bediener darstellen, ohne eine übermäßige Ablenkung herbeizuführen, welche beispielsweise Sportpunktestände aus dem Internet, neue Überschriften aus dem Internet oder eine Information über Musik, die momentan in dem Fahrzeug gespielt wird, wobei beispielsweise ein Liedtitel und ein Interpretenname als minimale Grafik an der HUD bereitgestellt werden, umfassen.
  • Eine beispielhafte Ausführungsform einer eingeschränkten Architektur eines Pixel-Sichtfelds, die eine Bildansicht aus einer eingeschränkten Richtung ermöglicht, umfasst die Verwendung von Mikrostrukturen oder einer Anordnung von Partikeln, die ein Anregungslicht wie oben beschrieben aufnehmen und Licht in einer eingeschränkten Richtung emittieren. 30 und 31 zeigen schematisch eine beispielhafte Verwendung einer eingeschränkten Architektur eines Pixel-Sichtfelds gemäß der vorliegenden Offenbarung. 30 zeigt einen beispielhaften Emitter, der Licht an ein eingeschränktes Sichtfeld emittieren kann. Der beispielhafte Emitter umfasst einen UV-transparenten Verkapselungsstoff, der beispielsweise aus SiO2 hergestellt ist und mit einem LIF-Material gefüllt ist, das bei einer Bestrahlung mit ultravioletter Strahlung sichtbare Wellenlängen fluoresziert, mit einer parabelförmigen Schmalbandmehrschichtreflexionsstruktur. Bei dieser beispielhaften Ausführungsform wird ein dünner Film dieser Emitter auf einem Polymer abgeschieden. Als Vorbereitung für den Film werden Prägungen in Form von Parabeln ähnlich der in den Emittern gebildeten Form in das Polymermaterial geprägt. Die Emitter werden durch chemische Dampfabscheidung auf das Polymersubstrat abgeschieden, wobei die Parabelprägungen mit Emittern gefüllt werden. 31 beschreibt einen beispielhaften Prozess zum Erzeugen der notwendigen Struktur von Emittern, die mit einem Polymersubstrat ausgerichtet werden, um das Sehen eines eingeschränkten Sichtfelds zu ermöglichen. Durch einen beispielhaften Prozess, wie beispielsweise Ätzen, werden freistehende Parabeln, die mit emittierendem Material gefüllt sind, erzeugt, indem sie von dem Substrat abgelöst werden. Das Entfernen von dem Polymersubstrat kann auch durch Auflösen des Kunststoffsubstrats mit einem geeigneten Lösungsmittel erreicht werden. Die freistehenden Parabeln werden dann in kleine Stücke eingefügt, die in dem Glassubstrat durch fotolithografische Verfahren oder Prägen erzeugt wurden. Das Verfahren des Ineingriffbringens der Parabel mit dem kleinen Stück kann durch einen Prozess, wie beispielsweise Aufschwemmen aus einer Flüssigkeit (fluidic self assembly), der ähnlich dem durch Alien Technology ausgeführten ist, erreicht werden, wobei man die Parabeln über das Substrat fließen lässt und das Eingreifen von Parabeln und kleinen Stücken auf statistische Weise stattfindet.
  • In der Technik sind Kopf- und Augenerfassungseinrichtungen bekannt und werden hier nicht ausführlich erklärt. Für den Zweck dieser Offenbarung wird eine kamerabasierte Einrichtung in Kombination mit einer Bilderkennungssoftware verwendet, um einen dreidimensionalen Kopfort in dem Fahrzeug, was mit einem Fahrzeugkoordinatensystem koordiniert werden kann, und eine Richtung eines Bedienerblicks auf der Grundlage einer Bilderkennungsprogrammierung zu schätzen. Durch Sensoreingänge, wie beispielsweise gemäß den oben beschriebenen Verfolgungsverfahren, kann ein Ort eines Objekts in Relation zu einem Fahrzeugkoordinatensystem festgestellt werden. Auf der Grundlage der Koordination des Bedienerkopforts mit dem Fahrzeugkoordinatensystem und der Koordination der Objektverfolgungen mit dem Fahrzeugkoordinatensystem kann ein geschätzter Schnittpunkt zwischen dem verfolgten Objekt und den Bedieneraugen an der Frontscheibe ermittelt werden, wodurch eine Registrierung einer Information hinsichtlich relevanter Merkmale, die durch die Frontscheibe sichtbar sind, ermöglicht wird, gemäß der Offenbarung. Es sind ähnliche Verfahren mit einer Spurmarkierungsprojektion und andere hierin beschriebene Verfahren möglich, wobei eine genaue Registrierung einer Information für die HUD ermöglicht wird. Auf ähnliche Weise ermöglicht eine Kombination des Kopforts mit einer Schätzung der Richtung des Bedienerblicks eine Projektion einer Information gemäß Verfahren, die vorgesehen sind, um sicherzustellen, dass der Bediener eine kritische Information sobald wie möglich sieht. Es könnten ähnliche Verfahren mit dem Fahrgast auf dem Beifahrersitz oder Fahrgästen auf den hinteren Sitzen der Fahrzeuge realisiert werden, wobei eine registrierte Projektion für Fahrzeuginsassen an verschiedenen Flächen ermöglicht wird.
  • Kopf- und Augenerfassungseinrichtungen ermöglichen dem EVS, eine Richtung des Bedienerblicks wahrzunehmen. Dieser Blickort kann mit einer identifizierten kritischen Information verglichen werden. Es wird ein Verbesserungsmerkmal eines peripheren hervorstechenden Merkmals offenbart, wobei die Anzeigeeigenschaften auf der Grundlage dessen abgestimmt werden, dass die Aufmerksamkeit der Augen des Bedieners auf eine kritische Information gelenkt werden, wenn sich der Bedienerblick an einer anderen Stelle befindet, während der Fahrer nicht übermäßig abgelenkt wird, wenn sich der Bedienerblick in der Nähe der angezeigten kritischen Information befindet. Wenn beispielsweise ein Fahrzeug auf der linken Seite des sichtbaren Sichtfelds rückwärts aus einer Lücke herausfährt und ermittelt wird, dass es sich auf einem potentiellen Kollisionskurs mit dem Host-Fahrzeug befindet und ermittelt wird, dass sich der Bedienerblick in Richtung der rechten Seite des sichtbaren Sichtfelds befindet, kann ein Kasten um das Gefahr bringende Fahrzeug angeordnet werden und kann ein blinkender Pfeil an der Stelle des Bedienerblicks angeordnet werden, der den Bediener auffordert, seine Aufmerksamkeit auf den Kasten zu richten.
  • Das umfasste EVS kann registrierte Bilder über die gesamte Frontscheibe projizieren, wobei Bilder für sichtbare Objekte oder Bereiche durch die transparente Frontscheibe registriert werden. Die Fahrzeugsensoren können jedoch eine Information verarbeiten und identifizieren, die Bedingungen außerhalb der Sicht der Frontscheibe betrifft. Beispielsweise können Radareinrichtungen und/oder Kameraeinrichtungen, die auf Bereiche auf den Seiten oder der Rückseite des Fahrzeugs gerichtet sind, eine Ampelinformation, Fahrzeugtrajektorien, das Vorhandensein von Notfallfahrzeugen und andere entsprechende Informationen identifizieren. Die EVS-Verwaltungseinrichtung ermittelt beim Bewerten des Umgebungsmodells, das entsprechend einer kritischen Information erzeugt wird, ob die kritische Information an der Frontscheibe an einer Position angezeigt werden kann, die für relevante Merkmale, die durch die Frontscheibe sichtbar sind, und der kritischen Information entsprechen, registriert ist. In dem Fall, dass die Bewertung ermittelt, dass die relevanten Merkmale auf der Grundlage der Insassenkopf- und -augenposition nicht in dem sichtbaren Bereich der Frontscheibe liegen, kann eine Grafik für die Frontscheibe registriert sein, beispielsweise an einem Rand der Frontscheibe, der am nächsten an der Quelle der kritischen Information liegt, oder mit einem Abstand zu dem Insassenblick, welche die Notwendigkeit, in die Richtung der kritischen Information zu schauen, angibt. Wenn beispielsweise eine Zielfahrzeugtrajektorie und eine Geschwindigkeit angeben, dass das Fahrzeug wahrscheinlich eine rote Ampel links oder rechts des Host-Fahrzeugs überfährt, kann das EVS akut eine Notfallwarnung für den Bediener aufrufen, um eine Seitenkollision zu vermeiden. Obwohl ein beispielhaftes EVS mit nur einer Projektion an der Frontscheibe keine grafische Darstellung bei einem sichtbaren Objekt registrieren kann, das nicht innerhalb des sichtbaren Bereichs der Frontscheibe liegt, kann das EVS den Fahrzeugbediener auffordern, in Richtung der identifizierten kritischen Information zu schauen. In dem Fall, dass eine kritische Information hinter dem Fahrzeug identifiziert wird, kann eine Aufforderung an der Frontscheibe angezeigt werden, die in Richtung des Rückspiegels weist oder diesen skizziert. Alternativ kann ein virtueller Rückspiegel an der Frontscheibe angezeigt werden, wobei eine nach hinten gerichtete Kamera verwendet wird. Alternativ könnte unter Verwendung mehrerer Kameras, beispielsweise an einem breiten, vertikal dünnen Stück einer Anzeige entlang der Oberseite der Frontscheibe eine Panoramaansicht projiziert werden, die beispielsweise eine Sicht um die hinteren 180 Grad des Fahrzeugs darstellt, wodurch herkömmliche tote Winkel, die durch bekannte Spiegelkonfigurationen verursacht werden, beseitigt werden. Bei einem anderen Beispiel kann eine HUD in einer Heckscheibe eines Fahrzeugs verwendet werden, um eine Vollbild-Parkunterstützung durch grafische Bilder an der Scheibe bereitzustellen. Solch eine Heckscheibenanzeige kann beispielsweise durch eine Spracherkennungssoftware wählbar im normalen oder Rückwärtsmodus angezeigt werden, wobei eine Sicht direkt oder durch den Rückspiegel ermöglicht wird. Bei einem anderen Beispiel könnte auf der Grundlage einer Verfolgungsinformation eine taktische oder simulierte Überkopf-Anzeige synthetisiert und an die Frontscheibe projiziert werden. Beispielsweise könnten in einer Parksituation eine Radar- und eine visuelle Information verwendet werden, um einen relativen Ort einer Parklücke, anderer Fahrzeuge, von Randsteinen und Fußgängerverkehr zu schätzen und können diese geschätzten Orte an einer grafischen Anzeige dargestellt werden. Ähnlich könnte solch eine taktische Anzeige während Spurwechselmanövern erzeugt werden, die beispielsweise zu einer kritischen Information werden, sobald ein Blinker eingeschaltet wird, und könnte eine Anzeige, die erfasste Objekte um das Fahrzeug herum zeigt, angezeigt werden. Wieder auf eine Parksituation Bezug nehmend, wie beispielsweise ein Manöver eines Rückwärtseinparkens, könnte ein Satz von Kriterien programmiert sein, wobei beispielsweise Parkverbotszonen überwacht werden und ein Bereich von Distanzen von dem Randstein und von benachbarten Fahrzeugen angefordert wird. An der Windschutzscheibe könnten basierend auf räumlichen Beziehungen Aufforderungen oder Empfehlungen angezeigt werden, die ein Hervorheben von verfügbaren Parklücken entlang Straßen in einer Stadt in der Nähe eines programmierten Ziels oder empfohlene Rad- und Pedalsteuerungen zum Navigieren in die Parklücke umfassen. Beispielhafte Bedingungen und grafische Anzeigen sind Beispiele für eine kritische Information, die angezeigt werden kann und einen Bediener auffordert, seine Aufmerksamkeit auf Bedingungen außerhalb der Sicht der Frontscheibe zu richten. Diese Beispiele sollen jedoch nur eine Teilmenge der in Betracht gezogenen Beispiele darstellen, und die Offenbarung soll nicht darauf beschränkt sein.
  • Es wird eine Anzahl von Verbesserungen für das EVS in Betracht gezogen, die Merkmale realisieren, die insbesondere für Kraftfahrzeuganwendungen solcher Projektionstechniken relevant sind. Ein Fachmann wird erkennen, dass Laser- und Projektorentwürfe, die zum Projizieren komplexer Bilder verwendet werden, häufig einen Spiegel sehr kleiner oder mikroelektromechanischer Systeme (MEMS von microelectromechanical systems) verwenden, um die projizierte Grafik an gewünschte Orte zu lenken. MEMS-Spiegellaserprojektorentwürfe des Stands der Technik weisen entweder einen Einzelkonturvektor (single stroke vector) oder eine Bitmap-Architektur auf, was die Effizienz und Menge an dargestellter Information einschränkt. Es wird ein alternatives Verfahren offenbart, das weiterhin die Konturrealisierung verwendet, jedoch mehrere MEMS-Spiegel (MEMS-Chip) umfasst, um eine Reihe von Teilstrahlen (Beamlettes) zu lenken. Dieses offenbarte Verfahren realisiert zuerst ein Galileo-Teleskop, um den UV-Laserstrahl zu einem Punkt aufzuweiten, an dem mehrere der Spiegel in einer X-Richtungs-MEMS-Mehrfachspiegeleinrichtung bestrahlt werden. Jeder der x-Spiegel (oder der Gruppe von x-Spiegeln) ist einem y-Spiegel oder einer Gruppe von y-Spiegeln zugeordnet oder passt zu diesem oder dieser. An dem geeigneten Gebiet des emittierenden Materials wird dann unabhängig auf die y-Spiegel abgezielt.
  • Kraftfahrzeuganwendungen umfassen raue Bedingungen, die umfassen, dass die Materialien, die oben als in der HUD verwendet beschrieben wurden, möglicherweise einem Kratzen, Abrieb und einer nachteiligen chemischen Verunreinigung ausgesetzt werden. Eine andere Ausführungsform von Systemverbesserungen umfasst die Verwendung einer Schutzbeschichtung über dem Licht emittierenden Material an der HUD. Die Einführung solch einer Schicht erzeugt hinsichtlich des Vorhandenseins des Anregungslichts von der Projektionseinrichtung und des Vorhandenseins des emittierten Lichts von der Frontscheibe sowie des Vorhandenseins von Licht, das von außerhalb des Fahrzeugs durch die Frontscheibe gelangt, jedoch die Möglichkeit für Reflexions- und Refraktionsprobleme, was Doppelbilder oder Geisterbilder erzeugt. Es kann eine Breitbandentspiegelungsbeschichtung (Breitband-AR-Beschichtung von broad band anti-reflective coating) auf die Innenfläche der Frontscheibe aufgebracht werden, um Geisterbilder zu minimieren. Die AR-Beschichtung kann entweder eine Einzelschicht-MgF2- oder eine Mehrschichtbeschichtung sein. Es ist ein harter AR-Mantel erforderlich, um das ausstrahlende Material, das in einer HUD für eine gesamte Frontscheibe verwendet wird, zu schützen, welcher eine Beschichtung eines organischen UV-laserinduzierten Fluoreszenzmaterials aufweist. Eine Geisterbildbeseitigung erfordert eine Beschichtung, um das optische Feld effektiv zu koppeln, wobei eine Fehlanpassung des Brechungsindex des Materials mit dem Brechungsindex der Luft vermieden wird. Es können verschiedene Materialien hinzugefügt werden, um das AR- & Haltbarkeitsleistungsvermögen des Materials zu verbessern. Es können Mehrschichtbeschichtungen einer Vielzahl von Materialien und einer Vielzahl von absoluten und relativen Dicken verwendet werden, um die AR-Funktion zu erreichen. Geeignete Materialien, die über Magnetron-Sputter- oder andere Verfahren einer physikalischen und chemischen Dampfabscheidung abgeschieden werden können, umfassen SiO2, Si3N4, TiO2 und SiOxNy. Das zuletzt genannte Material, Siliziumoxinitrid, weist den Vorteil auf, dass es einen Brechungsindex hat, der über das O/N-Verhältnis (Stöchiometrie) abstimmbar ist.
  • Ein Projizieren eines Bilds an eine gekrümmte und schräge Frontscheibe erzeugt ein Potential für Unregelmäßigkeiten in den resultierenden Grafikbildern. Ein beispielhaftes Problem, das vermieden werden muss, umfasst eine Luminanzschwankung oder unbeabsichtigte Unterschiede der Grafikhelligkeit, die durch geometrische Unterschiede beim Interagieren des Anregungslichts mit verschiedenen Teilen der HUD verursacht werden. Die Luminanzkorrektur ist eine Kompensationstechnik, die für Vektorprojektionsanzeigen notwendig ist. Ein Verfahren zum Erreichen einer Luminanzkorrektur umfasst eine Reparametrisierung einer Parameterkurve, die bei einer grafischen Ausgabe verwendet wird, so dass jedes Segment des Pfads beim Durchführen einer dünnen Abtastung (sparse sampling) die gleiche effektive Abtastlänge hat. Die effiziente Abtastlänge kann aus der Abtasteinheitsbereichszeitrate bewertet werden, die eine Simulation der Darstellungsenergie an der Anzeigeprojektionsfläche ist. Die perspektivischen Faktoren und Faktoren einer nicht planaren Fläche können bei der Berechnung der effektiven Länge in Betracht gezogen werden.
  • Die Luminanzschwankung ist eine potentielle Unregelmäßigkeit, die eine Projektion an einer Frontscheibe schwierig machen kann. Eine weitere potentielle Unregelmäßigkeit umfasst eine Verzerrung der grafischen Bilder, die durch geometrische Verzerrungen aufgrund von nicht flachen Anzeigeflächen, der Perspektive und optischen Abweichungen in Ausgestaltungen eines großen Projektionssystems mit weitem Sichtwinkel erzeugt wird. Es wird ein Verzerrungskorrekturschema mit zwei Durchgängen offenbart, um eine geometrische Verzerrung von Laservektorprojektionsanzeigen zu korrigieren, indem die Abtastkurven und Projektionsflächen mit Parameterkurven/-stücken eines nicht-uniformen rationalen b-Splines (NURB von non-uniform-rational b-spline) modelliert werden. Im ersten Durchgang werden die gewünschten NURBs im Objektraum in den durch einen Sichtpunkt definierten Sichtraum transformiert. Die Perspektive wird dann aufgrund ihrer affinen und perspektivischen Invarianten auf eine virtuelle Anzeigeebene abgebildet. Schließlich wird sie auf die nicht flache Anzeigefläche mit Parameterraumabbildung, falls dies notwendig ist, abgebildet. Im zweiten Durchgang wird der Pfad in einen Projektionsraum transformiert, der durch die Position des Projektors definiert ist, und dann wird der Pfad auf der Projektorebene abgebildet. Die nicht linearen Verzerrungen werden durch Kalibrierungsverfahren korrigiert.
  • Eine weitere potentielle Unregelmäßigkeit, die beim Projizieren grafischer Bilder an einer Frontscheibe erzeugt werden kann, umfasst Ineffizienzen, die in der Abtastschleife erzeugt werden, die zum Projizieren der grafischen Bilder verwendet wird. Die Abtastschleife besteht aus den grafischen Primitivpfaden, die grafische Primitive darstellen, und den Ausblendungspfaden, die die Primitivsegmente verbinden. Ein schlechter Abtastschleifenentwurf verursacht eine ineffiziente Anzeige oder einen Anzeigefehler. Die Optimierung an den Pfaden führt zu einem glatten und effizienten Abtasten, wenn spiegelbasierte Abtasteinrichtungen eingesetzt werden. Ein Optimieren unter allen Abtastpfaden liefert eine effiziente und glatte Vektorabtastung während einer Abtastperiode oder eines Frames in einer Rasterprojektionsanzeige. Unsichtbare Ausblendpfade können während eines Einsetzens der Abtastpfadliste zum Zusammenführen der Abtastpfade wie ein kursives Skript optimiert werden. Es kann eine Optimierung an den Ausblendpfaden durchgeführt werden, so dass alle Ausblendpfade den ersten/zweiten Kontinuitätsgrad mit ihren benachbarten Pfaden aufweisen. Es wird die Parameterkurvenmodellerstellung eingesetzt. Dieses Verfahren verwendet auch die Optimierung zwischen allen Abtastpfaden zum Erhalten einer effizienten und glatten Vektorabtastung während einer Abtastperiode oder eines Frames in einer Rasterprojektionsanzeige. Die gesamte Schleife wird reparametrisiert, so dass die Schleife die kürzeste Abtastlänge und den größten lokalen Krümmungsradius aufweist.
  • Eine Anzeige erfordert häufig Bereiche einer Intensität von Null, beispielsweise in projizierten Bildern, die eine gestrichelte Linie umfassen. Es wird ein Verfahren zum Verbessern der Bildqualität von Vektorprojektionsmaschinen offenbart, die Lichtquellen aufweisen, die mit Mikrospiegeln gelenkt werden. Das Verfahren wird auf Laserprojektionseinrichtungen angewandt, die unter Verwendung von Mikrospiegeln (eines x-Abtast- und eines y-Abtastspiegels) an Anzeigeflächen gelenkt werden. Der Ausgang ist ein Lichtvektor, dessen Position über die Anzeigefläche streicht, und die Intensität des Lichts kann über den Laserstrom moduliert werden. Wenn eine Luminanz von Null erwünscht ist, ist ein ”Aus-Zustand” des Lasers erwünscht. Leider ist die Ansprechzeit auf das Aus- und Einschalten eines Lasers relativ zu typischen Abtastgeschwindigkeiten langsam. Bekannte Verfahren erzeugen Linien mit schwacher Luminanz, wenn eine Luminanz von Null erwünscht ist. Es wird ein Verfahren zum Erzeugen einer Luminanz von Null, indem ein Objekt in dem Pfad der Lichtquelle verwendet wird, um das an die HUD projizierte Anregungslicht steuerbar zu unterbrechen, offenbart. Beispielsweise könnten in den Lichtpfad eingesetzte Objekte eine Messerkante, eine Aperturblende oder einen Spiegel umfassen. Solch eine mechanische Ausblendung kann in der Größenordnung der Zeitskala des Abtastspiegels erreicht werden, so dass es eine Ansprechzeitübereinstimmung gibt.
  • Oben ist eine Anzahl von verschiedenen Verwendungen offenbart, die durch selektive Projektion einer Information an einer HUD durch ein EVS erreicht werden können. 32–37 zeigen ausgewählte beispielhafte Anzeigen einer kritischen Information, die an eine HUD projiziert werden könnte, gemäß der vorliegenden Offenbarung. 32 zeigt eine beispielhafte nicht verbesserte externe Ansicht, die Merkmale umfasst, die für den Bediener des Fahrzeugs wünschenswerterweise sichtbar zugänglich sind. Die Ansicht 200 umfasst eine Fahrbahn 206, die eine erste Spurmarkierung 202 und eine zweite Spurmarkierung 204 umfasst; ein Fahrzeug 208, das sich auch auf der Fahrbahn befindet; einen Fußgänger 210; ein Geschwindigkeitsbeschränkungsverkehrsschild 214; und eine bevorstehende Kurve der Straße 216. Alle Objekte und Merkmale in der Ansicht 200 sind direkt sichtbar und es sind keine grafischen Anzeigen durch ein EVS gezeigt.
  • 33 zeigt eine beispielhafte Sicht, die durch starken Nebel behindert ist, und beispielhafte verbesserte Sichtanzeigen, die verwendet werden könnten, um die Auswirkung des Nebels zu kompensieren. Die Ansicht 220 zeigt die gleiche Ansicht wie es in 32 gezeigt ist, außer, dass die Sicht durch Nebel behindert ist. Die Ansicht 220 umfasst Nebel 221; eine erste Spurmarkierung 202 und eine zweite Spurmarkierung 204, die beide für kurze Distanzen direkt sichtbar sind, bis sie durch den Nebel 221 verdeckt werden; projizierte Spurindikatoren 222 und 224; einen Fahrzeugindikator 228; einen Fußgängerindikator 230; eine Fahrzeuggeschwindigkeitsanzeige 234; und einen Warnindikator 237. Die projizierten Spurindikatoren 222 und 224 sind Projektionen von Spurindikatoren, die nicht sichtbar sind, und sind Hilfen, um den Bediener beim Einhalten der Spur trotz des Vorhandenseins des Nebels 221 zu unterstützen. Die projizierten Spurindikatoren 222 und 224 umfassen gekrümmte Teilabschnitte 236, die eine bevorstehende Kurve auf der Straße entsprechend der Kurve 216 in 32 angeben. Es sei angemerkt, dass die Spurindikatoren 222 und 224 als eindeutige Linien gezeigt sind. Wenn zahlreiche Sensoren zur Verfügung stehen, um die Positionsdaten zu verfeinern und beispielsweise eine 3D-Karte oder Radarrückführungen von unterscheidbaren Merkmalen, wie beispielsweise Randsteinen oder Leitplanken, verwendet werden, können eindeutige Linien verwendet werden, um mit einer bestimmten Gewissheit die Position einer Geometrie einer bevorstehenden Spur zu übermitteln. Wenn jedoch weniger Informationsquellen zur Verfügung stehen, wird die Fahrzeugposition nicht genau festgelegt, oder wenn aus dem einen oder anderen Grund die Spurgeometrie unsicher ist, können Bereiche oder Bänder von Linien verwendet werden, um dem Bediener bei der Führung zu helfen, während übermittelt wird, dass man besonders vorsichtig sein sollte, um die tatsächliche Straßengeometrie visuell zu ermitteln. Der Fahrzeugindikator 228 zeigt dem Bediener den Ort und das allgemeine Verhalten des Fahrzeugs 208. Ferner kann eine Information in Textform, die Faktoren, wie beispielsweise eine Entfernung und eine Bewertung der relativen Bewegung, umfasst, angezeigt werden, um den Bediener beim korrekten Kompensieren des Vorhandenseins des Fahrzeugs zu unterstützen. Der Fußgängerindikator 230 teilt dem Bediener mit, dass ein Fußgänger detektiert wurde, und teilt die allgemeine Position in Bezug auf die Fahrbahn mit. Gemäß oben beschriebenen Verfahren kann eine andere Grafik oder ein anderer Text verwendet werden, um verschiedene Verhalten oder Eigenschaften des Fußgängers zu beschreiben. Das Verkehrsschild 214, das in 32 gezeigt ist, ist in 33 aufgrund des Nebels 221 nicht sichtbar. Die Geschwindigkeitsbeschränkungen für Strecken der Straße sind jedoch durch andere Mittel erkennbar, wie beispielsweise durch GPS-Einrichtungen gemäß 3D-Karten. Ein Fahrzeuggeschwindigkeitsindikator 234 stellt eine Auflistung der momentanen Fahrzeuggeschwindigkeit und der Geschwindigkeitsbeschränkung für die Straße, auf der momentan gefahren wird, bereit. Wie oben erwähnt ist in 32 die Kurve 216 gezeigt und liefern gekrümmte Teilabschnitte der projizierten Spurindikatoren 222 und 224 einen Ort für die bevorstehende Kurve. Ferner kann eine Textanzeige die Annäherung der Kurve beschreiben, was eine Distanz zu der Kurve umfasst, wie es in 33 beschrieben ist. Ferner könnte eine empfohlene Geschwindigkeitsänderung oder ein anderer Indikator hinsichtlich der Stärke der Kurve entweder als Text 237 oder in Kombination mit der Grafik der gekrümmten Teilabschnitte 236 angegeben werden.
  • 34 zeigt eine beispielhafte Anzeige einer Grafik zum Verbessern der Sicherheit bei einem Spurwechsel. Die Ansicht 240 umfasst eine erste Spurmarkierung 202 und eine zweite Spurmarkierung 204, die direkt durch die Frontscheibe sichtbar sind; eine benachbarte Spurmarkierung 242, die auch direkt sichtbar ist; einen Blinkerindikator 244; eine taktische Spurwechselanzeige 246; und Textanzeigen 248 und 249. Der Blinkerindikator 244 kann einen einfachen Pfeil, einen blinkenden Pfeil, ein zyklisches Verändern der Grafik hinsichtlich Größe, Farbe, Intensität, Position oder eine andere Grafik, in Abhängigkeit davon, dass die Nachricht an den Bediener übermittelt wird, umfassen. Beispielsweise kann bei einem Spurwechsel, bei dem in der Nachbarspur keine Gefahr detektiert wird, ein einfacher Pfeil diskret an der HUD angezeigt werden, um zu übermitteln, dass keine Gefahr, die das Manöver verhindert, zu erwarten ist. Für den Fall, dass, wie in 34 gezeigt, sich ein Fahrzeug auf der Nachbarspur befindet, das eine Kollisionsgefahr darstellt, wenn ein Spurwechsel ausgeführt wird, kann die Grafik jedoch geändert werden, um eine Nachricht zum Stoppen des Spurwechsels anzugeben, und zwar beispielsweise durch Blinkenlassen des Indikators, Ändern des Indikators in Rot, Ausgeben einer durchgestrichenen/Verbotsgrafik über dem Indikator oder durch jedes beliebige andere annehmbare Anzeigeverfahren zum Angeben eines Alarms für den Betrachter. Es ist die taktische Anzeige 246 gezeigt, die einen Ort des Fahrzeugs und eine relative Verfolgung des Fahrzeugs, angegeben als Gefahr, darstellt. Die Spurmarkierungsprojektionen können an der taktischen Anzeige angegeben werden, um die Wahrnehmung der relativen Positionen der Fahrzeuge zu verbessern. 34 zeigt Pfeile, die auf das Fahrzeug deuten, das die Gefahr darstellt, um mehr Aufmerksamkeit von dem Bediener auf die Situation zu lenken. Ferner sind ein der taktischen Anzeige beigefügter Text 248 und ein unabhängig an der HUD angeordneter Text 249 gezeigt, die die Aufmerksamkeit des Bedieners stark auf die Situation lenken.
  • 35 zeigt eine beispielhafte Situation, in der ein Verbesserungsmerkmal eines peripheren hervorstechenden Merkmals in Kombination mit einem geschätzten Blickort des Bedieners verwendet wird, um einen Bediener hinsichtlich einer kritischen Information zu alarmieren. Die Ansicht 250 umfasst eine erste Spurmarkierung 202 und eine zweite Spurmarkierung 204, die direkt durch die Frontscheibe zu sehen sind; ein ablenkendes Schild 254 und ein Fahrzeug 208, die beide direkt durch die Frontscheibe zu sehen sind; und eine Anzahl von Grafiken, wie nachstehend beschrieben. Es ist der Blickort 252 eines Bedieners gezeigt, der einen Punkt beschreibt, auf den sich die Augen des Bedieners offensichtlich konzentrieren, beispielsweise als Ergebnis des Konzentrierens auf das ablenkende Schild 254. Der Ort 252 ist lediglich zur beispielhaften Darstellung gezeigt und würde als Ergebnis der Ablenkung, die solch eine sich bewegende Grafik für den Bediener darstellen würde, wahrscheinlich nicht an der HUD angezeigt werden. Eine Verfolgung des Fahrzeugs 208 gibt eine Bewegung an, die bewirkt, dass das Fahrzeug 208 als Gefahr klassifiziert wird. Beispielsweise ist das Fahrzeug 208 auf einer Trajektorie des Kreuzens der Spurmarkierung 202 auf die Spur des Fahrzeugs des Bedieners gezeigt. Beim Angeben der Identifikation des Fahrzeugs 208 als Gefahr wird ein Fahrzeugindikatorkasten 256 um das Fahrzeug 208 herum angezeigt, der einen Richtungspfeil umfasst, welcher eine relevante Information angibt, wie beispielsweise eine Fahrtrichtung des Fahrzeugs. Ferner wird ein Text 259 angezeigt, der den Gefahrenzustand beschreibt. Um die Aufmerksamkeit des Bedieners von dem Bereich des ablenkenden Schilds 254 auf die kritische Information des Fahrzeugs 208 zu lenken, werden ein Alarm in Textform und ein begleitender Pfeil in der Nähe des Blickorts des Bedieners angezeigt. Auf diese Weise kann die Aufmerksamkeit des Bedieners so schnell wie möglich auf die kritische Information gelenkt werden.
  • 36 zeigt eine beispielhafte Ansicht, die eine Anzeige von Navigationsanweisungen an einer HUD beschreibt. Die Sicht durch die Frontscheibe in 36 umfasst eine komplexe Kreuzung 262, bei der sich fünf Straßen gemeinsam schneiden. Die Ansicht 260 umfasst die Kreuzung 262, die direkt durch die Frontscheibe sichtbar ist; Gebäude 266, die direkt durch die Frontscheibe sichtbar sind; eine Ampel 268, die direkt durch die Frontscheibe sichtbar ist; und eine Anzahl von Grafiken, wie nachstehend beschrieben. Es ist ein Navigationspfeil 264 gezeigt, der für die spezifische Straße, auf die an der Kreuzung 262 abgebogen werden soll, registriert ist. Ferner werden Navigationsdaten, die eine 3D-Karte umfassen, verwendet, um ein bestimmtes Gebäude 266 als Ziel zu identifizieren, und ist ein Zielindikator 267 gezeigt, der eine Box und einen Text umfasst. Ferner wird auf der Grundlage einer Fahrzeuginformation oder der Komplexität der dem Bediener dargestellten Kreuzung eine Angabe über einen Warntext 269 als kritische Information angezeigt, wobei eine Ermittlung einer Ampel, die einen Stopp befiehlt, als Fahrunterstützung übermittelt wird.
  • 37 zeigt eine weitere beispielhafte Ansicht, die eine kritische Information beschreibt, die an einer HUD angezeigt werden kann. Die Ansicht 270 beschreibt eine Sicht durch eine Frontscheibe bei Nacht. Die Ansicht 270 umfasst eine Scheinwerferbeleuchtung 271, die zwei Lichtkegel beschreibt, die durch die Frontscheibe sichtbar sind. Ferner ist ein virtueller Rückspiegel 272 gezeigt, der eine Panoramasicht um die Seiten und die Rückseite des Fahrzeugs anzeigt, wie durch eine Kamera oder eine Gruppe von Kameras erfasst. Die beispielhafte Ansicht umfasst ein Fahrzeug 208.
  • Die dargestellten Ansichten in dem Rückspiegel können als einfache Bilder aufrechterhalten werden oder können eine Information, wie beispielsweise eine Entfernung zu einem Zielfahrzeug, umfassen. Ferner ist ein Wildindikator 274 gezeigt, der einen überlagerten Teilabschnitt eines Infrarotbilds, in 37 als schraffiertes Quadrat gezeigt, umfasst, um den Bediener beim Sehen des Wilds außerhalb der Scheinwerferbeleuchtung 271 zu unterstützen. Ferner umfasst der Wildindikator 274 einen Richtungspfeil und einen Warntext, der die Situation für den Bediener beschreibt. Ferner ist eine Textwarnung 276 gezeigt, die eine Detektion einer akustischen Sirene, noch nicht korreliert mit einer visuellen Information, beschreibt und den nahen Ort eines Notfallfahrzeugs angibt. Ferner wird in Textform ein Punktestand 278 angezeigt, der eine Information, die für den Bediener von Interesse ist, in einem Format beschreibt, das entworfen ist, um die Ablenkung für den Fahrer zu minimieren. Ferner wird eine Radioinformation angezeigt, die den Namen eines momentan gespielten Lieds und der Gruppe, die das Lied spielt, umfasst, was die Tendenz reduziert, dass der Bediener seinen Blick auf das Display des Fahrzeugradios richtet.
  • Oben sind Ausführungsformen beschrieben, bei denen eine Grafik für einen Insassenblick registriert sein kann. Es sei angemerkt, dass ein Anzeigen einer Grafik unmittelbar in der Mitte des Blicks des Betrachters ablenkend sein kann. Stattdessen kann anfänglich eine Grafik mit einer Verschiebung von dem Ort des Blicks des Betrachters und fixiert an diesem Ort registriert sein. Auf diese Weise befindet sich die Grafik für den Betrachter bequem nahe an dem aktuellen Ort des Blicks des Betrachters, wobei der Betrachter jedoch dann, wenn es seine Prioritäten erlauben, direkt auf die Grafik schauen kann. Der Ort der Grafik kann ferner Orte verfolgter relevanter Merkmale berücksichtigen. Beispielsweise kann eine Grafik angeordnet sein, um einen ablenkenden Konflikt mit einer Ampel, einem Fußgänger oder einem anderen wichtigen Merkmal, das durch die Frontscheibe sichtbar ist, zu vermeiden.
  • Die Informationsflüsse und Prozesse zum Steuern der oben beschriebenen Verfahren können viele Ausführungsformen annehmen. 38 zeigt schematisch einen beispielhaften Informationsfluss, der oben beschriebene Verfahren erreicht, gemäß der vorliegenden Offenbarung. Der Prozess 900 umfasst eine EVS-Systemverwaltungseinrichtung 110, die eine Information von verschiedenen Quellen überwacht und Anzeigeanforderungen erzeugt, ein EVS-Grafiksystem 155, das Anzeigeanforderungen von der EVS-Systemverwaltungseinrichtung 110 überwacht und Grafikbefehle erzeugt, und ein Grafikprojektionssystem 158, das Licht an eine Head-Up-Anzeige 150 projiziert. Es wird eine Anzahl von beispielhaften Informationsquellen beschrieben, die Bedienereingänge, eine visuelle Information über das Kamerasystem 120, eine Radarinformation von dem Radarsystem 125, eine Fahrzeuginformation von dem beispielhaften Fahrzeuggeschwindigkeitssensor 130, eine GPS-Information von der GPS-Einrichtung 140, eine 3D-Karteninformation von der 3D-Kartendatenbank 910 und Internetinhalt von dem Drahtloskommunikationssystem 145 umfassen. Es sei angemerkt, dass diese Informationsquellen wie in dieser Offenbarung beschrieben viele Formen annehmen können und dass die Offenbarung nicht auf die hierin beschriebenen bestimmten Ausführungsformen beschränkt sein soll. Es kann ein Insassenaugenortserfassungssystem wie in 1 beschrieben verwendet werden; bei dieser bestimmten Ausführungsform werden jedoch andere Informationsquellen wie beispielsweise Bedienereingänge verwendet, um den Ort von Kopf und Augen des Bedieners für die Zwecke der Bildregistrierung zu schätzen. Es sei angemerkt, dass die GPS-Information, die 3D-Karteninformation und der Internetinhalt eine voneinander abhängige Information sein können. Es kann eine Korrelation zwischen diesen Informationsquellen innerhalb der EVS-Systemverwaltungseinrichtung 100 stattfinden, oder, wie in 38 gezeigt, die Einrichtungen, die die Information für die EVS-Systemverwaltungseinrichtung 110 bereitstellen, können eine Programmierung zum Koordinieren einer Information vor oder gleichzeitig mit einem Bereitstellen der Information für die [engl.: tot eh] Systemverwaltungseinrichtung umfassen. Durch diesen beispielhaften Prozess kann die Information überwacht und verwendet werden, um Bilder an eine HUD zu projizieren.
  • Die obigen Ausführungsformen beschreiben eine Bildprojektion an einer Frontscheibe eines Fahrzeugs. Die hierin beschriebenen Verfahren können jedoch auf jede geeignete Fläche innerhalb des Fahrzeugs angewandt werden. Beispielsweise könnte ein Projektionssystem lediglich an der Heckscheibe des Fahrzeugs verwendet werden. Bei einem anderen Beispiel könnte ein Projektionssystem an den Seitenfenstern des Fahrzeugs in einer beliebigen Reihe, beispielsweise in der zweiten Reihe des Fahrzeugs, verwendet werden. Solch ein System könnte in Kooperation mit einer auswählbaren oder hinzufügbaren Programmierung verwendet werden, um Kinder auf einer Reise zu unterhalten, indem Spiele gespielt werden, wie beispielsweise, indem Kinder aufgefordert werden, verschiedene Sehenswürdigkeiten oder Buchstaben an Objekten außerhalb des Fahrzeugs zu finden. Es könnte eine Information für die Fahrgast an solchen Flächen angezeigt werden, wie beispielsweise die Zeit bis zu einem Ziel, eine digitale Karte, die den Fortschritt einer Reise beschreibt, Unterhaltungsbilder oder Internetinhalt. Fahrzeuge, die alternative Frontscheibenkonfigurationen einsetzen, wie beispielsweise einen kreisförmigen, halbkreisförmigen, koppelförmigen oder einen auf andere Weise verkapselnden Abdeckentwurf, könnten ähnlich die Frontscheibe als Fläche verwenden, an der grafische Bilder angezeigt werden können.
  • Oben wird eine an die HUD projizierte Information zur Einbeziehung der gesamten Frontscheibe beschrieben. Es sei jedoch angemerkt, dass die hierin beschriebenen Verfahren nicht auf eine gesamte Frontscheibe angewandt werden müssen. Beispielsweise könnten, um zu vermeiden, dass der Bediener zu weit von der Geradeausposition wegschauen muss, Bilder auf einen konischen Bereich in der Sicht des Bedieners beschränkt sein. Alternativ könnten Bilder hinsichtlich einer Projektion vor einem Fahrgast eingeschränkt sein, um die Störung des Fahrgasts zu vermeiden. Alternativ könnte eine Zone in der Mitte der Sicht des Bedieners von Bildern befreit sein, wodurch sichergestellt wird, dass keine Bilder die Aufmerksamkeit des Bedieners von der kritischsten Ansicht des Pfads des Fahrzeugs ablenken. Alternativ könnte eine Zone um den Umfang der Frontscheibe herum verwendet werden, um Bilder zu projizieren, wobei die gesamte Mitte der Projektionsfläche für eine alleinige Sicht des Bedieners aufrechterhalten bleibt. In den oben beschriebenen Fällen, bei denen nicht die gesamte Sicht des Bedieners verwendet wird, können immer noch Bilder für die Frontscheibe registriert sein, beispielsweise mit horizontalen und vertikalen Teilstrichen um den anzeigefreien Bereich herum, die den Ort des Objekts oder Zustands, auf das oder den gezeigt wird, indizieren. Gemäß hierin oben beschriebenen Verfahren können durch den Bediener oder die Insassen Anzeigeausgestaltungen auswählbar sein, oder können sie ausgestaltet sein, um in Abhängigkeit von einer Anzahl von Kriterien, wie beispielsweise die Tageszeit, die Anzahl von Insassen in dem Fahrzeug, der Ort oder das Niveau einer Wichtigkeit der Information, andere Schemen anzuzeigen. Die Gebiete zum Einbeziehen oder Ausschließen einer Projektion einer Anzeige innerhalb des Fahrzeugs können eine Anzahl von verschiedenen Ausführungsformen annehmen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein.
  • Wie oben erläutert, umfasst das Fahrzeug Fahrzeugsensorsysteme für eine Augenerfassung, eine Kopferfassung oder andere Systeme zum Ermitteln eines Fahrermüdigkeitszustands. Durch diese Offenbarung wird deutlich, dass der Fahrermüdigkeitszustand die Identifikation eines müden Bedieners eines Fahrzeugs ist. Ein Erfassen der Augen des Bedieners des Fahrzeugs kann durch das in 1 gezeigte Insassenaugenortserfassungssystem 160 durchgeführt werden. Das Insassenaugenortserfassungssystem 160 umfasst Sensoren, die in der Technik bekannt sind, um einen Ort des Kopfs eines Insassen und ferner die Ausrichtung oder den Blickort der Augen des Insassen anzunähern und des Weiteren einen nicht vorhandenen Blickort zu erfassen, der geschlossene Augen angibt. Auf der Grundlage des Ausgangs des Insassenaugenortserfassungssystems und der Kopfausrichtung des Bedieners kann ein Fahrermüdigkeitszustand ermittelt werden, wobei hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige alarmiert wird. Es sei angemerkt, dass eine Schätzung der Kopfausrichtung und des Augenorts durch eine Anzahl von Verfahren erreicht werden kann. Beispielsweise kann eine manuelle Einstellung, eines Rückspiegels oder von Rückspiegeln verwendet werden, um einen Ort von Bedieneraugen zu schätzen. Bei einem anderen Beispiel kann die Sitzposition in Längsrichtung in dem Fahrzeug verwendet werden, um eine Position des Bedienerkopfs zu schätzen. Ferner sei angemerkt, dass eine Kombination von Verfahren, wie beispielsweise eine Sitzposition und ein Spiegeleinstellungswinkel, verwendet werden kann, um einen Bedienerkopfort mit einer verbesserten Genauigkeit zu schätzen. Bei der beispielhaften Ausführungsform wird die kamerabasierte Einrichtung in Kombination mit einer Bilderkennungssoftware verwendet, um einen dreidimensionalen Kopfort in dem Fahrzeug, der mit dem Fahrzeugkoordinatensystem koordiniert werden kann, und eine Richtung eines Bedienerblicks auf der Grundlage einer Bilderkennungsprogrammierung zu schätzen. Ferner kann eine Angabe, dass die Augen des Bedieners geschlossen sind, abgeleitet werden, wenn durch die Kameraeinrichtung ein nicht vorhandener Blickort erkannt wird.
  • Unter Verwendung des Insassenaugenortserfassungssystems ist der Sensor ausgestaltet, um den Bediener zu beobachten und zu ermitteln, ob der Fahrer eingeschlafen ist, ob ein Risiko eines Einschlafens besteht und/oder ob er aufgrund von Müdigkeit unaufmerksam ist. Beispielhafte Ausführungsformen der vorliegenden Offenbarung beschreiben eine Anzahl von Verfahren, die zum Detektieren des Fahrermüdigkeitszustands verwendet werden. Wenn beispielsweise das Insassenaugenortserfassungssystem ein Auftreten eines Augenschließens des Bedieners für eine Zeitdauer, die länger als eine Schwellenwertzeitdauer ist, überwacht, kann der Fahrermüdigkeitszustand ermittelt werden. Es sei angemerkt, dass die Schwellenwertzeitdauer als Zeitdauer definiert ist, die lang genug ist, um ein regelmäßiges Blinzeln des Bedieners von einem Augenschließen zu unterscheiden. Ähnlich kann ein Überwachen des Auftretens eines Augenschließens des Bedieners angegeben werden, wenn ein nicht vorhandener Blickort durch das Insassenaugenortserfassungssystem detektiert wird, wobei der Fahrermüdigkeitszustand ermittelt wird, wenn für die Schwellenwertzeitdauer ein nicht vorhandener Blickort detektiert wird.
  • Bei einer anderen beispielhaften Ausführungsform der vorliegenden Offenbarung kann der Fahrermüdigkeitszustand auf der Grundlage des Überwachens eines Auftretens eines gehäuften Augenschließens des Bedieners des Fahrzeugs, das über eine Zeitspanne größer ist als ein Schwellenwert eines gehäuften Augenschließens des Bedieners, ermittelt werden. Beispielsweise kann das Auftreten eines gehäuften Augenschließens des Bedieners über eine Zeitspanne von 10 Sekunden überwacht werden. Das Auftreten eines gehäuften Augenschließens des Bedieners wird mit dem Schwellenwert eines gehäuften Augenschließens des Bedieners verglichen, wobei der Fahrermüdigkeitszustand ermittelt werden kann, wenn das Auftreten eines gehäuften Augenschließens des Bedieners den Schwellenwert eines gehäuften Augenschließens des Bedieners über der Zeitspanne von 10 Sekunden übersteigt. Ähnlich kann die Zeitdauer, die es dauert, bis der Bediener die Augen nach einem Blinzeln wieder öffnet, verwendet werden, um einen Fahrermüdigkeitszustand zu ermitteln, wobei beispielsweise eine Müdigkeit angegeben wird, wenn das Wiederöffnen einmalig oder wiederholt über eine Zeitspanne länger dauert als eine Schwellenwertzeitspanne.
  • Erfindungsgemäß wird der Fahrermüdigkeitszustand auf der Grundlage eines Überwachens eines Auftretens eines Blickverhaltens des Bedieners des Fahrzeugs, das eine Müdigkeit angibt, ermittelt. Der Blickort bestimmt die Richtung, in die sich die Sichtlinie des Insassen konzentriert. Das Insassenaugenortserfassungssystem ist ausgestaltet, um den Insassenblickort kontinuierlich zu überwachen. Wenn das Insassenaugenortserfassungssystem ermittelt, dass der Bedienerblickort für eine erweiterte Zeitperiode an einer Position genau geradeaus trotz eines Simulierens einer Grafik an der Frontscheibe außerhalb des Blickorts fixiert ist, kann der Fahrermüdigkeitszustand ermittelt werden. Erfindungsgemäß überwacht das Insassenaugenortserfassungssystem, dass der Insassenblick für eine erweiterte Zeitperiode an dem gleichen Ort fixiert ist. Während dieser Zeitperiode werden eine oder mehrere Grafiken an der transparenten Frontscheibe an einem Ort außerhalb des fixierten Blickorts des Bedieners angezeigt ohne dass sich der Blickort des Bedieners ändert, auch nicht vorübergehend. Da der Bedienerblickort trotz einer stimulierenden Grafik, die eine Änderung des Blickorts erfordert, fixiert bleibt, kann der an einer geraden Linie fixierte Bedienerblickort als Blickortverhalten, das eine Müdigkeit angibt, betrachtet werden, und somit kann der Fahrermüdigkeitszustand ermittelt werden. Alternativ können Informationseingänge wie beispielsweise Warn- oder Vorsichtssignale an dem Armaturenbrett in dem Fahrzeug erfordern, dass ein Bediener den Bedienerblickort ändert, um die an dem Armaturenbrett angezeigten Warnsignale zu sehen. Wenn der Bedienerblickort trotz der an dem Armaturenbrett angezeigten Warnsignale für eine erweiterte Zeitperiode an einer geraden Linie fixiert bleibt, kann das Blickortverhalten als eine Müdigkeit angebend betrachtet werden, und somit kann der Fahrermüdigkeitszustand ermittelt werden. Ähnlich kann der Fahrermüdigkeitszustand ermittelt werden, wenn der Bedienerblick ein einziges Mal oder wiederholte Male tendenziell einer Kurvenbewegung des Autos folgt oder dieser hinterherhinkt, anstatt eine Kurve abzusuchen oder dieser vorauszugehen.
  • Bei einer anderen beispielhaften Ausführungsform kann der Fahrermüdigkeitszustand auf der Grundlage des Überwachens eines Blickorts des Bedieners des Fahrzeugs, der ein signifikantes Sinken des Kopfs des Bedieners angibt, ermittelt werden. Ein Sinken des Kopfs ist ein Zustand, wenn der Kopf beginnt, herabzuhängen oder sich nach unten zu neigen. Ein Sinken des Kopfs des Bedieners des Fahrzeugs gibt das Verhalten einer Person an, die dabei ist, einzuschlafen. Das Sinken des Bedienerkopfs kann durch Überwachen des Blickorts des Bedieners detektiert werden. Beispielsweise würde der Blickort eines Bedieners, der nach oben und aus der Frontscheibe des Fahrzeugs schaut, kein Sinken des Bedienerkopfs angeben. Wenn der Blickort des Bedieners jedoch als sich unterhalb des Armaturenbretts befindend und/oder sich dem Schoß des Bedieners nähernd überwacht wird, kann ein Sinken des Bedienerkopfs ermittelt werden. Es können auch das Muster und die Frequenz des Blickorts überwacht werden, um ein Sinken des Bedienerkopfs von einem Nachuntenschauen des Bedieners, um etwas zu sehen, das die Aufmerksamkeit des Bedieners erfordert, zu unterscheiden. Beispielsweise kann das Überwachen des Blickorts des Bedieners ausgestaltet sein, um ein Herabfallen des Blickorts in einem Muster zu überwachen, das mit einem Sinken des Kopfs konsistent ist. Somit kann das Muster eines Blicks, das ein Sinken des Kopfs angibt, von einem plötzlichen Ändern des Blickorts, um nach einem Objekt zu greifen, das auf den Schoss des Bedieners gefallen ist, unterschieden werden. Bei einem anderen Beispiel kann die Frequenz eines Blickorts, die das Sinken des Kopfs nach unten angibt, überwacht werden, um festzustellen, dass der Bediener zunehmend ermüdet und beginnt, einzuschlafen.
  • Bei einer anderen beispielhaften Ausführungsform der vorliegenden Offenbarung ist ein Insassenkopfausrichtungserfassungssystem wie oben beschrieben ausgestaltet, um einen Bediener des Fahrzeugs zu beobachten. Das Insassenkopfausrichtungserfassungssystem umfasst Kopferfassungseinrichtungen, die das Überwachen der Sitzposition und des Spiegeleinstellungswinkels umfassen. Das Insassenkopfausrichtungserfassungssystem kann auch die kamerabasierte Einrichtung umfassen, die eine Bilderkennungssoftware verwendet, um den dreidimensionalen Kopfort des Bedieners in dem Fahrzeug zu schätzen.
  • Bei einer beispielhaften Ausführungsform kann der Fahrermüdigkeitszustand auf der Grundlage des Überwachens einer Kopfausrichtung des Bedieners, die ein signifikantes Sinken des Kopfes des Bedieners angibt, ermittelt werden. Wie oben erläutert ist ein Sinken des Kopfs ein Zustand, wenn der Kopf beginnt, herabzuhängen oder sich nach unten zu neigen. Ein Sinken des Kopfs des Bedieners des Fahrzeugs gibt das Verhalten einer Person an, die gerade einschläft. Beispielsweise kann das Insassenkopfausrichtungserfassungssystem den Ort des Kopfs des Bedieners überwachen und kann einen Ort des Kopfs detektieren, der ein signifikantes Sinken des Kopfs des Bedieners angibt. Das Muster und die Frequenz des Kopforts können auch überwacht werden, um ein Bedienerkopfsinken im Gegensatz zu der Tatsache zu unterscheiden, dass der Bediener nach unten schaut, um etwas zu sehen, das die Aufmerksamkeit des Bedieners erfordert. Beispielsweise kann ein Überwachen des Kopforts des Bedieners ausgestaltet sein, um ein Herabfallen des Kopfs in einem Muster, das mit einem Sinken des Kopfs nach unten konsistent ist, zu überwachen. Das Muster oder die Bewegung von Änderungen der Kopfausrichtung des Bedieners können ein Sinken angeben und sich somit von einer plötzlichen Änderung, bei der der Kopf zum Schauen nach unten fällt, während der Bediener nach einem Objekt greift, das auf den Schoß des Bedieners gefallen ist, unterscheiden. Bei einem anderen Beispiel kann die Frequenz der Änderung der Kopfausrichtung, die ein Sinken des Kopfs angibt, überwacht werden, um festzustellen, dass der Bediener immer müder wird und beginnt einzuschlafen. Es sei angemerkt, dass das Insassenkopfausrichtungserfassungssystem in Verbindung mit dem Insassenaugenortserfassungssystem verwendet werden kann, um zu beobachten, dass der Bediener Bewegungen ausführt, die ein signifikantes Sinken des Kopfs angeben.
  • Ferner kann ein Muster eines Bedienens eines Lenkrads überwacht werden, um einen Fahrermüdigkeitszustand zu ermitteln. Beispielsweise ist bekannt, dass ein müder Fahrer häufiger abgehackte Anpassungen des Lenkrads durchführt als diese normalerweise durchgeführt werden würden. Durch Vergleichen der Anpassungsfrequenz des Lenkrads mit einer Schwellenwertfrequenz kann der Fahrermüdigkeitszustand ermittelt werden.
  • Bei einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann, wenn der Fahrermüdigkeitszustand durch eines der oben beschriebenen Verfahren ermittelt wurde, auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands hinsichtlich des Fahrermüdigkeitszustands durch Anzeigen einer Grafik alarmiert werden, die ausgewählt wird, um die Aufmerksamkeit des Bedieners auf die transparente Frontscheiben-Head-Up-Anzeige zu lenken. Es sei angemerkt, dass die Grafik in einer Weise ausgewählt wird, um die Aufmerksamkeit des Bedieners zu erregen. Eine Grafik, die hinreichend ist, um die Aufmerksamkeit des Bedieners zu erregen, kann blinken und/oder pulsieren. Die Grafik an der transparenten Frontscheiben-Head-Up-Anzeige kann mit einer höheren Intensität als der normalen aufleuchten. Wenn der Fahrermüdigkeitszustand ermittelt wird, kann der Bediener beispielsweise durch Erhöhen der Leuchtintensität der Grafik an der Frontscheibe alarmiert werden. Ferner kann die Leuchtintensität der Grafik an der HUD, wenn keine Antwort durch den Bediener detektiert wird und der Fahrermüdigkeitszustand weiterhin ermittelt wird, zunehmend aufgebaut werden, um den Fahrer zu alarmieren, bis eine Antwort ausgelöst wird. Ähnlich kann eine Grafik an der transparenten Frontscheiben-Head-Up-Anzeige verwendet werden, um einen Fahrgast des Fahrzeugs hinsichtlich des Fahrermüdigkeitszustands zu alarmieren.
  • Bei einer anderen beispielhaften Ausführungsform kann eine Nachricht in Textform an der transparenten Frontscheiben-Head-Up-Anzeige angezeigt werden, um den Bediener hinsichtlich des Fahrermüdigkeitszustands zu alarmieren. Beispielsweise kann das Bild in Textform für eine feste Zeitperiode an der Frontscheibe angezeigt werden und beständig sein, um den Bediener hinsichtlich des Fahrermüdigkeitszustands zu alarmieren. Wie oben erläutert kann die Nachricht in Textform mit der zum Erregen der Aufmerksamkeit des Bedieners ausgewählten Grafik an der transparenten Frontscheiben-Head-Up-Anzeige blinken, pulsieren und kann das Niveau der Leuchtintensität angepasst werden. Ähnlich kann der Fahrgast des Fahrzeugs hinsichtlich des Fahrermüdigkeitszustands durch Anzeigen der Nachricht in Textform an der HUD alarmiert werden.
  • Bei einer anderen beispielhaften Ausführungsform kann der Bediener, wenn der Fahrermüdigkeitszustand ermittelt wird, hinsichtlich des Fahrermüdigkeitszustands mittels beispielsweise akustischer Alarme und Vibrationsalarme alarmiert werden. Beispielsweise kann ein Anzeigen einer Grafik an der HUD nicht ausreichen, um den Bediener hinsichtlich des Fahrermüdigkeitszustands zu alarmieren. Um eine Antwort von dem Bediener auszulösen, kann ein akustischer Alarm durch das Audiosystem des Fahrzeugs ertönen. Das Lautstärkeniveau des Alarms kann sich erhöhen, bis eine Antwort durch den Fahrer ausgelöst wird. Bei einem anderen Beispiel kann ein Vibrationsalarm verwendet werden, um den Bediener hinsichtlich des Fahrermüdigkeitszustands zu alarmieren und eine Antwort von dem Bediener auszulösen. Beispielsweise können ein Fahrersitz, ein Lenkrad, ein Schalthebel und/oder Pedale vibrieren, um den Fahrer zu alarmieren, wenn der Fahrermüdigkeitszustand durch die oben beschriebenen Verfahren ermittelt wird. Es sei auch angemerkt, dass ein Alarmieren hinsichtlich des Fahrermüdigkeitszustands ein Anzeigen der Grafik an der HUD, den akustischen Alarm und den Vibrationsalarm zusammen verwenden kann, um eine Antwort von dem Bediener auszulösen. Ähnlich können der Audioalarm und der Vibrationsalarm auf die gleiche Weise auch verwendet werden, um einen Fahrgast hinsichtlich des Fahrermüdigkeitszustands zu alarmieren.
  • Bei einer anderen beispielhaften Ausführungsform kann der Bediener, wenn der Fahrermüdigkeitszustand ermittelt wird, hinsichtlich des Fahrermüdigkeitszustands über ein Telekommunikationsnetz alarmiert werden und eine Verbindung mit dem Audiosystem des Fahrzeugs verwenden. Beispielsweise könnte ein Elternteil einen Kind im Teenageralter überwachen und das Kind benachrichtigen, indem es mit dem Kind über das Telekommunikationsnetz spricht, wenn der Fahrermüdigkeitszustand ermittelt wird. Bei einem anderen Beispiel könnte eine Aufsichtsperson einen Lastwagenfahrer, der während der Nacht fährt, überwachen, und den Lastwagenfahrer unter Verwendung des Telekommunikationsnetzes alarmieren, dass der Fahrermüdigkeitszustand detektiert wurde, und ermitteln, ob Vorsichtsmaßnahmen getroffen werden sollten, wie beispielsweise Anordnungen für den Lastwagenfahrer, anzuhalten und eine Pause zu machen. Bei einem anderen Beispiel könnte ein Dienst eines Dritten ein Überwachen für Bediener von Fahrzeugen bereitstellen und einen Bediener eines Fahrzeugs alarmieren, wenn der Fahrermüdigkeitszustand ermittelt wird.
  • Wie oben erläutert können die Informationseingänge, die die Betriebsumgebung für das Fahrzeug beschreiben, überwacht und verarbeitet werden, um das Betriebsumgebungsmodell zu synthetisieren. Die Verarbeitung umfasst, dass eine kritische Information von den Eingängen angegeben wird, räumliche Beziehungen der kritischen Information zu dem Fahrzeug ermittelt werden und die kritische Information auf der Grundlage der räumlichen Beziehungen zum Ausbilden des Betriebsumgebungsmodells und des Fahrermüdigkeitszustands synthetisiert wird. Das Betriebsumgebungsmodell wird auf diese Weise in grafische Bilder umgewandelt, die die kritische Information gemäß dem Umgebungsmodell an der HUD auf der Grundlage der überwachten Daten in Bezug auf den Insassenaugenort registrieren, und an der transparenten Frontscheiben-Head-Up-Anzeige angezeigt. Bei einer beispielhaften Ausführungsform identifiziert die synthetisierte kritische Information auf der Grundlage der räumlichen Beziehungen zum Ausbilden des Betriebsumgebungsmodells und des Fahrermüdigkeitszustands selektiv eine sicherheitskritische Information. Beispielsweise kann die relative Trajektorie eines erfassten Objekts verwendet werden, um das Objekt als sicherheitskritische Information zu kennzeichnen, um eine Kollision zu vermeiden, nachdem der Bediener hinsichtlich des Fahrermüdigkeitszustands alarmiert wurde. Wenn der Bediener beispielsweise plötzlich hinsichtlich des Fahrermüdigkeitszustands alarmiert wird, kann ein Fahrzeug, das an einer sich nähernden Ampel stehen geblieben ist, als Vorsichtsmaßnahme als sicherheitskritische Information betrachtet werden, um den Bediener, der immer noch müde sein kann, in Kenntnis zu setzten, obwohl das Fahrzeug, das an der Kreuzung stehen geblieben ist, unter normalen Umständen möglicherweise nicht als kritische Information betrachtet wird.
  • Es sei angemerkt, dass die zum Erlangen der Aufmerksamkeit des müden Fahrers ausgewählte Grafik gemäß vielen Ausführungsformen angezeigt werden kann, die eine Vollbildanzeige, eine für den Blick des Fahrers registrierte Anzeige oder eine andere ähnliche Anzeige, die ausgewählt wird, um die gewünschte Antwort von dem müden Fahrer bestmöglich zu stimulieren, umfassen.
  • Die obige Offenbarung beschreibt eine im Wesentlichen transparente Head-Up-Anzeige mit der Fähigkeit einer Vollbildanzeige. Es sei angemerkt, dass an Frontscheiben ähnliche Verfahren eingesetzt werden können, die eine Anzeige einer im Wesentlichen gesamten Frontscheibe, eine Teil-Frontscheibenanzeige, beispielsweise beschränkt auf die Fahrerhälfte der Frontscheibe, oder eine Anzeige, die auf das typische Sichtzentrum geradeaus des Bedieners konzentriert oder beschränkt ist, verwenden. Es werden viele Ausführungsformen von Anzeigen in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen beispielhaften Ausführungsformen beschränkt sein.
  • Die Offenbarung beschrieb bestimmte bevorzugte Ausführungsformen und Abwandlungen dieser. Weitere Abwandlungen und Änderungen können für Dritte beim Lesen und Verstehen der Beschreibung ersichtlich werden. Daher soll die Offenbarung nicht auf die bestimmte(n) Ausführungsform(en) beschränkt sein, die als die beste Ausführungsform offenbart ist/sind, die zur Ausführung dieser Offenbarung in Betracht gezogen wird, sondern die Offenbarung soll alle Ausführungsformen umfassen, die in den Schutzumfang der beigefügten Ansprüche fallen.

Claims (9)

  1. Verfahren zum Alarmieren hinsichtlich eines Fahrermüdigkeitszustands an einer transparenten Frontscheiben-Head-Up-Anzeige (150) eines Fahrzeugs (100), wobei das Verfahren umfasst, dass: ein Sensor überwacht wird, der ausgestaltet ist, um einen Fahrer des Fahrzeugs (100) zu beobachten; ein Auftreten eines Blickverhaltens des Fahrers überwacht wird, das eine Müdigkeit angibt, wobei der Fahrermüdigkeitszustand auf der Grundlage des Überwachens des Sensors ermittelt wird, wenn sich ein Blickort des Fahrers während einer Zeitperiode nicht ändert, wenn eine oder mehrere Grafiken an der transparenten Frontscheiben-Head-Up-Anzeige (150) an einem Ort außerhalb des Blickorts des Fahrers angezeigt werden; und hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige (150) auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands alarmiert wird; und wobei das Alarmieren hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige (150) auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands umfasst, dass eine Grafik angezeigt wird, die ausgewählt wird, um die Aufmerksamkeit des Fahrers zu erregen; und wobei die transparente Frontscheiben-Head-Up-Anzeige (150) eine Anzeige umfasst, die Licht emittierende Partikel (22) oder Mikrostrukturen (26) über einem vordefinierten Gebiet einer Frontscheibe umfasst, die eine lumineszierende Anzeige zulassen, während eine Sicht durch die Frontscheibe zugelassen wird.
  2. Verfahren nach Anspruch 1, wobei der Sensor, der zum Beobachten des Fahrers des Fahrzeugs (100) ausgestaltet ist, ein Augenortserfassungssystem für die Augen des Fahrers umfasst.
  3. Verfahren nach Anspruch 2, wobei das Ermitteln des Fahrermüdigkeitszustands auf der Grundlage des Überwachens des Sensors umfasst, dass ein Auftreten eines gehäuften Schließens der Augen des Fahrers überwacht wird, das über eine Zeitspanne größer als ein Schwellenwert eines gehäuften Schließens der Augen des Fahrers ist.
  4. Verfahren nach Anspruch 2, wobei das Ermitteln des Fahrermüdigkeitszustands auf der Grundlage des Überwachens des Sensors umfasst, dass ein Auftreten eines Schließens der Augen des Fahrers für länger als eine Schwellenwertzeitdauer überwacht wird.
  5. Verfahren nach Anspruch 2, wobei das Ermitteln des Fahrermüdigkeitszistands auf der Grundlage des Überwachens des Sensors umfasst, dass der Blickort des Fahrers überwacht wird, der ein signifikantes Sinken des Kopfs des Fahrers angibt.
  6. Verfahren nach Anspruch 2, wobei das Ermitteln des Fahrermüdigkeitszustands auf der Grundlage des Überwachens des Sensors umfasst, dass ein verlangsamtes Muster des Öffnens der Augen des Fahrers nach einem Blinzeln im Vergleich zu einer Schwellenwertzeitdauer überwacht wird.
  7. Verfahren nach Anspruch 1, wobei der Sensor, der zum Beobachten des Fahrers des Fahrzeugs (100) ausgestaltet ist, einen Sensor umfasst, der ein Drehen eines Lenkrads überwacht; und wobei das Ermitteln des Fahrermüdigkeitszustands auf der Grundlage des Überwachens des Sensors umfasst, dass ein Muster einer Lenkanpassung überwacht wird, deren Frequenz größer als eine Schwellenwertfrequenz ist.
  8. Verfahren nach Anspruch 1, 2, 3, 4, 5, 6 oder 7, wobei der Sensor, der zum Beobachten des Fahrers des Fahrzeugs (100) ausgestaltet ist, ein Kopfausrichtungserfassungssystem für den Kopf des Fahrers umfasst; und wobei das Ermitteln des Fahrermüdigkeitszustands auf der Grundlage des Überwachens des Sensors umfasst, dass eine Kopfausrichtung des Fahrers überwacht wird, die ein signifikantes Sinken des Kopfs des Fahrers angibt.
  9. System zum Alarmieren hinsichtlich eines Fahrermüdigkeitszustands an einer transparenten Frontscheiben-Head-Up-Anzeige (150) eines Fahrzeugs (100), wobei das System umfasst: einen Sensor, der ausgestaltet ist, um einen Fahrer des Fahrzeugs (100) zu beobachten; wobei die transparente Frontscheiben-Head-Up-Anzeige (150) Licht emittierende Partikel (22) oder Mikrostrukturen (26) über einem vordefinierten Gebiet der Frontscheibe umfasst, die eine lumineszierende Anzeige zulassen, während eine Sicht durch die Frontscheibe zugelassen wird; ein Steuermodul, das ein Auftreten eines Blickverhaltens des Fahrers überwacht, das eine Müdigkeit angibt, wobei das Steuermodul den Fahrermüdigkeitszustand auf der Grundlage von Daten von dem Sensor ermittelt, wenn sich ein Blickort des Fahrers während einer Zeitperiode nicht ändert, wenn eine oder mehrere Grafiken an der transparenten Frontscheiben-Head-Up-Anzeige (150) an einem Ort außerhalb des Blickorts des Fahrers angezeigt werden; und ein Grafikprojektionssystem (158), das hinsichtlich des Fahrermüdigkeitszustands an der transparenten Frontscheiben-Head-Up-Anzeige (150) auf der Grundlage des Ermittelns des Fahrermüdigkeitszustands alarmiert.
DE102010013356.6A 2009-04-02 2010-03-30 Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe Active DE102010013356B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/417,077 2009-04-02
US12/417,077 US8629903B2 (en) 2009-04-02 2009-04-02 Enhanced vision system full-windshield HUD
US12/563,400 US8344894B2 (en) 2009-04-02 2009-09-21 Driver drowsy alert on full-windshield head-up display
US12/563,400 2009-09-21

Publications (2)

Publication Number Publication Date
DE102010013356A1 DE102010013356A1 (de) 2010-10-28
DE102010013356B4 true DE102010013356B4 (de) 2017-09-14

Family

ID=42779822

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010013356.6A Active DE102010013356B4 (de) 2009-04-02 2010-03-30 Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe

Country Status (3)

Country Link
US (1) US8344894B2 (de)
CN (1) CN101860702B (de)
DE (1) DE102010013356B4 (de)

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650509B1 (en) 2004-01-28 2010-01-19 Gordon & Howard Associates, Inc. Encoding data in a password
US20070194881A1 (en) 2006-02-07 2007-08-23 Schwarz Stanley G Enforcing payment schedules
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
US9026267B2 (en) 2007-03-09 2015-05-05 Gordon*Howard Associates, Inc. Methods and systems of selectively enabling a vehicle by way of a portable wireless device
US9662977B2 (en) * 2008-01-02 2017-05-30 Hi Tech Robotic Systemz Ltd. Driver state monitoring system
US8781688B2 (en) * 2008-11-07 2014-07-15 Volvo Lastvagnar Ab Method and system for combining sensor data
KR20100070973A (ko) * 2008-12-18 2010-06-28 박호철 헤드업 디스플레이 내비게이션 장치, 시스템 및 서비스 구현방법
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8564502B2 (en) 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8317329B2 (en) * 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8830141B2 (en) * 2009-04-02 2014-09-09 GM Global Technology Operations LLC Full-windshield head-up display enhancement: anti-reflective glass hard coat
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US20100253595A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
US8817090B2 (en) * 2009-04-02 2014-08-26 GM Global Technology Operations LLC Luminance uniformity compensation of vector projection display
US8072686B2 (en) * 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8164543B2 (en) 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
WO2011138855A1 (ja) * 2010-05-07 2011-11-10 パナソニック株式会社 覚醒状態維持装置および覚醒状態維持方法
US9035803B2 (en) * 2010-08-03 2015-05-19 Lc Technologies, Inc. Systems and methods for aiding traffic controllers and/or pilots
JP5184596B2 (ja) * 2010-09-03 2013-04-17 本田技研工業株式会社 脇見判定装置
US8098170B1 (en) 2010-10-08 2012-01-17 GM Global Technology Operations LLC Full-windshield head-up display interface for social networking
US8606430B2 (en) 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
US8514099B2 (en) 2010-10-13 2013-08-20 GM Global Technology Operations LLC Vehicle threat identification on full windshield head-up display
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
EP2637563A4 (de) * 2010-11-08 2014-04-30 Optalert Australia Pty Ltd Arbeitsfähigkeitstest
US8098171B1 (en) 2010-12-28 2012-01-17 GM Global Technology Operations LLC Traffic visibility in poor viewing conditions on full windshield head-up display
US8605011B2 (en) 2010-12-29 2013-12-10 GM Global Technology Operations LLC Virtual viewfinder on full windshield head-up display
US8924150B2 (en) 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US8686872B2 (en) 2010-12-29 2014-04-01 GM Global Technology Operations LLC Roadway condition warning on full windshield head-up display
US9008904B2 (en) 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
US9057874B2 (en) 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US20140121927A1 (en) * 2011-07-11 2014-05-01 Kiyoto Hanita Vehicle emergency evacuation device
DE112012003322T5 (de) * 2011-08-11 2014-04-30 Ford Global Technologies, Llc System und Verfahren zum Festlegen akustischer Metriken zur Detektion von Fahruntüchtigkeit des Fahrers
JP5690688B2 (ja) * 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法，装置，および車両システム
US8692739B2 (en) 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
US9235987B2 (en) * 2011-11-17 2016-01-12 GM Global Technology Operations LLC System and method for closed-loop driver attention management
US8818708B2 (en) 2011-12-02 2014-08-26 GM Global Technology Operations LLC Optimum driving path on full windshield display
US8514101B2 (en) 2011-12-02 2013-08-20 GM Global Technology Operations LLC Driving maneuver assist on full windshield head-up display
US8781170B2 (en) 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
DE102011090162B4 (de) * 2011-12-30 2022-05-05 Robert Bosch Gmbh Alarmvorrichtung für ein Pilotenheadset
US9443429B2 (en) 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display
US20130300759A1 (en) * 2012-05-08 2013-11-14 Nokia Corporation Method and apparatus for modifying the presentation of information based on the attentiveness level of a user
JP5427919B2 (ja) * 2012-05-31 2014-02-26 株式会社コナミデジタルエンタテインメント コメント表示が可能なゲームシステム並びにその表示制御方法及びコンピュータプログラム
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
US20140067801A1 (en) * 2012-08-31 2014-03-06 Fujitsu Limited Geotagging based on specified criteria
CN102879001B (zh) * 2012-09-19 2016-08-03 惠州Tcl移动通信有限公司 一种导航系统及移动终端
US9235553B2 (en) 2012-10-19 2016-01-12 Hand Held Products, Inc. Vehicle computer system with transparent display
GB2509568B (en) * 2012-10-19 2015-03-25 Hand Held Prod Inc Vehicle Computer System With Transparent Display
US8937552B1 (en) * 2013-01-02 2015-01-20 The Boeing Company Heads down warning system
US9665997B2 (en) * 2013-01-08 2017-05-30 Gordon*Howard Associates, Inc. Method and system for providing feedback based on driving behavior
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US9342986B2 (en) 2013-02-25 2016-05-17 Honda Motor Co., Ltd. Vehicle state prediction in real time risk assessments
WO2014130460A2 (en) * 2013-02-25 2014-08-28 Honda Motor Co., Ltd. Real time risk assessment for advanced driver assist system
US9050980B2 (en) * 2013-02-25 2015-06-09 Honda Motor Co., Ltd. Real time risk assessment for advanced driver assist system
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
US9840229B2 (en) 2013-03-14 2017-12-12 Gordon*Howard Associates, Inc. Methods and systems related to a remote tamper detection
US8928471B2 (en) 2013-03-14 2015-01-06 Gordon*Howard Associates, Inc. Methods and systems related to remote tamper detection
US9035756B2 (en) 2013-03-14 2015-05-19 Gordon*Howard Associates, Inc. Methods and systems related to remote tamper detection
US9378480B2 (en) 2013-03-14 2016-06-28 Gordon*Howard Associates, Inc. Methods and systems related to asset identification triggered geofencing
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013106347A1 (de) * 2013-06-18 2014-12-18 MULAG FAHRZEUGWERK Heinz Wössner GmbH & Co. KG Verfahren und Vorrichtung zur Überwachung der Augen des Fahrers
US20140375810A1 (en) * 2013-06-21 2014-12-25 Digimarc Corporation Vehicular safety methods and arrangements
US9013333B2 (en) 2013-06-24 2015-04-21 Gordon*Howard Associates, Inc. Methods and systems related to time triggered geofencing
US9645559B1 (en) 2013-08-09 2017-05-09 Rigminder Operating, Llc Head-up display screen
US20160185219A1 (en) * 2013-08-19 2016-06-30 Mitsubishi Electric Corporation Vehicle-mounted display control device
CN103455144B (zh) * 2013-08-22 2017-04-12 深圳先进技术研究院 车载人机交互系统及方法
TWI493511B (zh) 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
CN104464192B (zh) * 2013-09-18 2017-02-08 武汉理工大学 机动车驾驶人不稳定性驾驶状态检测预警装置与方法
KR20160060743A (ko) * 2013-10-25 2016-05-30 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 오퍼레이터 경계 상태 모니터
FR3012784B1 (fr) 2013-11-04 2016-12-30 Renault Sa Dispositif de detection de la position laterale d'un pieton par rapport a la trajectoire du vehicule
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
KR102094965B1 (ko) * 2013-12-30 2020-03-31 삼성디스플레이 주식회사 각성 안경, 차량용 미러 유닛 및 표시장치
JP6608137B2 (ja) * 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US9298994B2 (en) 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
KR20150087985A (ko) * 2014-01-23 2015-07-31 한국전자통신연구원 안전운행정보 표출 장치 및 그 방법
JP2016021045A (ja) * 2014-06-16 2016-02-04 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、表示制御プログラム、および表示装置
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
DE102014213422A1 (de) * 2014-07-10 2016-01-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermeidung eines Tunnelblicks
US9536411B2 (en) * 2014-08-07 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Biometric monitoring and alerting for a vehicle
WO2016059724A1 (ja) * 2014-10-17 2016-04-21 三菱電機株式会社 ドライバー支援装置および警報タイミング制御方法
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
DE102015001930A1 (de) * 2015-02-13 2016-08-18 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Anzeigevorrichtung für ein Fahrzeug
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
EP3358549A4 (de) * 2015-09-30 2018-11-21 Aisin Seiki Kabushiki Kaisha Fahrhilfevorrichtung
DE102015219820A1 (de) * 2015-10-13 2017-04-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur praktischen Aktivierung eines Anwenders
US10053093B2 (en) 2015-11-24 2018-08-21 Bendix Commercial Vehicle Systems Llc Method and system for controlling a cruise control system
US10762460B2 (en) * 2015-12-30 2020-09-01 International Business Machines Corporation Predictive alerts for individual risk of injury with ameliorative actions
US10762459B2 (en) * 2015-12-30 2020-09-01 International Business Machines Corporation Risk detection and peer corrective assistance for risk mitigation within a work environment
US9701279B1 (en) 2016-01-12 2017-07-11 Gordon*Howard Associates, Inc. On board monitoring device
CN108473054B (zh) * 2016-02-05 2021-05-28 麦克赛尔株式会社 平视显示器装置
JP6259482B2 (ja) * 2016-03-18 2018-01-10 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
JP6272375B2 (ja) 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
FR3053804B1 (fr) * 2016-07-05 2018-08-17 Valeo Comfort & Driving Assistance Afficheur tete-haute et procede de pilotage d'un dispositif de generation d'images d'un afficheur tete-haute
US20180012196A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US10836254B2 (en) * 2016-11-11 2020-11-17 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
CN106408944A (zh) * 2016-11-17 2017-02-15 国网山东省电力公司东营供电公司 基于双通信数据的拥堵等级分析平台
JP6504145B2 (ja) * 2016-11-24 2019-04-24 株式会社Ｊｖｃケンウッド 車両用記録装置
US10730436B2 (en) * 2016-12-30 2020-08-04 Gentex Corporation Vehicular outside rearview assembly
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
US20180244288A1 (en) * 2017-02-28 2018-08-30 GM Global Technology Operations LLC Methods and systems for providing automated assists of driving task demands for reducing driver drowsiness
JP6454368B2 (ja) * 2017-03-15 2019-01-16 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP6470334B2 (ja) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
DE102017206312B4 (de) * 2017-04-12 2024-08-01 Ford Global Technologies, Llc Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
CN108995588B (zh) * 2017-06-07 2022-01-18 奥迪股份公司 车辆信息显示方法及装置
CN109305165B (zh) * 2017-07-28 2022-04-12 现代摩比斯株式会社 智能超声系统、车辆后方碰撞警告装置及其控制方法
US10648832B2 (en) * 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
US10991245B2 (en) * 2018-01-22 2021-04-27 Rpma Investments Aps System and method of two-way wireless communication for connected car vehicle
US10966647B2 (en) * 2018-01-23 2021-04-06 Garmin Switzerland Gmbh Drowsiness detection
CN110544368B (zh) * 2018-05-31 2021-08-03 合肥疆程技术有限公司 一种疲劳驾驶增强现实预警装置及预警方法
JP7165532B2 (ja) * 2018-08-07 2022-11-04 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2020024561A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
CN109326085B (zh) * 2018-11-08 2020-07-31 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备
US11167693B2 (en) * 2018-11-19 2021-11-09 Honda Motor Co., Ltd. Vehicle attention system and method
WO2020160331A1 (en) 2019-01-30 2020-08-06 Cobalt Industries Inc. Systems and methods for verifying and monitoring driver physical attention
US20200239004A1 (en) 2019-01-30 2020-07-30 Cobalt Industries Inc. Dynamic recommendation and selection of vehicle output actions based on a profile model
CN111709264A (zh) * 2019-03-18 2020-09-25 北京市商汤科技开发有限公司 驾驶员注意力监测方法和装置及电子设备
US11541806B2 (en) * 2019-03-21 2023-01-03 Motional Ad Llc Dynamic object detection indicator system for an automated vehicle
WO2020241944A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
CN113950702A (zh) * 2019-06-03 2022-01-18 辉达公司 在视频分析应用中使用相关滤波器的多对象跟踪
CN110287916B (zh) * 2019-06-28 2021-11-16 浙江吉利控股集团有限公司 一种用于判断驾驶员注意力的方法及系统
US11225266B2 (en) 2019-08-20 2022-01-18 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving visual scanning behavior associated with controlling a vehicle
US11454813B2 (en) 2019-11-07 2022-09-27 GM Global Technology Operations LLC Holographic display systems with polarization correction and distortion reduction providing enhanced image quality
JP2021092832A (ja) * 2019-12-06 2021-06-17 株式会社デンソー 覚醒装置
JP7432864B2 (ja) * 2019-12-26 2024-02-19 パナソニックＩｐマネジメント株式会社 車両用表示制御装置及び車両用表示制御方法
WO2021205430A1 (en) * 2020-04-06 2021-10-14 Adam Cogtech Ltd. Generation and presentation of stimuli
DE102021203783B4 (de) * 2020-04-17 2022-04-28 Magna Mirrors Of America, Inc. Innenrückspiegelanordnung mit fahrerüberwachungssystem
CN111806340B (zh) * 2020-07-10 2024-03-15 华人运通(上海)云计算科技有限公司 用于车辆的智能交互控制系统与方法、车辆及存储介质
IT202100003872A1 (it) * 2021-02-19 2022-08-19 Ferrari Spa Metodo di controllo di un veicolo stradale durante un pattinamento delle ruote motrici
CN113291230B (zh) * 2021-03-22 2022-09-23 昆明少科科技有限公司 一种用于暂代汽车喇叭的无声提醒装置
US11506892B1 (en) 2021-05-03 2022-11-22 GM Global Technology Operations LLC Holographic display system for a motor vehicle
US11762195B2 (en) 2021-05-06 2023-09-19 GM Global Technology Operations LLC Holographic display system with conjugate image removal for a motor vehicle
US11749032B2 (en) 2021-05-17 2023-09-05 Toyota Research Institute, Inc. Systems and methods for adapting notifications according to component monitoring
US11880036B2 (en) 2021-07-19 2024-01-23 GM Global Technology Operations LLC Control of ambient light reflected from pupil replicator
CN113561982A (zh) * 2021-08-06 2021-10-29 上汽通用五菱汽车股份有限公司 一种驾驶员昏迷处理方法、装置及可读存储介质
CN113962153B (zh) * 2021-10-22 2024-04-09 大连海事大学 一种基于注意力机制的船舶碰撞风险评估方法
DE202023002828U1 (de) 2022-06-30 2024-09-09 Saint-Gobain Glass France Anordnung für ein Fahrerassistenzsystem
US11858349B1 (en) * 2022-07-25 2024-01-02 GM Global Technology Operations LLC Head-up display providing a gamified experience to a driver during calibration mode
US20240054733A1 (en) * 2022-08-12 2024-02-15 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced outdoor displays via augmented reality
US12136346B2 (en) * 2022-09-08 2024-11-05 Bendix Commercial Vehicle Systems Llc Systems and method for integrating driver facing imaging device with a vehicle blind spot detection system
JP2024076116A (ja) * 2022-11-24 2024-06-05 トヨタ自動車株式会社 通知方法、通知システム、及び車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030184A1 (en) * 2003-06-06 2005-02-10 Trent Victor Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
DE102005035412A1 (de) * 2005-07-28 2007-02-01 Robert Bosch Gmbh Fahrerassistenzvorrichtung
US7182467B2 (en) * 2003-11-03 2007-02-27 Superimaging, Inc. Microstructures integrated into a transparent substrate which scatter incident light to display an image

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US7090355B2 (en) 2003-05-19 2006-08-15 Superimaging, Inc. System and method for a transparent color image display utilizing fluorescence conversion of nano particles and molecules
US7344200B2 (en) * 2003-07-17 2008-03-18 General Motors Corporation Vehicle braking system
WO2005043232A2 (en) 2003-11-03 2005-05-12 Superimaging, Inc. Light emitting material integrated into a substantially transparent substrate
US7213923B2 (en) 2004-04-19 2007-05-08 Superimaging, Inc. Emission of visible light in response to absorption of excitation light
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
CN200972670Y (zh) 2006-09-01 2007-11-07 王焕一 驾驶员瞌睡报警记录装置
US20080158510A1 (en) 2007-01-02 2008-07-03 Gm Global Technology Operations, Inc. Apparatus And Method For Displaying Information Within A Vehicle Interior
CN101021967A (zh) 2007-03-19 2007-08-22 陈大冶 驾驶员疲劳检测报警器
US7796056B2 (en) * 2007-03-28 2010-09-14 Fein Gene S Digital windshield information system employing a recommendation engine keyed to a map database system
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8564502B2 (en) 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8547298B2 (en) 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8330673B2 (en) 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8704653B2 (en) 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8427395B2 (en) 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US20100253595A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8384531B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8072686B2 (en) 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US7924146B2 (en) 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8350724B2 (en) 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8317329B2 (en) 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8830141B2 (en) 2009-04-02 2014-09-09 GM Global Technology Operations LLC Full-windshield head-up display enhancement: anti-reflective glass hard coat
US8482486B2 (en) 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8384532B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8817090B2 (en) 2009-04-02 2014-08-26 GM Global Technology Operations LLC Luminance uniformity compensation of vector projection display
US8358224B2 (en) 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030184A1 (en) * 2003-06-06 2005-02-10 Trent Victor Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7182467B2 (en) * 2003-11-03 2007-02-27 Superimaging, Inc. Microstructures integrated into a transparent substrate which scatter incident light to display an image
DE102005035412A1 (de) * 2005-07-28 2007-02-01 Robert Bosch Gmbh Fahrerassistenzvorrichtung

Also Published As

Publication number Publication date
DE102010013356A1 (de) 2010-10-28
CN101860702B (zh) 2014-05-14
CN101860702A (zh) 2010-10-13
US20100253526A1 (en) 2010-10-07
US8344894B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
DE102010013356B4 (de) Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102010013530B4 (de) Verfahren und System zur Verbesserung eines peripheren hervorstechenden Merkmals an einer Head-Up-Anzeige für die gesame Windschutzscheibe
DE102010013357B4 (de) Verfahren und System zum Anzeigen einer Grafik eines virtuellen Rückspiegels
DE102010013232B4 (de) Personendetektion tagsüber an HEAD-UP-Anzeige für gesamte Frontscheibe
DE102010013532B4 (de) Verfahren zum selektiven projizieren grafischer bilder an eine transparente frontscheiben-head-up-anzeige
DE102010013488B4 (de) Vorrichtung und verfahren zum projizieren von grafischen bildern an eine frontscheiben-head-up-anzeige
DE102010013490B4 (de) Verfahren zum anzeigen einer einen punkt von interesse identifizierenden grafik an einer frontscheiben-head-up-anzeige
DE102010013398B4 (de) Verfahren und System zum Bewerten eines anstehenden Spurwechsels an einer transparenten Frontscheiben-Head-Up-Anzeige eines Fahrzeugs
DE102010013396B4 (de) Verfahren und System zum Anzeigen einer Infotainment-Grafik an einer Frontscheiben-Head-Up-Anzeige
DE102010013231B4 (de) Verzerrungs- und Perspektivenkorrektur einer Vektorprojektionsanzeige
DE102010013224B4 (de) Verfahren und System zum Darstellen von grafischen Bildern an einer transparenten Frontscheiben-Head-up-Anzeige eines Fahrzeugs
DE102010013397B4 (de) Verfahren zum selektiven Projizieren von Bildern an eine Head-up-Anzeige auf der Grundlage einer Erkennung von Verkehrsschildern
DE102010013355A1 (de) Rückwärtseinparkunterstützung anhead-up-anzeige für gesamte heckscheibe
DE102010013401A1 (de) Empfohlene Folgedistanz an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102010013489A1 (de) Luminanzeinheitlichkeitskompensation einer Vektorprojektionsanzeige
DE102010013403A1 (de) Information eines dynamischen Fahrzeugsystems an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102010013402A1 (de) Fahrzeug-Fahrzeug-Kommunikationseinrichtung an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102010013534A1 (de) Verbesserung einer Hud für gesamte Windschutzscheibe: Eingeschränkte Architektur eines Pixel-Sichtfelds
DE102010013395A1 (de) Fortsetzung einer Sicht nach aussen an Säulen und Flächen im Fahrgastraum
DE102010013233A1 (de) Verbesserung für Head-Up Anzeige für gesamte Windschutzscheibe: Antireflexionsglashartbeschichtung
DE102010013535A1 (de) Abtastschleifenoptimieung einer Vektorprojektionsanzeige
DE102010013226A1 (de) Virtuelle Bedienelemente und Anzeigen durch Laserprojektion

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US

R081 Change of applicant/patentee

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, MICH., US

Effective date: 20110323

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final