Nothing Special   »   [go: up one dir, main page]

DE102018205664A1 - Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs - Google Patents

Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs Download PDF

Info

Publication number
DE102018205664A1
DE102018205664A1 DE102018205664.1A DE102018205664A DE102018205664A1 DE 102018205664 A1 DE102018205664 A1 DE 102018205664A1 DE 102018205664 A DE102018205664 A DE 102018205664A DE 102018205664 A1 DE102018205664 A1 DE 102018205664A1
Authority
DE
Germany
Prior art keywords
motor vehicle
information
camera
projection
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018205664.1A
Other languages
English (en)
Inventor
Julian Eichhorn
Marcel Ottmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102018205664.1A priority Critical patent/DE102018205664A1/de
Publication of DE102018205664A1 publication Critical patent/DE102018205664A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/76Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for spotlighting, e.g. reading lamps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs, umfassend eine kamerabasierte Einrichtung (3), wobei die kamerabasierte Einrichtung (3) dazu konfiguriert ist, Bildinformationen in einem Erfassungsbereich zumindest einer Kamera (5) zu erfassen, und die Vorrichtung (1) dazu eingerichtet ist, textuelle und/oder graphische Informationselemente (IE) auf einem Objekt (O) im Erfassungsbereich durch Analyse der Bildinformationen zu erkennen und eine Anzahl von Interaktionshandlungen (IA) des Insassen zu detektieren. Die erfindungsgemäße Vorrichtung (1) ist ferner derart ausgestaltet, dass sie einer jeweiligen Interaktionshandlung (IA) bei deren Detektion ein erkanntes Informationselement (IE) und eine durch das Kraftfahrzeug ausführbare Aktion (A) zuordnet und die Ausführung der zugeordneten Aktion (A) auslöst, wobei die Aktion (A) vom erkannten Informationselement (IE) abhängt.

Description

  • Die Erfindung betrifft eine Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs sowie ein entsprechendes Kraftfahrzeug.
  • Aus dem Stand der Technik sind verschiedene Konzepte zur Realisierung von Bedienfunktionen in Kraftfahrzeugen mittels Benutzerinteraktionen bekannt. Neben einer Bedienung über Tasten oder berührungsempfindliche Displays gibt es unter anderem auch Controller in der Form von Dreh-Drück-Reglern, über welche Bedienaktionen mit visueller Rückkopplung auf einem Display ausgeführt werden können. Darüber hinaus gibt es mittlerweile auch Bedienfunktionen, welche über Gestensteuerung ausgeführt werden.
  • In der Druckschrift DE 10 2015 008 071 A1 ist ein Verfahren zur Steuerung einer Innenraum-Beleuchtung in einem Kraftfahrzeug beschrieben. Dabei werden über ein kapazitives Schaltelement Gesten eines Benutzers erkannt und basierend darauf Steuerbefehle für die Beleuchtung umgesetzt.
  • Aufgabe der Erfindung ist es, eine Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs zu schaffen, welche eine einfache und intuitive Bedienung basierend auf Informationen auf einem im Innenraum befindlichen Objekt ermöglicht.
  • Diese Aufgabe wird durch die Vorrichtung gemäß Patentanspruch 1 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
  • Die erfindungsgemäße Vorrichtung dient zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs, wobei das Kraftfahrzeug insbesondere ein PKW ist, jedoch gegebenenfalls auch ein LKW sein kann. Der Insasse ist dabei eine Person, die sich im Innenraum des Kraftfahrzeugs befindet. Je nach Ausgestaltung kann es sich dabei um den Fahrer, einen Beifahrer oder gegebenenfalls auch andere Fahrzeugpassagiere handeln. Sofern im Folgenden und insbesondere in den Patentansprüchen Wechselwirkungen zwischen der Vorrichtung und dem Kraftfahrzeug bzw. Komponenten des Kraftfahrzeugs beschrieben werden, so ist dies immer dahingehend zu verstehen, dass die Wechselwirkung bei Anordnung bzw. Einbau der Vorrichtung im Kraftfahrzeug auftritt. Die Komponenten der Vorrichtung, die eine entsprechende Wechselwirkung mit dem Kraftfahrzeug bzw. Bauteilen des Kraftfahrzeugs haben, sind somit derart ausgestaltet, dass die Wechselwirkung bei Anordnung bzw. Einbau der Vorrichtung im Kraftfahrzeug hervorgerufen wird.
  • Die erfindungsgemäße Vorrichtung umfasst eine kamerabasierte Einrichtung, wobei die kamerabasierte Einrichtung dazu konfiguriert ist, Bildinformationen in einem Erfassungsbereich zumindest einer Kamera zu erfassen. Die zumindest eine Kamera ist dabei Bestandteil der kamerabasierten Einrichtung. Die erfindungsgemäße Vorrichtung ist dazu eingerichtet, textuelle und/oder graphische Informationselemente auf einem Objekt, das vorzugsweise nicht zum Kraftfahrzeug gehört, im Erfassungsbereich durch Analyse der Bildinformationen zu erkennen und eine Anzahl von Interaktionshandlungen des Insassen zu detektieren. Vorzugsweise erfolgt die Detektion zumindest eines Teils der Anzahl von Interaktionshandlungen auch durch Analyse der Bildinformationen, z.B. basierend auf einer Gestenerkennung. Nichtsdestotrotz können Interaktionshandlungen ggf. auch anders detektiert werden, z.B. basierend auf einer Eingabe an einer Benutzerschnittstelle. Die textuellen bzw. graphischen Informationselemente stellen Elemente mit einem semantischen Bedeutungsinhalt für einen Betrachter dar. Der Begriff der Interaktionshandlungen ist insbesondere derart zu verstehen, dass eine jeweilige Interaktionshandlung (d.h. die Art der Ausführung der Interaktionshandlung) vom Inhalt der erkannten Informationselemente entkoppelt ist. Das heißt, durch eine jeweilige Interaktionshandlung wird nicht der semantische Bedeutungsinhalt von Informationselementen vermittelt.
  • Die soeben beschriebene Erkennung bzw. Detektion von Informationselementen und Interaktionshandlungen wird mittels einer geeigneten Rechnereinrichtung in der erfindungsgemäßen Vorrichtung bewirkt. Die Rechnereinrichtung kann dabei Bestandteil der kamerabasierten Einrichtung sein oder eine separate Einheit darstellen, die kommunikationstechnisch mit der kamerabasierten Einrichtung verbunden ist.
  • Erfindungsgemäß ist die Vorrichtung bzw. die entsprechende Rechnereinrichtung ferner derart ausgestaltet, dass sie einer jeweiligen Interaktionshandlung bei deren Detektion ein erkanntes Informationselement (sofern vorhanden) und eine durch das Kraftfahrzeug ausführbare Aktion zuordnet und die Ausführung der zugeordneten Aktion auslöst, wobei die Aktion vom erkannten Informationselement und in diesem Sinne von dessen Inhalt abhängt. Die erfindungsgemäße Vorrichtung weist den Vorteil auf, dass ein Nutzer auf einfache Weise Aktionen des Kraftfahrzeugs in Abhängigkeit von für ihn interessanten Informationen auf einem Objekt auslösen kann.
  • Der Begriff der Abhängigkeit einer Aktion von einem erkannten Informationselement ist weit zu verstehen. Hierunter fällt auch eine Variante, wonach die Vorrichtung basierend auf dem erkannten Informationselement weitergehende Informationen, z.B. durch Zugriff auf externe Quellen, ermittelt, wobei die weitergehenden Informationen die entsprechende Aktion bestimmen.
  • Je nach Ausgestaltung kann ein textuelles bzw. graphisches Informationselement verschieden definiert sein. Allgemein handelt es sich hierbei um einen textuellen Baustein oder ein graphisches Element bzw. eine graphische Elementanordnung. Die Informationselemente können auch miteinander überlappen und ein Informationselement kann auch Bestandteil eines anderen Informationselements sein. Wird als textuelles Informationselement z.B. eine Kontaktinformation erkannt, kann ein weiteres textuelles Informationselement eine Teilinformation aus dieser Kontaktinformation sein, wie z.B. eine Telefonnummer, eine Internetadresse und dergleichen.
  • In einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung können mit der kamerabasierten Einrichtung dreidimensionale Bildinformationen aus dem Erfassungsbereich extrahiert werden, wobei vorzugsweise auch das Objekt im Erfassungsbereich selbst erkannt wird, d.h. es ist in der Vorrichtung eine entsprechende Objekterkennung implementiert. Die Erfassung von dreidimensionalen Bildinformationen kann beispielsweise mittels einer TOF-Kamera (TOF = Time of Flight) erreicht werden, bei der die Laufzeit von Lichtstrahlung gemessen wird, die von einem in der Kamera integrierten Sender ausgesendet wird. In einer weiteren bevorzugten Variante handelt es sich bei der zumindest einen Kamera um eine Infrarot-Kamera, wobei die kamerabasierte Einrichtung ferner eine oder mehrere Infrarot-Lichtquellen umfasst. Die Infrarot-Lichtquellen leuchten in den Erfassungsbereich der Kamera und die reflektierte Infrarotstrahlung wird durch die Kamera erfasst. Auf diese Weise können Informationselemente auch bei Dunkelheit erkannt werden. Vorzugsweise wird mit der soeben beschriebenen kamerabasierten Einrichtung aus Infrarot-Kamera und Infrarot-Lichtquellen eine Erfassung von dreidimensionalen Bildinformationen ermöglicht (z.B. basierend auf einer Laufzeitmessung).
  • Je nach Ausgestaltung der erfindungsgemäßen Vorrichtung kann die Anzahl von Interaktionshandlungen unterschiedliche Interaktionshandlungen umfassen. Vorzugsweise umfassen die Interaktionshandlungen eine oder mehrere der folgenden Handlungen:
    • - eine Spracheingabe über eine akustische Benutzerschnittstelle des Kraftfahrzeugs, wie z.B. „Bitte die auf dem Objekt befindliche Telefonnummer anrufen“, wobei in diesem Fall die Telefonnummer ein erkanntes Informationselement darstellt;
    • - eine Eingabe durch Kontaktierung einer Oberfläche eines Elements einer Benutzerschnittstelle des Kraftfahrzeugs, wie z.B. das Drücken einer Taste bzw. eine Berührungsaktion auf einem berührungssensitiven Display;
    • - eine oder mehrere aus den Bildinformationen ermittelte Interaktionshandlungen (IA) des Insassen, wobei die ermittelte oder die ermittelten Interaktionshandlungen vorzugsweise jeweils eine erkannte Geste des Insassen darstellen, wobei zumindest ein Teil der Gesten vorzugsweise eine Berührung des Objekts durch einen Insassen umfasst.
  • Mit der zuletzt genannten Variante der Interaktionshandlungen kann besonders einfach und intuitiv eine entsprechende Aktion des Kraftfahrzeugs ausgelöst werden. Dabei wird in der erfindungsgemäßen Vorrichtung vorzugsweise auch eine entsprechende Gestenerkennung realisiert, was insbesondere durch eine dreidimensionale Erfassung der Umgebung mit der kamerabasierten Einrichtung erreicht wird.
  • In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung umfasst die Vorrichtung ein Leuchtmodul, um zumindest einen Teil des Objekts mit sichtbarem Licht zu beleuchten, wobei die Vorrichtung vorzugsweise derart ausgestaltet ist, dass das Leuchtmodul durch eine Geste des Insassen anschaltbar ist, wobei die Geste insbesondere eine Berührung des Objekts umfasst. Hierdurch wird auf besonders einfache Weise die Steuerung der Beleuchtung des entsprechenden Objekts im Erfassungsbereich der zumindest einen Kamera erreicht. Die Geste kann dabei unterschiedlich ausgestaltet sein, z.B. kann es sich um eine Tippgeste durch ein- oder mehrmaliges Antippen oder um eine Wischgeste und dergleichen handeln. Je nach Ausgestaltung kann das Leuchtmodul einen Bereich des Objekts flächig beleuchten und/oder auch bestimmte Projektionselemente auf das Objekt projizieren, wie weiter unten noch beschrieben wird.
  • In einer weiteren bevorzugten Ausführungsform ist die Vorrichtung derart betreibbar, dass durch das Leuchtmodul eine Anzahl von Projektionselementen auf das Objekt projiziert wird, wobei der dargestellte Inhalt zumindest eines Teils der Anzahl von Projektionselementen vorzugsweise von zumindest einem erkannten Informationselement abhängt. Der Begriff der Abhängigkeit des dargestellten Inhalts von zumindest einem erkannten Informationselement ist weit zu verstehen. Eine solche Abhängigkeit liegt auch dann vor, wenn die Vorrichtung aus dem erkannten Informationselement durch Zugriff auf eine externe Quelle weitere Informationen zu diesem Element ermittelt und der dargestellte Inhalt eines Projektionselements dabei die weitergehenden Informationen repräsentiert.
  • In einer bevorzugten Variante der soeben beschriebenen Ausführungsform ist einem oder mehreren erkannten Informationselementen jeweils zumindest ein Projektionselement zugeordnet, wobei ein jeweiliges Informationselement, dem zumindest ein Projektionselement zugeordnet ist, mittels der Vorrichtung einer Interaktionshandlung gemäß obiger Definition zugeordnet wird, wobei die Interaktionshandlung eine Geste umfassend eine Berührung des zumindest einen Projektionselements umfasst. Mit dieser Variante der Erfindung wird eine Interaktionshandlung intuitiv an ein Projektionselement gekoppelt, das auf dem Objekt wiedergegeben wird. Vorzugsweise enthält das zumindest eine Projektionselement eine Information, welche die Aktion spezifiziert, die bei der Detektion der Interaktionshandlung entsprechend der Geste ausgeführt wird.
  • In einer weiteren bevorzugten Ausführungsform ist die erfindungsgemäße Vorrichtung derart ausgestaltet, dass eines oder mehrere der Anzahl von Projektionselementen über von der Vorrichtung und insbesondere durch Analyse der Bildinformationen erkannte Interaktionen des Insassen veränderbar sind. Die Interaktionen können dabei andere Interaktionen als die oben beschriebenen Interaktionshandlungen sein. Sie können jedoch zumindest zum Teil mit diesen Interaktionshandlungen zusammenfallen. In einer bevorzugten Variante wird durch die Veränderung zumindest eines Projektionselements zumindest eine durch das Kraftfahrzeug ausführbare Aktion modifiziert.
  • In einer weiteren bevorzugten Variante der erfindungsgemäßen Vorrichtung stellt ein erkanntes Informationselement ein Produkt dar. Je nach Ausgestaltung kann das Informationselement das Produkt graphisch oder in textueller Form wiedergeben. Die Vorrichtung ist dabei derart ausgestaltet, dass der Insasse über eine oder mehrere von der Vorrichtung und insbesondere durch Analyse der Bildinformationen detektierte Interaktionshandlungen mit einem oder mehreren der Anzahl von Projektionselementen das Produkt konfigurieren und/oder kaufen und/oder leihen kann und/oder sich Informationen zu dem Produkt über eine Benutzerschnittstelle ausgeben lassen kann. In dieser Ausführungsform kommuniziert das Kraftfahrzeug vorzugsweise mit einer oder mehreren externen Quellen, wobei diese Kommunikation zum Beispiel über das Internet abläuft.
  • In einer weiteren bevorzugten Ausgestaltung ist die erfindungsgemäße Vorrichtung derart betreibbar, dass zumindest eines der Projektionselemente mit einem erkannten Informationselement überlagert wird. Hierdurch können ansprechende optische Effekte auf dem Objekt generiert werden.
  • In einer weiteren bevorzugten Variante umfassen das oder die Aktionen, welche bei Detektion von jeweiligen Interaktionshandlungen durch das Kraftfahrzeug ausgeführt werden, eine oder mehrere der folgenden Aktionen:
    • - die Ausgabe des jeweiligen Informationselements und/oder daraus abgeleiteter Informationen über eine Benutzerschnittstelle, vorzugsweise eine Benutzerschnittstelle des Kraftfahrzeugs;
    • - Öffnen eines Benutzerdialogs auf einer Benutzerschnittstelle, vorzugsweise einer Benutzerschnittstelle des Kraftfahrzeugs, um eine E-Mail zu erstellen, wobei eine in dem jeweiligen Informationselement enthaltene oder daraus abgeleitete E-Mail-Adresse in der E-Mail als Empfänger voreingestellt ist;
    • - Aktivierung einer Zielführung in einem Navigationssystem des Kraftfahrzeugs zu einem in dem jeweiligen Informationselement enthaltenen oder daraus abgeleiteten Ziel;
    • - Abrufen von Daten von einer externen Quelle und/oder Übermitteln von Daten zu einer externen Quelle, wobei die externe Quelle über in dem jeweiligen Informationselement enthaltene oder daraus abgeleitete Informationen adressiert wird.
  • Die zuletzt genannte Aktion kann z.B. den Aufbau einer Telefonverbindung und eine entsprechende Telefonkommunikation umfassen, wobei zur Adressierung der externen Quelle eine in dem jeweiligen Informationselement enthaltene bzw. daraus abgeleitete Telefonnummer verwendet wird. Ebenso können abgerufene bzw. übermittelte Daten dazu dienen, Informationen zu einem Produkt zu erhalten bzw. ein Produkt zu kaufen oder zu leihen, wobei das Produkt dem jeweiligen Informationselement entspricht bzw. daraus abgeleitet wird.
  • In einer weiteren bevorzugten Variante ist zumindest ein Teil der Vorrichtung und gegebenenfalls auch die gesamte Vorrichtung zum Einbau in den Dachhimmel des Kraftfahrzeugs ausgebildet. Vorzugsweise ist dabei zumindest die kamerabasierte Einrichtung und gegebenenfalls auch das oben definierte Leuchtmodul zum Einbau in den Dachhimmel vorgesehen.
  • In einer weiteren bevorzugten Variante ist die Vorrichtung derart betreibbar, dass die kamerabasierte Einrichtung die Kontur des Objekts im Erfassungsbereich der zumindest einen Kamera erkennt, wobei das Leuchtmodul beim Anschalten dem durch diese Kontur begrenzten Bereich flächig ausleuchtet. Auf diese Weise wird eine bedarfsgerechte Beleuchtung von Objekten erreicht, beispielsweise von einem durch einen Fahrzeuginsassen gehaltenen Buch.
  • In einer weiteren bevorzugten Ausgestaltung ist die Vorrichtung derart betreibbar, dass die kamerabasierte Einrichtung eine Bewegung des Objekts im Erfassungsbereich der zumindest einen Kamera erfasst, wobei das Leuchtmodul bewirkt, dass die Beleuchtung des zumindest einen Teils des Objekts dem sich bewegenden Objekt folgt und in diesem Sinne relativ zum Objekt statisch ist. Vorzugsweise wird diese Variante mit der vorhergehenden Ausführungsform kombiniert, so dass der flächig ausgeleuchtete Bereich dem sich bewegenden Objekt folgt. Mit dieser Ausführungsform kann automatisiert sichergestellt werden, dass ein vom Benutzer gehaltenes Objekt, wie z.B. ein Buch, kontinuierlich auch bei einer Positionsänderung angestrahlt wird.
  • Als Leuchtmodul können in der erfindungsgemäßen Vorrichtung unterschiedliche Leuchteinheiten verwendet werden. In einer bevorzugten Variante umfasst das Leuchtmodul eine oder mehrere LEDs und/oder Laserdioden als Lichtquelle oder Lichtquellen, wodurch eine kompakte Bauform der Vorrichtung mit gleichzeitig hoher Lichtstärke gewährleistet wird.
  • In einer weiteren Variante ist das Leuchtmodul eine scannende Beleuchtungseinheit, welche im Betrieb eine Scan-Bewegung von einem oder mehreren Lichtstrahlen zur Beleuchtung des zumindest eines Teils des Objekts durchführt, wobei die Scan-Bewegung zur Veränderung der Beleuchtung anpassbar ist. Insbesondere können durch die Anpassung der Scan-Bewegung die oben beschriebenen Projektionselemente in ihrer Ausgestaltung bzw. in ihrer Position verändert werden bzw. eine flächige Ausleuchtung in Größe und Position angepasst werden. Scannende Beleuchtungseinheiten sind an sich aus dem Stand der Technik bekannt. In einer bevorzugten Variante stellt die scannende Beleuchtungseinheit ein sog. MEMS-Bauteil (MEMS = Micro Electro Mechanical System) dar, welches einen kompakten Aufbau der Beleuchtungseinheit ermöglicht.
  • In einer weiteren Variante ist das Leuchtmodul eine Beleuchtungseinheit mit einer Vielzahl von einzeln ansteuerbaren Bildpunkten, wobei durch die Ansteuerung der einzelnen Bildpunkte der beleuchtete Bereich veränderbar ist. Vorzugsweise wird als Beleuchtungseinheit ein DLP-Projektor (DLP = Digital Light Processing) eingesetzt, wobei solche Projektoren an sich aus dem Stand der Technik bekannt sind. Diese Projektoren umfassen eine matrixförmige Anordnung von verkippbaren Mikrospiegeln in der Form einer sog. DMD-Einrichtung (DMD = Digital Mirror Device). Durch die einzelnen Spiegel werden die Bildpunkte der Beleuchtungseinheit realisiert. Die DMD-Vorrichtung ist vorzugsweise ein kompaktes MEMS-Bauteil. Alternativ oder zusätzlich kann die Beleuchtungseinheit auch ein LCD-Display umfassen.
  • Neben der oben beschriebenen Vorrichtung betrifft die Erfindung ein Kraftfahrzeug, wobei im Innenraum des Kraftfahrzeugs eine oder mehrere der erfindungsgemäßen Vorrichtungen bzw. eine oder mehrere bevorzugte Varianten der erfindungsgemäßen Vorrichtungen vorgesehen sind.
  • Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
  • Es zeigen:
    • 1 eine schematische perspektivische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung;
    • 2 eine Detailansicht, die beispielhaft einen Aufbau einer erfindungsgemäßen Vorrichtung wiedergibt;
    • 3 eine Variante einer Interaktion eines Benutzers mit der Vorrichtung der 1;
    • 4 eine schematische Darstellung einer abgewandelten Betriebsart der Vorrichtung der 1; und
    • 5 bis 8 schematische Darstellungen, welche beispielhaft weitere Interaktionen zwischen einem Benutzer und der Vorrichtung der 1 verdeutlichen.
  • 1 zeigt in schematischer Darstellung eine Variante einer erfindungsgemäßen Vorrichtung 1, welche im hier beschriebenen Ausführungsbeispiel im Dachhimmel eines Kraftfahrzeugs integriert ist. Vorzugsweise ist die Vorrichtung 1 im vorderen Bereich des Dachhimmels oberhalb der Mittelkonsole des Kraftfahrzeugs verbaut, um eine Interaktion sowohl mit dem Fahrer als auch dem Beifahrer im Kraftfahrzeug zu ermöglichen.
  • Die Vorrichtung 1 umfasst ein Leuchtmodul 2 in der Form einer scannenden Beleuchtungseinheit, in der ein mittels einer Lichtquelle generierter Lichtstrahl durch einen Scan-Spiegel mit hoher Geschwindigkeit in verschiedene Richtungen abgelenkt wird, um hierdurch den zu beleuchtenden Bereich B abzurastern. In der Betriebsart der 1 ist der beleuchtete Bereich dabei ein Lichtspot, der auf ein Objekt O in der Form einer Informationsbroschüre geworfen wird. Der durch das Leuchtmodul ausgeleuchtete Raumbereich ist in 1 und auch in den weiteren Figuren (sofern dargestellt) durch gestrichelte Linien LI angedeutet. Als Leuchtmodul 2 kann eine an sich bekannte scannende Beleuchtungseinheit eingesetzt werden. Im Besonderen kann diese Beleuchtungseinheit als MEMS-Bauteil ausgestaltet sein. Je nach Ausführungsform können als Lichtquelle für das Leuchtmodul eine oder mehrere LEDs oder gegebenenfalls auch Laserdioden zum Einsatz kommen.
  • Anstatt einer scannenden Beleuchtungseinheit kann als Leuchtmodul gegebenenfalls auch eine pixelbasierte Leuchteinheit, z.B. in der Form eines DLP-Projektors oder eines LCD-Lichtgebers, verwendet werden. Vorzugsweise sollte das Leuchtmodul derart ausgestaltet sein, dass eine Veränderung der damit generierten Lichtverteilung und hierdurch eine Variation des angestrahlten bzw. beleuchteten Bereichs bewirkt werden kann. Gegebenenfalls kann die Erfindung auch ohne ein Leuchtmodul realisiert werden, wobei in diesem Fall die Vorrichtung lediglich die Funktion hat, Informationselemente sowie Benutzerinteraktionen auf dem entsprechenden Objekt O zu erkennen und in Antwort auf die Benutzerinteraktionen bestimmte Aktionen zu veranlassen, die durch das Kraftfahrzeug ausgeführt werden.
  • Die Vorrichtung 1 umfasst eine kamerabasierte Einrichtung 3, wobei diese Einrichtung eine Kamera umfasst, welche aus 2 ersichtlich ist und dort mit Bezugszeichen 5 bezeichnet ist. Der Erfassungsbereich dieser Kamera ist durch gestrichelte Linien LI' angedeutet. In der Ausführungsform der 1 beinhaltet die kamerabasierte Einrichtung 3 eine Infrarot-Leuchteinheit mit zwei Infrarot-Lichtquellen 6 (siehe 2), die in den Erfassungsbereich der Kamera strahlen. Die Kamera ist dabei eine Infrarot-Kamera, welche Gegenstände im Erfassungsbereich über die Reflexion des von den Infrarot-Lichtquellen ausgesendeten Lichts detektiert. Auf diese Weise können auch unter dunklen Umgebungsbedingungen entsprechende Objekte bzw. Texte und Graphiken auf den Objekten erfasst werden, wie im Folgenden noch näher erläutert wird.
  • Die Vorrichtung 1 beinhaltet eine Rechnereinrichtung (nicht gezeigt), die als separates Bauteil ausgestaltet sein kann und auch an einer anderen Position als im Dachhimmel angeordnet sein kann. Nichtsdestotrotz kann die Rechnereinrichtung auch im Dachhimmel integriert sein und beispielsweise ein Bestandteil der kamerabasierten Einrichtung 3 sein. Mittels der Rechnereinrichtung werden Objekte sowie bestimmte Gesten eines Insassen im Erfassungsbereich der Kamera erkannt. Ferner hat die Rechnereinrichtung die Funktion der Erkennung von textuellen und/oder graphischen Informationselementen, die sich auf einem entsprechend erkannten Objekt befinden.
  • In dem Szenario der 1 handelt es sich bei den erkannten Informationselementen um bestimmte Textbausteine, die auf einem Objekt O in der Form einer Informationsbroschüre aufgedruckt sind. Alternativ oder zusätzlich zu Textbausteinen können die Informationselemente jedoch auch bestimmte Graphiken sein, wie weiter unten an weiteren Beispielen erläutert wird. Der Begriff des Informationselements ist weit zu verstehen. Ein textuelles Informationselement kann je nach Ausgestaltung ein einzelnes Wort, ein bestimmter Code, eine Wortgruppe, eine Zahlenreihe und dergleichen sein. Gegebenenfalls können mehrere erkannte Informationselemente auch miteinander überlappen. Ebenso kann ein Informationselement gegebenenfalls auch Bestandteil eines größeren Informationselements sein. Zum Beispiel kann als ein Informationselement ein Baustein identifiziert werden, der Kontaktdaten einer Person oder Institution darstellt, wobei ein weiteres Informationselement eine in den Kontaktdaten enthaltene Adresse oder Telefonnummer sein kann.
  • Wie bereits erwähnt, ermöglicht die Rechnereinrichtung auch die Erkennung von bestimmten Gesten im Erfassungsbereich der Kamera. In dem Szenario der 1 wird dabei eine Geste erkannt, die mit der Hand H eines Benutzers durchgeführt wird. Unter einem Benutzer ist hier und im Folgenden ein Insasse des Kraftfahrzeugs zu verstehen. Gemäß der in 1 dargestellten Geste tippt der Benutzer mit dem Zeigefinger seiner Hand H auf die rechte Seite der dargestellten Broschüre. Diese Geste wird von der Rechnereinrichtung der Vorrichtung 1 mit Hilfe der kamerabasierten Einrichtung 3 erkannt. Als Konsequenz wird das Leuchtmodul 2 derart angesteuert, dass ein Lichtspot mit einer bestimmten Größe im Bereich des Antippens generiert wird.
  • In 1 ist die Vorrichtung 1 lediglich schematisch dargestellt. Die gleiche schematische Darstellung wurde in den weiter unten beschriebenen 4 bis 8 verwendet. Beispielhaft ist in 2 jedoch ein möglicher Aufbau der Vorrichtung aus 1 dargestellt. 2 zeigt dabei in perspektivischer geschnittener Detailansicht eine Ausgestaltung der erfindungsgemäßen Vorrichtung. Wie bereits erwähnt, ist die Vorrichtung 1 im Dachhimmel eines Kraftfahrzeugs integriert, wobei die Vorrichtung im hinteren Teil eine Platine 4 aufweist, die auch die oben beschriebene Rechnereinrichtung beinhaltet. Auf der Platine befinden sich zwei Leuchtmodule 2, wobei das in 2 gezeigte linke Leuchtmodul eine Lichtprojektion für den Bereich des Fahrers und das in 2 gezeigte rechte Leuchtmodul eine Lichtprojektion für den Beifahrer generiert. In der schematischen Darstellung der 1 ist aus Übersichtlichkeitsgründen nur ein Leuchtmodul wiedergegeben.
  • Die Vorrichtung der 2 beinhaltet ferner die bereits erwähnte kamerabasierte Einrichtung 3, welche die Infrarot-Kamera 5 umfasst. Darüber hinaus ist eine Infrarot-Leuchteinheit vorhanden, welche in der Ausführungsform der 2 durch zwei Infrarot-Lichtquellen 6 realisiert ist. Wie erwähnt, strahlen diese Infrarot-Lichtquellen in den Erfassungsbereich der Kamera 5. Durch Erfassung und Analyse des reflektierten Lichts können dabei Objekte, Gesten sowie die oben beschriebenen Informationselemente aus den mittels der Kamera 5 erfassten Bildinformationen extrahiert werden. In einer Variante ist die Kamera 5 eine TOF-Kamera, welche die Laufzeit der durch die Lichtquellen 6 ausgesendeten Infrarotstrahlung misst und hierdurch dreidimensionale Bildinformationen im Erfassungsbereich der Kamera ermittelt. Diese dreidimensionalen Bildinformationen werden vor allem zur Erkennung von vorhandenen Objekten bzw. von ausgeführten Gesten verwendet.
  • Die Ausführungsform der 2 beinhaltet ferner Bedienelemente 7 in der Form von Tasten, über welche der Fahrer bzw. Beifahrer manuell die entsprechenden Leuchtmodule 2 an- und abschalten kann. Gegebenenfalls können auch noch weitere Bedienelemente vorhanden sein, mit denen beispielsweise die Helligkeit der Beleuchtung gesteuert wird oder noch andere Lichtfunktionen bewirkt werden.
  • 3 zeigt basierend auf Schritten S1 bis S4 eine Wechselwirkung der Vorrichtung 1 mit Benutzerinteraktionen für ein im beleuchteten Bereich B der 1 vorhandenes Informationselement. Gemäß Schritt S1 schaltet der Benutzer durch Doppeltippen des Zeigefingers seiner Hand H auf das Objekt O (angedeutet durch einen Ring R) das Leuchtmodul 2 ein, wodurch der beleuchtete Bereich B in der Form eines Spots auf dem Objekt O (d.h. der Informationsbroschüre) erzeugt wird. Im Bereich des Spots ist dabei der Name und die Adresse eines Weinguts (englisch: winery) angegeben. Der Name und die Adresse des Weinguts lauten wie folgt:
    • Dominique Morewood
    • Castlefield 2
    • 57022 Bolghery/Italy.
  • Aus den über die kamerabasierte Einrichtung 3 erfassten Bildinformationen erkennt die Rechnereinrichtung diese Daten als ein Informationselement IE. Wenn der Benutzer anschließend den Zeigefinger seiner Hand H länger in dem Bereich B gedrückt hält, projiziert das Leuchtmodul 2 in Schritt S2 die Projektionselemente PE in den beleuchteten Bereich B. Es existieren dabei Projektionselemente in der Form einer Fahne, eines Telefonhörers, des @-Symbols sowie einer gestrichelten Umrandung der Daten des Weinguts.
  • Das Projektionselement der Fahne wird dabei mit der Adresse im Informationselement IE verknüpft. Das Projektionselement des Telefonhörers wird mit einer Telefonnummer des Weinguts verknüpft, wobei die Telefonnummer durch die Vorrichtung 1 über eine Internetsuche basierend auf den Daten des Weinguts ermittelt wird. Das Projektionselement in der Form des @-Symbols wird mit einer E-Mail-Adresse des Weinguts verknüpft, welche analog zur Telefonnummer über eine Suche im Internet ermittelt wird. Das Projektionselement in der Form der gestrichelten Umrandung dient dazu, dem Benutzer anzuzeigen, dass er durch eine Interaktion innerhalb der gestrichelten Umrandung eine Aktion auslösen kann.
  • Der Benutzer kann nunmehr mit den dargestellten Projektionselementen PE verschieden interagieren. In der Ausführungsform der 3 kann er durch Antippen des Projektionselements in der Form der Fahne eine Zieleingabe im Navigationssystem des Kraftfahrzeugs bewirken, woraufhin eine Navigation hin zu dem Ziel der Adresse des Weinguts berechnet wird. Mit dem Projektionselement des Telefons kann er die verknüpfte Telefonnummer des Weinguts durch Antippen dieses Projektionselements anrufen. Indem er das Projektionselement in der Form des @-Symbols antippt, kann er auf einem Display im Kraftfahrzeug ein Dialogfenster zum Versenden einer E-Mail öffnen. Dabei wird als Empfängeradresse die mit dem @-Symbol verknüpfte E-Mail-Adresse verwendet. Über das Dialogfenster kann er dann einen entsprechenden Text für die E-Mail verfassen und die E-Mail anschließend verschicken.
  • Gemäß Schritt S3 der 3 ist eine weitere Interaktionshandlung IA in der Form einer Wischgeste verdeutlicht, gemäß der ein Benutzer das Informationselement IE durch Antippen mit einem Finger seiner Hand H innerhalb der Umrandung und Bewegen des Fingers entlang der Oberfläche der Broschüre aus dem beleuchteten Bereich verschieben kann, was durch den Pfeil P hervorgehoben wird. Als Konsequenz wird gemäß Schritt S4 die Aktion A ausgeführt, gemäß der die Daten des Weinguts auf einem Display DI im Innenraum des Kraftfahrzeugs angezeigt werden, woraufhin der Benutzer diese Daten als Zieleingabe für ein Navigationssystem spezifizieren kann.
  • Die anhand von 3 erläuterten Interaktionen der Hand H des Benutzers mit den Projektionselementen PE stellen Beispiele von Interaktionshandlungen im Sinne des Anspruchs 1 dar. Mit anderen Worten lösen diese Interaktionshandlungen Aktionen im Kraftfahrzeug aus, die von dem erkannten Informationselement IE abhängen. Die Abhängigkeit kann dabei mittelbar sein, d.h. aus dem Informationselement werden weitere Informationen gewonnen, wie z.B. die oben beschriebene Telefonnummer bzw. die oben beschriebene E-Mail-Adresse.
  • Die anhand von 3 beschriebenen Projektionselemente und Interaktionshandlungen sind lediglich beispielhaft. Es können auch andere bzw. weitere Projektionselemente dargestellt werden. Beispielsweise können Landkarten auf das Objekt O projiziert werden, die durch geeignete Interaktionen manipuliert und editiert (z.B. vergrößert und verschoben) werden können. Ebenso können die Projektionselemente gegebenenfalls auch animiert sein und es ist unter Umständen auch möglich, dass ein Projektionselement durch eine projizierte Videosequenz realisiert ist.
  • 4 zeigt eine weitere Betriebsart der Vorrichtung der 1. In dem Szenario der 4 wird wiederum ein Objekt O in der Form einer Broschüre erfasst, welche die Daten des oben beschriebenen Weinguts enthält. Im Unterschied zur Ausführungsform der 1 kann der Benutzer durch Antippen des Objekts nunmehr ein Anschalten des Leuchtmoduls 2 derart bewirken, dass die Gesamtfläche des Objekts ausgeleuchtet wird. Hierzu führt die Rechnereinrichtung der Vorrichtung 1 eine Objekterkennung durch. Dabei erkennt sie die Kontur des Objekts und steuert daraufhin das scannende Leuchtmodul 2 derart an, dass das gesamte Objekt vollflächig beleuchtet wird und nicht nur ein Lichtspot auf dem Objekt generiert wird. Die Rechnereinrichtung steuert dabei das Leuchtmodul auch derart an, dass sich bei Bewegungen der Broschüre, die durch Auswertung von Bildinformationen der kamerabasierten Einrichtung 3 ermittelt werden, der beleuchtete Bereich mit der Kontur der Broschüre bewegt. Das heißt, auch nach einer Positionsveränderung der Broschüre leuchtet das Leuchtmodul 2 exakt deren Kontur aus. Ansonsten entspricht der Betrieb der Vorrichtung der 4 dem im Vorangegangenen beschriebenen Betrieb. Mit anderen Worten werden wiederum die Daten des Weinguts als Informationselement IE erkannt, woraufhin eine Wiedergabe von Projektionselementen sowie die Durchführung von Interaktionen und daran gekoppelten Aktionen entsprechend der Beschreibung der 3 durchgeführt werden können.
  • 5 und 6 zeigen ein weiteres Szenario des Betriebs der Vorrichtung 1. Der Benutzer hält dabei ein Objekt O in der Form eines Reiseführers in der Hand. Auf der linken aufgeklappten Seite des Reiseführers sind die Kontaktdaten eines Restaurants angegeben, wohingegen auf der rechten Seite Piktogramme in der Form eines Burgers und eines Trinkglases angezeigt sind, um hierdurch dem Benutzer zu vermitteln, dass er gerade im Kapitel betreffend Restaurants liest. In Analogie zu den oben beschriebenen Szenarien kann der Benutzer durch Doppeltippen mit einem Finger seiner Hand H auf das Objekt O (angedeutet durch den Ring R) das Leuchtmodul 2 anschalten. Genauso wie in 4 beleuchtet das Leuchtmodul nunmehr exakt den Bereich des aufgeklappten Reiseführers. Ferner folgt die Beleuchtung des Leuchtmoduls dieser Kontur bei einer Positionsveränderung des Reiseführers. Nach Anschalten des Leuchtmoduls ermittelt die Vorrichtung 1 textuelle Informationselemente, die auf den linken aufgeklappten Seiten des Reiseführers vorhanden sein. Es wird dabei eine Klassifizierung durchgeführt, so dass jedes Informationselement einem klassifizierten Inhalt entspricht. Die textuellen Informationselemente sind Bestandteil der in 5 wiedergegebenen Kontaktdaten des Restaurants und werden dort allgemein mit dem Bezugszeichen IE bezeichnet. Die Kontaktdaten lauten dabei wie folgt:
    • The Freemont Diner
    • 2698 Freemont Drive
    • Sonoma, CA 95476 USA
    • +1 701-938-7370
    • www.thefreemontdiner.com
    • info@thefreemontdiner.com
  • Als Informationselemente werden daraus die Straßenadresse, die Telefonnummer, die Webadresse und die E-Mail-Adresse mittels der Rechnereinrichtung der Vorrichtung 1 extrahiert. Anschließend werden die aufgeklappten Seiten des Reiseführers mit Projektionselementen PE augmentiert, die durch das Leuchtmodul 2 in dessen beleuchteten Bereich projiziert werden. Diese Augmentierung ist in 6 verdeutlicht. Es existieren dabei die im Folgenden erläuterten Projektionselemente.
  • Projektionselement in der Form von fünf Sternen:
  • Mit diesem Projektionselement wird dem Benutzer eine Bewertung des Restaurants auf der linken aufgeklappten Seite angezeigt, wobei die Bewertung umso besser ist, je mehr Sterne visuell hervorgehoben sind. In dem dargestellten Szenario hat das Restaurant eine Bewertung mit vier von fünf möglichen Sternen.
  • Projektionselement mit dem Schriftzug „Start Guiding“:
  • Ein Benutzer kann durch Antippen dieses Projektionselements eine Navigation in dem Navigationssystem des Kraftfahrzeugs zu dem Ziel entsprechend den Adressdaten des Restaurants starten.
  • Projektionselement mit dem Schriftzug „Call“:
  • Ein Benutzer kann durch Antippen dieses Projektionselements eine Telefonverbindung zu der Telefonnummer aus den Kontaktdaten des Restaurants über sein Kraftfahrzeug aufbauen.
  • Projektionselement mit dem Schriftzug „Website“:
  • Ein Benutzer kann durch Antippen dieses Projektionselements über ein Display im Kraftfahrzeug die Webseite aufrufen, die in den Kontaktdaten des Restaurants angegeben ist.
  • Projektionselement mit dem Schriftzug „Write Mail“:
  • Durch Antippen dieses Projektionselements wird auf einem Display im Kraftfahrzeug ein Benutzerdialog zum Senden einer E-Mail geöffnet, wobei als Empfängeradresse die E-Mail-Adresse voreingestellt ist, die in den Kontaktdaten des Restaurants angegeben ist. Über geeignete Benutzerinteraktionen kann der Benutzer dann einen Text für die E-Mail verfassen und diese an die Empfängeradresse absenden.
  • Projektionselement mit dem Schriftzug „Book Table“:
  • Durch Antippen dieses Projektionselements kann der Benutzer einen Tisch in dem Restaurant gemäß den dargestellten Kontaktdaten über das Internet reservieren.
  • Projektionselement mit der Uhrzeit 10:30 Uhr:
  • Über dieses Projektionselement kann der Benutzer eine Uhrzeit für eine über das Projektionselement „Book Table“ zu bewirkende Reservierung einstellen. Die Einstellung erfolgt in an sich bekannter Weise nach Art eines Picker-Wheels. Dabei kann der Benutzer durch Antippen und Verschieben der Stundenzahl nach oben bzw. unten die Stundenzahl der Reservierung erhöhen bzw. erniedrigen. Analog kann er durch Antippen der Minutenzahl und eine Bewegung nach oben oder unten die Minutenzahl der Reservierung erhöhen bzw. erniedrigen.
  • Projektionselement mit dem Schriftzug „Menu of the Day“:
  • Durch Antippen dieses Projektionselements kann ein Nutzer die Tageskarte an Speisen des Restaurants über das Internet abrufen und auf einem Display im Kraftfahrzeug anzeigen.
  • Projektionselement, das eine Landkarte mit einer Zielfahne anzeigt:
  • Über dieses Projektionselement kann der Benutzer eine Straßenkarte für eine Umgebung des Restaurants einsehen, wobei er den Bereich der Straßenkarte interaktiv über das Antippen der Straßenkarte und Bewegung seines Fingers verschieben kann, wie durch den Doppelpfeil P' angedeutet ist. Darüber hinaus wird in dem Projektionselement die Adresse des Restaurants durch eine Zielfahne angezeigt. Der Benutzer kann dabei die Zielführung im Navigationssystem des Kraftfahrzeugs hin zu dieser Adresse starten, indem er auf die Zielfahne tippt.
  • 7 und 8 zeigen ein weiteres Szenario des Betriebs der Vorrichtung der 1. Dabei hält der Benutzer als Objekt O einen Autokatalog in der Hand, wobei er eine Seite aufgeklappt hat, auf der ein Piktogramm eines Kraftfahrzeugs sowie die Typenbezeichnung des Kraftfahrzeugs („BMW 850i Convertible“) wiedergegeben ist.
  • In Analogie zu den oben beschriebenen Szenarien schaltet der Benutzer das Leuchtmodul 2 wiederum durch ein doppeltes Antippen auf den Bereich der aufgeklappten Seiten an, woraufhin der Katalog konturgenau über das Leuchtmodul ausgeleuchtet wird und sich die Beleuchtung bei Veränderung der Position des Katalogs mitbewegt. Die Rechnereinrichtung der Vorrichtung 1 ermittelt nunmehr aus den Bilddaten der Kamera als Informationselemente IE zum einen die Typenbezeichnung des dargestellten Fahrzeugs und zum anderen das Piktogramm dieses Fahrzeugs. Als Folge werden die aufgeklappten Seiten der Broschüre mit Projektionselementen PE augmentiert, wie in 8 wiedergegeben ist.
  • In dem Szenario der 8 wird auf der rechten Seite des Katalogs ein Projektionselement in der Form von Sternen wiedergegeben, welche eine Bewertung des dargestellten Kraftfahrzeugs darstellen, die aus dem Internet abgerufen wird. Im vorliegenden Fall hat das Kraftfahrzeug eine Bewertung mit vier von fünf möglichen Sternen. Darüber hinaus werden auf der linken Seite des Katalogs Projektionselemente eines Konfigurators wiedergegeben. Der Konfigurator wird über eine Internetkommunikation des Kraftfahrzeugs mit einem Server des Fahrzeugherstellers aufgerufen. Durch das Projektionselement in der Form des Textbausteins „Your Configuration BMW 850i“ wird angezeigt, welches Fahrzeug durch den Konfigurator konfiguriert wird, wobei der Fahrzeugtyp dem Fahrzeug auf der rechten Seite des Katalogs entspricht. Die Projektionselemente in der Form von Schriftzügen „Exterior Color“, „Seats“, „Interior Options“ und „Exterior Options“ geben an, welche Ausstattungsmerkmale für die Konfiguration des Kraftfahrzeugs ausgewählt werden können. Neben den entsprechenden Schriftzügen befinden sich schwarz hinterlegte Projektionselemente mit Schriftzügen, welche die aktuell vom Benutzer festgelegte Auswahl der entsprechenden Optionen anzeigen. Die Auswahl kann dabei mittels eines bereits oben erwähnten Picker-Wheels erfolgen. Indem ein Benutzer auf das entsprechende schwarz hinterlegte Projektionselement tippt und seine Finger nach oben bzw. unten verschiebt, kann er die Auswahl der entsprechenden Option verändern.
  • Gemäß dem Szenario der 8 wurde vom Benutzer für das konfigurierte Kraftfahrzeug aktuell als Außenfarbe (englisch: „Exterior Color“) die Farbe „Saphire Black“ gewählt. Als Sitzausstattung wurde die Lederausstattung „Oyster Leather“ gewählt. Die anderen Optionen wurden noch nicht gewählt, was dadurch verdeutlicht wird, dass die Projektionselemente, die neben den Schriftzügen „Interior Options“ (d.h. Innenausstattung) und „Exterior Options“ (d.h. Außenausstattung) angeordnet sind, den Schriftzug „Select“ (d.h. es ist noch keine Auswahl getroffen) beinhalten.
  • Darüber hinaus wird durch das Projektionselement „Price“ in Kombination mit dem veränderlichen Projektionselement einer Preisangabe (aktuell bei 102450 $) der Preis für das Kraftfahrzeug gemäß der aktuellen Konfiguration angezeigt. Ferner werden dem Benutzer auf der rechten Seite des Katalogs nochmals die aktuell gewählten Ausstattungen durch Anzeige von Projektionselementen mit dem Text „Saphire Black“ und „Oyster Leather“ angezeigt. Darüber hinaus wird das Informationselement in der Form des Piktogramms des Fahrzeugs mit einem Projektionselement überlagert, das sich mit der Karosserie des Fahrzeugs gemäß dem Piktogramm deckt, wobei die Farbe des Projektionselements der vom Benutzer ausgewählten Farbe entspricht (d.h. „Saphire Black“). Auf der linken Katalogseite wird ferner im unteren Bereich ein schwarzes Projektionselement mit dem Text „Buy“ wiedergegeben. Nach Beendigung der Konfiguration kann ein Benutzer durch Antippen dieses Projektionselements bewirken, dass er das entsprechende Kraftfahrzeug durch Kontaktierung des Herstellers bzw. eines entsprechenden Händlers käuflich erwirbt.
  • Die im Vorangegangenen beschriebenen Ausführungsformen der Erfindung weisen eine Reihe von Vorteilen auf. Insbesondere wird einem Insassen eines Kraftfahrzeugs auf einfache Weise ein Zugriff auf Informationen ermöglicht, die auf einem Objekt befindlich sind, das von ihm gehalten wird. Das Objekt ist vorzugsweise ein Druckerzeugnis, wie z.B. ein Buch, ein Katalog, eine Broschüre und dergleichen. Mittels einfacher Benutzerinteraktionen, welche vorzugsweise über Berührung von auf das Objekt projizierter Projektionselemente bewirkt werden, kann der Insasse dabei Aktionen auslösen, die im Zusammenhang mit den Informationen auf dem Objekt stehen. Diese Aktionen werden durch das Kraftfahrzeug ausgeführt, wobei das Kraftfahrzeug hierzu gegebenenfalls auch auf externe Quellen, wie z.B. das Internet, zugreifen kann. Zum Beispiel kann ein Benutzer durch eine Interaktion mit entsprechenden Projektionselementen weitergehende Informationen zu einer Person oder Instanz aufrufen, die auf dem Objekt angegeben ist bzw. er kann einen Kontakt mit der Person bzw. Instanz, z.B. über E-Mail oder das Internet, herstellen. Ebenso ist es beispielsweise möglich, dass ein Benutzer ergänzende Informationen zu einem auf dem Objekt dargestellten Produkt erhält und ihm gegebenenfalls auch die Möglichkeit gegeben wird, dieses Produkt über eine Kommunikation des Kraftfahrzeugs mit einer externen Quelle zu bestellen.
  • Bezugszeichenliste
  • 1
    Vorrichtung zur Benutzerassistenz
    2
    Leuchtmodul
    3
    kamerabasierte Einrichtung
    B
    beleuchteter Bereich
    O
    Objekt
    H
    Hand
    LI
    gestrichelte Linien
    LI'
    gepunktete Linien
    4
    Platine
    5
    Kamera
    6
    Infrarot-Lichtquellen
    7
    Bedienelemente
    S1, S2, S3, S4
    Schritte
    IA
    Interaktionshandlung
    A
    durch das Kraftfahrzeug ausgeführte Aktion
    DI
    Display
    PE
    Projektionselemente
    IE
    Informationselemente
    R
    Ring
    P
    Pfeil
    P'
    Doppelpfeil
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102015008071 A1 [0003]

Claims (15)

  1. Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs, umfassend eine kamerabasierte Einrichtung (3), wobei die kamerabasierte Einrichtung (3) dazu konfiguriert ist, Bildinformationen in einem Erfassungsbereich zumindest einer Kamera (5) zu erfassen, und die Vorrichtung (1) dazu eingerichtet ist, textuelle und/oder graphische Informationselemente (IE) auf einem Objekt (O) im Erfassungsbereich durch Analyse der Bildinformationen zu erkennen und eine Anzahl von Interaktionshandlungen (IA) des Insassen zu detektieren, wobei die Vorrichtung (1) ferner derart ausgestaltet ist, dass sie einer jeweiligen Interaktionshandlung (IA) bei deren Detektion ein erkanntes Informationselement (IE) und eine durch das Kraftfahrzeug ausführbare Aktion (A) zuordnet und die Ausführung der zugeordneten Aktion (A) auslöst, wobei die Aktion (A) vom erkannten Informationselement (IE) abhängt.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Anzahl von Interaktionshandlungen (IA) eine oder mehrere der folgenden Interaktionshandlungen (IA) umfasst: - eine Spracheingabe über eine akustische Benutzerschnittstelle des Kraftfahrzeugs; - eine Eingabe durch Kontaktierung einer Oberfläche eines Elements einer Benutzerschnittstelle des Kraftfahrzeugs; - eine oder mehrere aus den Bildinformationen ermittelte Interaktionshandlungen (IA) des Insassen, wobei die ermittelte oder die ermittelten Interaktionshandlungen (IA) vorzugsweise jeweils eine erkannte Geste des Insassen darstellen, wobei zumindest ein Teil der Gesten vorzugsweise eine Berührung des Objekts (O) durch einen Insassen umfasst.
  3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Vorrichtung (1) ein Leuchtmodul (2) umfasst, um zumindest einen Teil des Objekts (O) mit sichtbarem Licht zu beleuchten, wobei die Vorrichtung (1) vorzugsweise derart ausgestaltet ist, dass das Leuchtmodul (2) durch eine Geste des Insassen anschaltbar ist, wobei die Geste insbesondere eine Berührung des Objekts (O) umfasst.
  4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Vorrichtung (1) derart betreibbar ist, dass durch das Leuchtmodul (2) eine Anzahl von Projektionselementen (PE) auf das Objekt (O) projiziert wird, wobei der dargestellte Inhalt zumindest eines Teils der Anzahl von Projektionselementen (PE) vorzugsweise von zumindest einem erkannten Informationselement (IE) abhängt.
  5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass einem oder mehreren erkannten Informationselementen (IE) jeweils zumindest ein Projektionselement (PE) zugeordnet ist, wobei die Vorrichtung (1) derart ausgestaltet ist, dass ein jeweiliges Informationselement (IE), dem zumindest ein Projektionselement (PE) zugeordnet ist, einer Interaktionshandlung (IA) zugeordnet wird, welche eine Geste umfassend eine Berührung des zumindest einen Projektionselements (PE) umfasst.
  6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die Vorrichtung (1) derart ausgestaltet ist, dass eines oder mehrere der Anzahl von Projektionselementen (PE) über von der Vorrichtung (1) erkannte Interaktionen des Insassen veränderbar sind, wobei vorzugsweise durch die Veränderung zumindest eines Projektionselements (PE) zumindest eine durch das Kraftfahrzeug ausführbare Aktion (A) modifiziert wird.
  7. Vorrichtung nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass ein erkanntes Informationselement (IE) ein Produkt darstellt, wobei die Vorrichtung (1) derart ausgestaltet ist, dass der Insasse über eine oder mehrere von der Vorrichtung (1) detektierte Interaktionshandlungen mit einem oder mehreren der Anzahl von Projektionselementen (PE) das Produkt konfigurieren und/oder kaufen und/oder leihen kann und/oder sich Informationen zu dem Produkt über eine Benutzerschnittstelle ausgeben lassen kann.
  8. Vorrichtung nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass die Vorrichtung (1) derart betreibbar ist, dass zumindest eines der Projektionselemente (PE) mit einem erkannten Informationselement (IE) überlagert wird.
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die Aktionen (A), welche bei Detektion von jeweiligen Interaktionshandlungen (IA) durch das Kraftfahrzeug ausgeführt werden, eine oder mehrere der folgenden Aktionen (A) umfassen: - Ausgabe des jeweiligen Informationselements (IE) und/oder daraus abgeleiteter Informationen über eine Benutzerschnittstelle; - Öffnen eines Benutzerdialogs auf einer Benutzerschnittstelle zur Erstellung einer E-Mail, wobei eine in dem jeweiligen Informationselement (IE) enthaltene oder daraus abgeleitete E-Mail-Adresse in der E-Mail als Empfänger voreingestellt ist; - Aktivierung einer Zielführung in einem Navigationssystem des Kraftfahrzeugs zu einem in dem jeweiligen Informationselement (IE) enthaltenen oder daraus abgeleiteten Ziel; - Abrufen von Daten von einer externen Quelle und/oder Übermitteln von Daten zu einer externen Quelle, wobei die externe Quelle über in dem jeweiligen Informationselement (IE) enthaltene oder daraus abgeleitete Informationen adressiert wird.
  10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Teil der Vorrichtung (1) zum Einbau in den Dachhimmel des Kraftfahrzeugs ausgebildet ist.
  11. Vorrichtung nach einem der vorhergehenden Ansprüche in Kombination mit einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die Vorrichtung (1) derart betreibbar ist, dass die kamerabasierte Einrichtung (3) die Kontur des Objekts (O) im Erfassungsbereich der zumindest einen Kamera (5) erkennt, wobei das Leuchtmodul (2) beim Anschalten den durch diese Kontur begrenzten Bereich flächig ausleuchtet.
  12. Vorrichtung nach einem der vorhergehenden Ansprüche in Kombination mit einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die Vorrichtung (1) derart betreibbar ist, dass die kamerabasierte Einrichtung (3) eine Bewegung des Objekts (O) im Erfassungsbereich der zumindest einen Kamera (5) erfasst, wobei das Leuchtmodul (2) bewirkt, dass die Beleuchtung des zumindest einen Teil des Objekts (O) dem sich bewegenden Objekt (O) folgt.
  13. Vorrichtung nach einem der vorhergehenden Ansprüche in Kombination mit einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass das Leuchtmodul (2) eine scannende Beleuchtungseinheit ist, welche im Betrieb eine Scan-Bewegung von einem oder mehreren Lichtstrahlen zur Beleuchtung des zumindest einen Teil des Objekts (O) durchführt, wobei die Scan-Bewegung zur Veränderung der Beleuchtung anpassbar ist.
  14. Beleuchtungsvorrichtung nach einem der vorhergehenden Ansprüche in Kombination mit einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass das Leuchtmodul (2) eine Beleuchtungseinheit mit einer Vielzahl von einzeln ansteuerbaren Bildpunkten ist, wobei durch die Ansteuerung der einzelnen Bildpunkte die durch das Leuchtmodul (2) bewirkte Beleuchtung veränderbar ist, wobei die Beleuchtungseinheit vorzugsweise einen DLP-Projektor und/oder ein LCD-Display umfasst.
  15. Kraftfahrzeug, dadurch gekennzeichnet, dass im Innenraum des Kraftfahrzeugs eine oder mehrere Vorrichtungen (1) nach einem der vorhergehenden Ansprüche vorgesehen sind.
DE102018205664.1A 2018-04-13 2018-04-13 Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs Pending DE102018205664A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018205664.1A DE102018205664A1 (de) 2018-04-13 2018-04-13 Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018205664.1A DE102018205664A1 (de) 2018-04-13 2018-04-13 Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs

Publications (1)

Publication Number Publication Date
DE102018205664A1 true DE102018205664A1 (de) 2019-10-17

Family

ID=68053440

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018205664.1A Pending DE102018205664A1 (de) 2018-04-13 2018-04-13 Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs

Country Status (1)

Country Link
DE (1) DE102018205664A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019002794A1 (de) * 2019-04-16 2020-10-22 Daimler Ag Verfahren zum Steuern einer Beleuchtung
DE102020202918A1 (de) 2020-03-06 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zur Ansteuerung wenigstens einer Funktion in einem Fahrzeug
DE102020214859A1 (de) 2020-11-26 2022-06-02 Volkswagen Aktiengesellschaft Verfahren zum Betrieb einer Kraftfahrzeug-Innenraumbeleuchtung
DE102022106621A1 (de) 2022-03-22 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Beleuchtungseinrichtung für ein Kraftfahrzeug
DE102022109496B3 (de) 2022-04-20 2023-10-05 Audi Aktiengesellschaft Verfahren zum Bereitstellen einer erweiterten Realitätsdarstellung für ein in einem Kraftfahrzeug angeordnetes Objekt
DE102023116338A1 (de) 2023-06-21 2024-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum erkennen eines mobilen endgeräts in einem fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011670A1 (en) * 2014-07-09 2016-01-14 Canon Kabushiki Kaisha Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
DE102015008071A1 (de) 2015-06-23 2016-02-18 Daimler Ag Steuerung einer Kfz-Innenraum-Beleuchtung
DE102016001998A1 (de) * 2016-02-19 2017-08-24 Audi Ag Kraftfahrzeug-Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung, um eine Wechselwirkung zwischen einer virtuellen Darstellungsebene und einer Hand zu bewirken

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011670A1 (en) * 2014-07-09 2016-01-14 Canon Kabushiki Kaisha Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
DE102015008071A1 (de) 2015-06-23 2016-02-18 Daimler Ag Steuerung einer Kfz-Innenraum-Beleuchtung
DE102016001998A1 (de) * 2016-02-19 2017-08-24 Audi Ag Kraftfahrzeug-Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung, um eine Wechselwirkung zwischen einer virtuellen Darstellungsebene und einer Hand zu bewirken

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019002794A1 (de) * 2019-04-16 2020-10-22 Daimler Ag Verfahren zum Steuern einer Beleuchtung
US11833961B2 (en) 2019-04-16 2023-12-05 Mercedes-Benz Group AG Method for controlling a lighting system so that a light follows movement of a hand
DE102020202918A1 (de) 2020-03-06 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zur Ansteuerung wenigstens einer Funktion in einem Fahrzeug
DE102020214859A1 (de) 2020-11-26 2022-06-02 Volkswagen Aktiengesellschaft Verfahren zum Betrieb einer Kraftfahrzeug-Innenraumbeleuchtung
DE102022106621A1 (de) 2022-03-22 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Beleuchtungseinrichtung für ein Kraftfahrzeug
DE102022109496B3 (de) 2022-04-20 2023-10-05 Audi Aktiengesellschaft Verfahren zum Bereitstellen einer erweiterten Realitätsdarstellung für ein in einem Kraftfahrzeug angeordnetes Objekt
DE102023116338A1 (de) 2023-06-21 2024-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum erkennen eines mobilen endgeräts in einem fahrzeug

Similar Documents

Publication Publication Date Title
DE102018205664A1 (de) Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs
EP2451672B1 (de) Verfahren und vorrichtung zum bereitstellen einer benutzerschnittstelle in einem fahrzeug
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
EP3237249B1 (de) Fortbewegungsmittel, anwenderschnittstelle und verfahren zur übergreifenden anzeige eines anzeigeinhaltes auf zwei anzeigeeinrichtungen
EP2328783B1 (de) Bedienelement für eine anzeigevorrichtung in einem transportmittel
DE102011089195A1 (de) Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
EP3092143B1 (de) Anzeigebedieneinheit und verfahren zum anzeigen zusätzlicher hinweise auf einer anzeigeeinheit
EP3040245A1 (de) Vorrichtung und verfahren zur unterstützung eines anwenders vor einer bedienung eines schalters zur elektromotorischen verstellung eines teils eines fortbewegungsmittels
WO1998028649A1 (de) Informationsanzeigesystem für mindestens eine person
DE10121392A1 (de) Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
EP3322611B1 (de) Verfahren und bediensystem zum bedienen von mindestens einer funktion in einem fahrzeug
EP3040849B1 (de) Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur übergreifenden Anzeige eines Anzeigeinhaltes auf zwei Anzeigeeinrichtungen
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102016120999A1 (de) Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug
DE102013000069B4 (de) Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
EP2943866B1 (de) Verfahren und vorrichtung zum bereitstellen einer benutzerschnittstelle in einem fahrzeug
EP2925552B1 (de) Bedienverfahren und bediensystem in einem strassenfahrzeug
DE102013016196B4 (de) Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten
DE102017212062A1 (de) Beleuchtungsvorrichtung für den Innenraum eines Kraftfahrzeugs
DE102013014877A1 (de) Kraftfahrzeug-Bedieneinrichtung mit selbsterklärender Gestenerkennung
EP3718810A1 (de) Verfahren und vorrichtung zur bedienung von elektronisch ansteuerbaren komponenten eines fahrzeugs
WO2020200557A1 (de) Verfahren und vorrichtung zur interaktion mit einem umgebungsobjekt im umfeld eines fahrzeugs
DE102014001183B4 (de) Verfahren und System zum Auslösen wenigstens einer Funktion eines Kraftwagens
DE102019127183A1 (de) Anzeigesystem zum Anzeigen eines Bedienhinweises für ein Bedienelement in einem Kraftfahrzeug
DE102023000162B3 (de) Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed