Nothing Special   »   [go: up one dir, main page]

DE102021001335A1 - Interaction device with long-distance eye contact detection - Google Patents

Interaction device with long-distance eye contact detection Download PDF

Info

Publication number
DE102021001335A1
DE102021001335A1 DE102021001335.2A DE102021001335A DE102021001335A1 DE 102021001335 A1 DE102021001335 A1 DE 102021001335A1 DE 102021001335 A DE102021001335 A DE 102021001335A DE 102021001335 A1 DE102021001335 A1 DE 102021001335A1
Authority
DE
Germany
Prior art keywords
eye contact
image
signal
long
contact detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021001335.2A
Other languages
German (de)
Inventor
gleich Anmelder Erfinder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102021001335.2A priority Critical patent/DE102021001335A1/en
Publication of DE102021001335A1 publication Critical patent/DE102021001335A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Eine Mensch-Maschine-Interaktion, geeignet für große Entfernungen wird dadurch erreicht, dass eine Vorrichtung einen Blickkontakt zwischen Mensch und Vorrichtung erkennt und diese Erkennung für eine Reaktion in Richtung des Betrachters verwendet. Die Reaktion kann aus einem Signal oder aus einer anderen Information, z. B. in Text- oder Bildform bestehen.A human-machine interaction suitable for long distances is achieved by a device detecting eye contact between human and device and using this detection for a reaction towards the viewer. The response may consist of a signal or other information, e.g. B. in text or image form.

Description

Die Erfindung befindet sich auf dem Gebiet der Mensch-Maschine-Kommunikation und -Interaktion. Auf diesem Gebiet sind in mehreren Anwendungsbereichen technische Lösungen bekannt. So bietet z. B. ein Computer-Endgerät eine mit dem Computer oder über einen Computer mit einer Maschine mittels Tastatur- oder Touchscreen eine Informationseingabe vom Menschen und der Benutzer erhält daraufhin eine Information oder erfährt eine andere Reaktion. Eine diesbezügliche Maschine kann zum Beispiel eine Produktionsmaschine sein, ein Fahrzeug oder ein Gerät zur Lieferung von Informationen. Dabei sind verschiedene Sensoren für optische, akustische oder mechanische Signale in Gebrauch.The invention is in the field of human-machine communication and interaction. In this field, technical solutions are known in several areas of application. For example, B. a computer terminal with the computer or a computer with a machine using a keyboard or touch screen information input from humans and the user then receives information or experiences a different reaction. A relevant machine can be, for example, a production machine, a vehicle or a device for delivering information. Various sensors for optical, acoustic or mechanical signals are used.

Ein Beispiel für eine bekannte Möglichkeit der Kommunikation ist es, mittel optischer Sensoren die Augenbewegung und die Augenfokussierung des Benutzers zu erfassen und damit Funktionen in dem Kommunikationsgerät zu verknüpfen.One example of a known communication option is to use optical sensors to detect the user's eye movement and eye focus and thus link functions in the communication device.

Alle diese vorbekannten technischen Lösungen haben gemein, dass die Interaktion zwischen der Vorrichtung zur Interaktion mit Sensorik und Mechanik einerseits und andererseits dem Menschen auf maximal 1 m begrenzt ist. Ein weiterer Stand der Technik befasst sich mit der Gesichtserkennung und Blickerkennung auf große Entfernung, jedoch findet hierbei keine Interaktion zwischen Maschine und Mensch statt. In der DE202008012336U1 wird beispielsweise ein Blickkontakt auf große Entfernung registriert, um die Attraktionswirkung einer Werbeinstallation zu erfassen. Außer der Registrierung findet jedoch keine weitere, insbesondere keine interagierende Aktion statt.All of these previously known technical solutions have in common that the interaction between the device for interacting with sensors and mechanics on the one hand and the human being on the other hand is limited to a maximum of 1 m. Another prior art deals with long-distance facial recognition and gaze recognition, but there is no interaction between machine and human. In the DE202008012336U1 For example, long-distance eye contact is registered in order to capture the attractiveness of an advertising installation. Apart from the registration, however, no further action, in particular no interacting action, takes place.

Aufgabe der Erfindung ist es, eine Vorrichtung zu schaffen, die eine nutzbringende Interaktion zwischen Maschine und Mensch (oder Tier) über Entfernungen zu ermöglichen, die größer sind als in den vorbekannten Anwendungen und auf der Erfassung einer Augenfokussierung (Blickkontakt) basiert.The object of the invention is to provide a device that allows a beneficial interaction between machine and human (or animal) over distances greater than in the previously known applications and based on the detection of eye focusing (eye contact).

Die Lösung der Aufgabe erfolgt durch die in den Patentansprüchen definierten Merkmale.The object is solved by the features defined in the patent claims.

Dazu wird eine Vorrichtung oder ein Teil einer Vorrichtung vorgesehen, bestehend aus zumindest einem optischen Sensor zur Erfassung einer Augenfokussierung und einer Datenverarbeitungs- und Berechnungseinheit, dadurch gekennzeichnet, dass

  1. a) der optische Sensor das Umfeld der Vorrichtung in einer Entfernung von über 1 m als Bild oder Bildfolge erfasst,
  2. b) die Datenverarbeitungs- und Berechnungseinheit das Bild oder die Bildfolge analysiert und eine Augenfokussierung von Menschen oder Tieren auf die Vorrichtung erkennt und
  3. c) diese Erkennung verwendet wird zur Erzeugung einer auf den Betrachter gerichteten Reaktion der Vorrichtung.
For this purpose, a device or part of a device is provided, consisting of at least one optical sensor for detecting eye focusing and a data processing and calculation unit, characterized in that
  1. a) the optical sensor captures the surroundings of the device at a distance of more than 1 m as an image or image sequence,
  2. b) the data processing and calculation unit analyzes the image or the image sequence and detects that people or animals are focusing their eyes on the device and
  3. c) this detection is used to generate a viewer-directed response of the device.

Der besagte optische Sensor kann zum Beispiel eine Kamera sein, die in einem Winkel von bis zu 360° Abbilder der Umgebung der Vorrichtung mit ausreichend hoher Auflösung erzeugt. Auch mehrere Kameras können dazu eingesetzt werden.Said optical sensor can be a camera, for example, which generates images of the area surrounding the device at an angle of up to 360° with a sufficiently high resolution. Multiple cameras can also be used for this.

Eine Datenverarbeitungs- und Berechnungseinheit analysiert die erfassten Bilder und detektiert Augenfokussierungen, die auf die Vorrichtung oder die nähere Umgebung der Vorrichtung gerichtet sind. Mit näherer Umgebung ist das Sichtfeld gemeint, das vom Betrachter bewusst wahrgenommen wird.A data processing and calculation unit analyzes the captured images and detects eye focus that is directed towards the device or the immediate vicinity of the device. Closer surroundings mean the field of vision that is consciously perceived by the viewer.

Stellt die Vorrichtung einen solchen Sichtkontakt fest, sorgt die Rechnereinheit für eine spezifische Reaktion, die auf den Betrachter ausgerichtet ist.If the device detects such visual contact, the computer unit provides a specific reaction that is aimed at the viewer.

Diese Reaktion ist nach einer besonderen Ausgestaltung der Erfindung ein Signal an eine an die Vorrichtung angeschlossene Einheit zur Erzeugung eines Einschaltvorganges, eines optischen oder akustischen Signals.According to a special embodiment of the invention, this reaction is a signal to a unit connected to the device for generating a switch-on process, an optical or acoustic signal.

In einer weiteren Ausgestaltung der Erfindung wird ein Signal in Richtung des Blickkontaktes gesandt.In a further embodiment of the invention, a signal is sent in the direction of eye contact.

In einer weiteren Ausgestaltung der Erfindung wird schon bei Erkennung eines Gesichtes ein Signal in Richtung des Gesichtes gesandt und damit der Blickkontakt hervorgerufen.In a further embodiment of the invention, a signal is sent in the direction of the face as soon as a face is recognized, thus causing eye contact.

In einem ersten Beispiel wird das Gerät nach vorliegender Erfindung verwendet, um eine Produktwerbung gezielt auf einen Betrachter auszurichten. Dazu wird der zufällige oder bewusste Blickkontakt eines Passanten erkannt und daraufhin Werbeinformation in Richtung des Betrachters gesandt. Dieses Verfahren gewährleistet eine höhere Aufmerksamkeit des Betrachters für ein Produkt als eine permanente Werbung. Die von der Vorrichtung gesandte Information kann auch in kurzen, nur unbewusst wahrnehmbaren Bildern bestehen. Schließlich kann der Blickkontakt zusätzlich durch ein optisches Signal gezielt herbeigeführt werden.In a first example, the device of the present invention is used to target a product advertisement to a viewer. For this purpose, the accidental or conscious eye contact of a passer-by is recognized and advertising information is then sent in the direction of the viewer. This procedure ensures that the viewer pays more attention to a product than permanent advertising. The information sent by the device can also consist of short images that can only be perceived unconsciously. Finally, eye contact can also be brought about in a targeted manner by means of an optical signal.

In einem zweiten Beispiel wird die erfindungsgemäße Vorrichtung als Teil einer Sicherheitseinrichtung verwendet, indem die Vorrichtung einen zufälligen oder provozierten Blickkontakt einer unbefugt präsenten Person erfasst und ein gerichtetes starkes Lichtsignal sendet, das die Person augenblicklich handlungsunfähig macht.In a second example, the device according to the invention is used as part of a security device, in that the device detects accidental or provoked eye contact by an unauthorized person and a directed eye contact emits a strong light signal that immediately incapacitates the person.

In einem dritten Beispiel wird die erfindungsgemäße Vorrichtung verwendet, um ggf. zusammen mit einer Gesichtserkennung ein Gerät, wie z. B. ein Fahrzeug oder ein Kommunikationsgerät zu entsperren und die Information über Position und Zustand des Gerätes an den Betrachter zu übermitteln.In a third example, the device according to the invention is used, if necessary together with a face recognition device, such as a B. to unlock a vehicle or a communication device and to transmit the information about the position and status of the device to the viewer.

Die Zeichnung 1 erläutert die Erfindung anhand eines Beispiels: Die Vorrichtung (1) ist mit einem optischen Sensor sowie einer Auswerte- und Berechnungseinheit ausgestattet, wobei die Umgebung der Vorrichtung mit Hilfe des Objektivs (2) als Bild oder Bildfolge erfasst wird. Die erfassten Bilder werden mit Hilfe der Auswerte- und Berechnungseinheit mit Hilfe bekannter Methoden analysiert und Blickkontakte von Augen (4) festgestellt. Die Vorrichtung (1) verfügt über einen Sender, der visuelle Signale in Richtung der Augen (4) übermitteln kann. Die Übermittlung von Information erfolgt in beiden Richtungen, von Mensch zu Vorrichtung und umgekehrt über die direkte Verbindungslinien (5) von Augen zu Vorrichtung. Die Vorrichtung (1) kann verbunden sein mit einem Gerät, einer Maschine oder einem Computer und diese als Reaktion auf einen Blickkontakt steuern.Drawing 1 explains the invention using an example: The device (1) is equipped with an optical sensor and an evaluation and calculation unit, with the area surrounding the device being recorded as an image or image sequence using the lens (2). The recorded images are analyzed with the aid of the evaluation and calculation unit using known methods and eye contact of eyes (4) is determined. The device (1) has a transmitter that can transmit visual signals in the direction of the eyes (4). The transmission of information occurs in both directions, from human to device and vice versa via the direct connection lines (5) from eyes to device. The device (1) can be connected to a device, machine or computer and control it in response to eye contact.

Der wirtschaftliche Nutzen der Erfindung liegt in der Verbesserung einer Mensch-Maschine-Interaktion. Informationen werden effektiver übermittelt, indem die natürliche, ,angeborene' Intensität des Blickkontaktes genutzt wird.The economic benefit of the invention lies in the improvement of human-machine interaction. Information is conveyed more effectively by utilizing the natural, 'innate' intensity of eye contact.

BezugszeichenlisteReference List

11
Vorrichtung mit optischem Sensor, Auswerte- und BerechnungseinheitDevice with optical sensor, evaluation and calculation unit
22
Objektiv des optischen SensorsOptical sensor lens
33
Gerät, Maschine, Computerdevice, machine, computer
44
AugenEyes
55
Verbindungslinien zwischen Augen und SensorConnecting lines between eyes and sensor

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 202008012336 U1 [0003]DE 202008012336 U1 [0003]

Claims (4)

Vorrichtung oder Teil einer Vorrichtung, bestehend aus zumindest einem optischen Sensor zur Erfassung einer Augenfokussierung und einer Datenverarbeitungs- und Berechnungseinheit, dadurch gekennzeichnet, dass a) der optische Sensor das Umfeld der Vorrichtung in einer Entfernung von über 1 m als Bild oder Bildfolge erfasst, b) die Datenverarbeitungs- und Berechnungseinheit das Bild oder die Bildfolge analysiert und eine Augenfokussierung von Menschen oder Tieren auf die Vorrichtung erkennt und c) diese Erkennung verwendet wird zur Erzeugung einer Interaktion der Vorrichtung mit dem Betrachter.Device or part of a device, consisting of at least one optical sensor for detecting an eye focusing and a data processing and calculation unit, characterized in that a) the optical sensor detects the surroundings of the device at a distance of more than 1 m as an image or image sequence, b ) the data processing and calculation unit analyzes the image or the image sequence and detects that people or animals are focusing their eyes on the device, and c) this detection is used to generate an interaction between the device and the viewer. Vorrichtung oder Teil einer Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Reaktion der Vorrichtung aus einem optischen, elektrischen oder akustischen Signal, einer mechanischen Aktion oder einem Bild oder einer Bildfolge besteht.Device or part of a device claim 1 , characterized in that the reaction of the device consists of an optical, electrical or acoustic signal, a mechanical action or an image or an image sequence. Vorrichtung oder Teil einer Vorrichtung nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass das Signal gerichtet auf den Ort der erkannten Augenfokussierung erfolgt.Device or part of a device according to claims 1 and 2 , characterized in that the signal is directed to the location of the detected eye focusing. Vorrichtung oder Teil einer Vorrichtung nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass die Vorrichtung ein Signal zur Anregung einer Augenfokussierung auf die Vorrichtung gibt.Device or part of a device according to claims 1 and 2 , characterized in that the device emits a signal for stimulating eye focusing on the device.
DE102021001335.2A 2021-03-12 2021-03-12 Interaction device with long-distance eye contact detection Pending DE102021001335A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021001335.2A DE102021001335A1 (en) 2021-03-12 2021-03-12 Interaction device with long-distance eye contact detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021001335.2A DE102021001335A1 (en) 2021-03-12 2021-03-12 Interaction device with long-distance eye contact detection

Publications (1)

Publication Number Publication Date
DE102021001335A1 true DE102021001335A1 (en) 2022-09-15

Family

ID=83005225

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021001335.2A Pending DE102021001335A1 (en) 2021-03-12 2021-03-12 Interaction device with long-distance eye contact detection

Country Status (1)

Country Link
DE (1) DE102021001335A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008012336U1 (en) 2008-09-16 2008-11-20 Keller, Gregor Arrangement for determining the attention of persons from a stream of persons

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008012336U1 (en) 2008-09-16 2008-11-20 Keller, Gregor Arrangement for determining the attention of persons from a stream of persons

Similar Documents

Publication Publication Date Title
EP3682367B1 (en) Gesture control for communication with an autonomous vehicle on the basis of a simple 2d camera
EP2958086B1 (en) Method for testing a security document
AT505338A1 (en) PROCEDURE FOR PERFORMANCE MEASUREMENT
DE102011119361B4 (en) Visual performance enhancer and method for generating attention-grabbing stimuli on a display element
DE102014202490A1 (en) Apparatus and method for signaling a successful gesture input
EP3298594B1 (en) System and method for processing value documents
DE102007054819A1 (en) Monitoring system with state detection module, self-monitoring method of an observer and computer program
DE102014116854A1 (en) Method for carrying out an autonomous parking operation, driver assistance system and motor vehicle
DE102011084552A1 (en) Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning
DE102018220693B4 (en) Control system and method for controlling a function of a vehicle, and vehicle with such
DE102021001335A1 (en) Interaction device with long-distance eye contact detection
DE102017209908A1 (en) Camera-based driver assistance system and method for controlling such
DE102016210056A1 (en) Camera arrangement for determining the optical flow, driver assistance system and surveillance camera with the camera arrangement
EP3234928A1 (en) Method for checking the authenticity of a security feature arranged on a document
DE102022003968A1 (en) Method for detecting a stroke of an occupant in a vehicle
EP3889834A2 (en) Authentication system based on brain activity signals
DE102020205298A1 (en) Interaction terminal and method for height adjustment of its display device and control unit
DE102015217595A1 (en) Safety device for a vehicle, method of operation
DE102012217638A1 (en) Interactive blackboard and home control system
DE102013021929B4 (en) Motor vehicle with cameras and image analysis devices
EP2355007A2 (en) 3D object measuring system and method
DE102013000261A1 (en) Method for imaging surrounding of motor vehicle by camera system, involves determining pixel of camera image corresponding to pixels of another camera image, and combining pixels of camera images to monoscopic camera image of surrounding
DE102019202783A1 (en) Method and device for detecting unauthorized viewing of an electronic display device and control unit
WO2024032941A1 (en) Device and method for detecting a distraction of a vehicle driver
DE102021212673A1 (en) Method and operating system for operating at least one adjustable control element arranged on a vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed