DE102021001335A1 - Interaction device with long-distance eye contact detection - Google Patents
Interaction device with long-distance eye contact detection Download PDFInfo
- Publication number
- DE102021001335A1 DE102021001335A1 DE102021001335.2A DE102021001335A DE102021001335A1 DE 102021001335 A1 DE102021001335 A1 DE 102021001335A1 DE 102021001335 A DE102021001335 A DE 102021001335A DE 102021001335 A1 DE102021001335 A1 DE 102021001335A1
- Authority
- DE
- Germany
- Prior art keywords
- eye contact
- image
- signal
- long
- contact detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Eine Mensch-Maschine-Interaktion, geeignet für große Entfernungen wird dadurch erreicht, dass eine Vorrichtung einen Blickkontakt zwischen Mensch und Vorrichtung erkennt und diese Erkennung für eine Reaktion in Richtung des Betrachters verwendet. Die Reaktion kann aus einem Signal oder aus einer anderen Information, z. B. in Text- oder Bildform bestehen.A human-machine interaction suitable for long distances is achieved by a device detecting eye contact between human and device and using this detection for a reaction towards the viewer. The response may consist of a signal or other information, e.g. B. in text or image form.
Description
Die Erfindung befindet sich auf dem Gebiet der Mensch-Maschine-Kommunikation und -Interaktion. Auf diesem Gebiet sind in mehreren Anwendungsbereichen technische Lösungen bekannt. So bietet z. B. ein Computer-Endgerät eine mit dem Computer oder über einen Computer mit einer Maschine mittels Tastatur- oder Touchscreen eine Informationseingabe vom Menschen und der Benutzer erhält daraufhin eine Information oder erfährt eine andere Reaktion. Eine diesbezügliche Maschine kann zum Beispiel eine Produktionsmaschine sein, ein Fahrzeug oder ein Gerät zur Lieferung von Informationen. Dabei sind verschiedene Sensoren für optische, akustische oder mechanische Signale in Gebrauch.The invention is in the field of human-machine communication and interaction. In this field, technical solutions are known in several areas of application. For example, B. a computer terminal with the computer or a computer with a machine using a keyboard or touch screen information input from humans and the user then receives information or experiences a different reaction. A relevant machine can be, for example, a production machine, a vehicle or a device for delivering information. Various sensors for optical, acoustic or mechanical signals are used.
Ein Beispiel für eine bekannte Möglichkeit der Kommunikation ist es, mittel optischer Sensoren die Augenbewegung und die Augenfokussierung des Benutzers zu erfassen und damit Funktionen in dem Kommunikationsgerät zu verknüpfen.One example of a known communication option is to use optical sensors to detect the user's eye movement and eye focus and thus link functions in the communication device.
Alle diese vorbekannten technischen Lösungen haben gemein, dass die Interaktion zwischen der Vorrichtung zur Interaktion mit Sensorik und Mechanik einerseits und andererseits dem Menschen auf maximal 1 m begrenzt ist. Ein weiterer Stand der Technik befasst sich mit der Gesichtserkennung und Blickerkennung auf große Entfernung, jedoch findet hierbei keine Interaktion zwischen Maschine und Mensch statt. In der
Aufgabe der Erfindung ist es, eine Vorrichtung zu schaffen, die eine nutzbringende Interaktion zwischen Maschine und Mensch (oder Tier) über Entfernungen zu ermöglichen, die größer sind als in den vorbekannten Anwendungen und auf der Erfassung einer Augenfokussierung (Blickkontakt) basiert.The object of the invention is to provide a device that allows a beneficial interaction between machine and human (or animal) over distances greater than in the previously known applications and based on the detection of eye focusing (eye contact).
Die Lösung der Aufgabe erfolgt durch die in den Patentansprüchen definierten Merkmale.The object is solved by the features defined in the patent claims.
Dazu wird eine Vorrichtung oder ein Teil einer Vorrichtung vorgesehen, bestehend aus zumindest einem optischen Sensor zur Erfassung einer Augenfokussierung und einer Datenverarbeitungs- und Berechnungseinheit, dadurch gekennzeichnet, dass
- a) der optische Sensor das Umfeld der Vorrichtung in einer Entfernung von über 1 m als Bild oder Bildfolge erfasst,
- b) die Datenverarbeitungs- und Berechnungseinheit das Bild oder die Bildfolge analysiert und eine Augenfokussierung von Menschen oder Tieren auf die Vorrichtung erkennt und
- c) diese Erkennung verwendet wird zur Erzeugung einer auf den Betrachter gerichteten Reaktion der Vorrichtung.
- a) the optical sensor captures the surroundings of the device at a distance of more than 1 m as an image or image sequence,
- b) the data processing and calculation unit analyzes the image or the image sequence and detects that people or animals are focusing their eyes on the device and
- c) this detection is used to generate a viewer-directed response of the device.
Der besagte optische Sensor kann zum Beispiel eine Kamera sein, die in einem Winkel von bis zu 360° Abbilder der Umgebung der Vorrichtung mit ausreichend hoher Auflösung erzeugt. Auch mehrere Kameras können dazu eingesetzt werden.Said optical sensor can be a camera, for example, which generates images of the area surrounding the device at an angle of up to 360° with a sufficiently high resolution. Multiple cameras can also be used for this.
Eine Datenverarbeitungs- und Berechnungseinheit analysiert die erfassten Bilder und detektiert Augenfokussierungen, die auf die Vorrichtung oder die nähere Umgebung der Vorrichtung gerichtet sind. Mit näherer Umgebung ist das Sichtfeld gemeint, das vom Betrachter bewusst wahrgenommen wird.A data processing and calculation unit analyzes the captured images and detects eye focus that is directed towards the device or the immediate vicinity of the device. Closer surroundings mean the field of vision that is consciously perceived by the viewer.
Stellt die Vorrichtung einen solchen Sichtkontakt fest, sorgt die Rechnereinheit für eine spezifische Reaktion, die auf den Betrachter ausgerichtet ist.If the device detects such visual contact, the computer unit provides a specific reaction that is aimed at the viewer.
Diese Reaktion ist nach einer besonderen Ausgestaltung der Erfindung ein Signal an eine an die Vorrichtung angeschlossene Einheit zur Erzeugung eines Einschaltvorganges, eines optischen oder akustischen Signals.According to a special embodiment of the invention, this reaction is a signal to a unit connected to the device for generating a switch-on process, an optical or acoustic signal.
In einer weiteren Ausgestaltung der Erfindung wird ein Signal in Richtung des Blickkontaktes gesandt.In a further embodiment of the invention, a signal is sent in the direction of eye contact.
In einer weiteren Ausgestaltung der Erfindung wird schon bei Erkennung eines Gesichtes ein Signal in Richtung des Gesichtes gesandt und damit der Blickkontakt hervorgerufen.In a further embodiment of the invention, a signal is sent in the direction of the face as soon as a face is recognized, thus causing eye contact.
In einem ersten Beispiel wird das Gerät nach vorliegender Erfindung verwendet, um eine Produktwerbung gezielt auf einen Betrachter auszurichten. Dazu wird der zufällige oder bewusste Blickkontakt eines Passanten erkannt und daraufhin Werbeinformation in Richtung des Betrachters gesandt. Dieses Verfahren gewährleistet eine höhere Aufmerksamkeit des Betrachters für ein Produkt als eine permanente Werbung. Die von der Vorrichtung gesandte Information kann auch in kurzen, nur unbewusst wahrnehmbaren Bildern bestehen. Schließlich kann der Blickkontakt zusätzlich durch ein optisches Signal gezielt herbeigeführt werden.In a first example, the device of the present invention is used to target a product advertisement to a viewer. For this purpose, the accidental or conscious eye contact of a passer-by is recognized and advertising information is then sent in the direction of the viewer. This procedure ensures that the viewer pays more attention to a product than permanent advertising. The information sent by the device can also consist of short images that can only be perceived unconsciously. Finally, eye contact can also be brought about in a targeted manner by means of an optical signal.
In einem zweiten Beispiel wird die erfindungsgemäße Vorrichtung als Teil einer Sicherheitseinrichtung verwendet, indem die Vorrichtung einen zufälligen oder provozierten Blickkontakt einer unbefugt präsenten Person erfasst und ein gerichtetes starkes Lichtsignal sendet, das die Person augenblicklich handlungsunfähig macht.In a second example, the device according to the invention is used as part of a security device, in that the device detects accidental or provoked eye contact by an unauthorized person and a directed eye contact emits a strong light signal that immediately incapacitates the person.
In einem dritten Beispiel wird die erfindungsgemäße Vorrichtung verwendet, um ggf. zusammen mit einer Gesichtserkennung ein Gerät, wie z. B. ein Fahrzeug oder ein Kommunikationsgerät zu entsperren und die Information über Position und Zustand des Gerätes an den Betrachter zu übermitteln.In a third example, the device according to the invention is used, if necessary together with a face recognition device, such as a B. to unlock a vehicle or a communication device and to transmit the information about the position and status of the device to the viewer.
Die Zeichnung 1 erläutert die Erfindung anhand eines Beispiels: Die Vorrichtung (1) ist mit einem optischen Sensor sowie einer Auswerte- und Berechnungseinheit ausgestattet, wobei die Umgebung der Vorrichtung mit Hilfe des Objektivs (2) als Bild oder Bildfolge erfasst wird. Die erfassten Bilder werden mit Hilfe der Auswerte- und Berechnungseinheit mit Hilfe bekannter Methoden analysiert und Blickkontakte von Augen (4) festgestellt. Die Vorrichtung (1) verfügt über einen Sender, der visuelle Signale in Richtung der Augen (4) übermitteln kann. Die Übermittlung von Information erfolgt in beiden Richtungen, von Mensch zu Vorrichtung und umgekehrt über die direkte Verbindungslinien (5) von Augen zu Vorrichtung. Die Vorrichtung (1) kann verbunden sein mit einem Gerät, einer Maschine oder einem Computer und diese als Reaktion auf einen Blickkontakt steuern.Drawing 1 explains the invention using an example: The device (1) is equipped with an optical sensor and an evaluation and calculation unit, with the area surrounding the device being recorded as an image or image sequence using the lens (2). The recorded images are analyzed with the aid of the evaluation and calculation unit using known methods and eye contact of eyes (4) is determined. The device (1) has a transmitter that can transmit visual signals in the direction of the eyes (4). The transmission of information occurs in both directions, from human to device and vice versa via the direct connection lines (5) from eyes to device. The device (1) can be connected to a device, machine or computer and control it in response to eye contact.
Der wirtschaftliche Nutzen der Erfindung liegt in der Verbesserung einer Mensch-Maschine-Interaktion. Informationen werden effektiver übermittelt, indem die natürliche, ,angeborene' Intensität des Blickkontaktes genutzt wird.The economic benefit of the invention lies in the improvement of human-machine interaction. Information is conveyed more effectively by utilizing the natural, 'innate' intensity of eye contact.
BezugszeichenlisteReference List
- 11
- Vorrichtung mit optischem Sensor, Auswerte- und BerechnungseinheitDevice with optical sensor, evaluation and calculation unit
- 22
- Objektiv des optischen SensorsOptical sensor lens
- 33
- Gerät, Maschine, Computerdevice, machine, computer
- 44
- AugenEyes
- 55
- Verbindungslinien zwischen Augen und SensorConnecting lines between eyes and sensor
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 202008012336 U1 [0003]DE 202008012336 U1 [0003]
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021001335.2A DE102021001335A1 (en) | 2021-03-12 | 2021-03-12 | Interaction device with long-distance eye contact detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021001335.2A DE102021001335A1 (en) | 2021-03-12 | 2021-03-12 | Interaction device with long-distance eye contact detection |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021001335A1 true DE102021001335A1 (en) | 2022-09-15 |
Family
ID=83005225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021001335.2A Pending DE102021001335A1 (en) | 2021-03-12 | 2021-03-12 | Interaction device with long-distance eye contact detection |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021001335A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202008012336U1 (en) | 2008-09-16 | 2008-11-20 | Keller, Gregor | Arrangement for determining the attention of persons from a stream of persons |
-
2021
- 2021-03-12 DE DE102021001335.2A patent/DE102021001335A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202008012336U1 (en) | 2008-09-16 | 2008-11-20 | Keller, Gregor | Arrangement for determining the attention of persons from a stream of persons |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3682367B1 (en) | Gesture control for communication with an autonomous vehicle on the basis of a simple 2d camera | |
EP2958086B1 (en) | Method for testing a security document | |
AT505338A1 (en) | PROCEDURE FOR PERFORMANCE MEASUREMENT | |
DE102011119361B4 (en) | Visual performance enhancer and method for generating attention-grabbing stimuli on a display element | |
DE102014202490A1 (en) | Apparatus and method for signaling a successful gesture input | |
EP3298594B1 (en) | System and method for processing value documents | |
DE102007054819A1 (en) | Monitoring system with state detection module, self-monitoring method of an observer and computer program | |
DE102014116854A1 (en) | Method for carrying out an autonomous parking operation, driver assistance system and motor vehicle | |
DE102011084552A1 (en) | Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning | |
DE102018220693B4 (en) | Control system and method for controlling a function of a vehicle, and vehicle with such | |
DE102021001335A1 (en) | Interaction device with long-distance eye contact detection | |
DE102017209908A1 (en) | Camera-based driver assistance system and method for controlling such | |
DE102016210056A1 (en) | Camera arrangement for determining the optical flow, driver assistance system and surveillance camera with the camera arrangement | |
EP3234928A1 (en) | Method for checking the authenticity of a security feature arranged on a document | |
DE102022003968A1 (en) | Method for detecting a stroke of an occupant in a vehicle | |
EP3889834A2 (en) | Authentication system based on brain activity signals | |
DE102020205298A1 (en) | Interaction terminal and method for height adjustment of its display device and control unit | |
DE102015217595A1 (en) | Safety device for a vehicle, method of operation | |
DE102012217638A1 (en) | Interactive blackboard and home control system | |
DE102013021929B4 (en) | Motor vehicle with cameras and image analysis devices | |
EP2355007A2 (en) | 3D object measuring system and method | |
DE102013000261A1 (en) | Method for imaging surrounding of motor vehicle by camera system, involves determining pixel of camera image corresponding to pixels of another camera image, and combining pixels of camera images to monoscopic camera image of surrounding | |
DE102019202783A1 (en) | Method and device for detecting unauthorized viewing of an electronic display device and control unit | |
WO2024032941A1 (en) | Device and method for detecting a distraction of a vehicle driver | |
DE102021212673A1 (en) | Method and operating system for operating at least one adjustable control element arranged on a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |